Data Intelligence最新刊發(fā)浙江大學(xué)陳華鈞教授所著洞見論文《Large Knowledge Model: Perspectives and Challenges》。文章簡述了人類語言和世界知識(shí)的緊密關(guān)系，對比了語言模型和知識(shí)圖譜在表示和處理人類知識(shí)方面的優(yōu)缺點(diǎn)，闡述了利用知識(shí)圖譜增強(qiáng)大模型、利用大模型增強(qiáng)符號(hào)知識(shí)處理，以及從大型語言模型到大型知識(shí)模型的可能演進(jìn)路徑。

引用：Chen, H.J. Large Knowledge Model: Perspectives and Challenges. Data Intelligence. 

DOI: https:///10.3724/2096-7004.di.2024.0001

文章主體總共分為三大部分，下圖為文章結(jié)構(gòu)導(dǎo)圖。

第一部分重點(diǎn)圍繞“知識(shí)增強(qiáng)大模型”展開。該部分首先從傳統(tǒng)符號(hào)AI的發(fā)展歷史出發(fā)，認(rèn)為AI推理能力同時(shí)受到知識(shí)的“表示水平”和知識(shí)的“覆蓋規(guī)?！眱蓚€(gè)相互矛盾的因素的共同影響。大模型重知識(shí)規(guī)模、輕知識(shí)表示；傳統(tǒng)符號(hào)AI重知識(shí)表示、但輕知識(shí)規(guī)模，好的AI模型應(yīng)同時(shí)平衡兩者。隨后，文章以代碼的結(jié)構(gòu)性和思維鏈的邏輯性為例，舉證了增強(qiáng)大模型訓(xùn)練語料的結(jié)構(gòu)性、語義關(guān)聯(lián)性和邏輯性等數(shù)據(jù)（知識(shí)）表示水平對于提升大模型能力的重要性。

文章進(jìn)一步從知識(shí)注入的預(yù)訓(xùn)練（Knowledge-injecting Pre-training）、結(jié)構(gòu)誘導(dǎo)的預(yù)訓(xùn)練（Structure-inducing Pre-training）、重結(jié)構(gòu)化預(yù)訓(xùn)練（reStructured Pre-training）等三個(gè)方面介紹了在預(yù)訓(xùn)練階段進(jìn)行知識(shí)增強(qiáng)和結(jié)構(gòu)增強(qiáng)的常見方法。

除了預(yù)訓(xùn)練階段，在提示指令中注入知識(shí)也是常見的大模型知識(shí)增強(qiáng)方法。文章首先指出，提示工程的本質(zhì)是從人類獲取先驗(yàn)知識(shí)，這和傳統(tǒng)的知識(shí)工程有類似相通之處。隨后文章從結(jié)構(gòu)化思維鏈、知識(shí)圖譜思維鏈、知識(shí)圖譜引導(dǎo)的指令數(shù)據(jù)合成等方面介紹了在提示指令階段應(yīng)用知識(shí)圖譜的方法和思路。

RAG檢索增強(qiáng)本質(zhì)是利用傳統(tǒng)的信息檢索技術(shù)來補(bǔ)足大模型在算力消耗和幻覺生成方面的不足。文章進(jìn)一步探討了在RAG基礎(chǔ)之上進(jìn)一步結(jié)合知識(shí)圖譜的能力來實(shí)現(xiàn)KG-RAG的方法。

除此之外，文章還分別從大模型幻覺抑制、大模型知識(shí)編輯、知識(shí)引導(dǎo)的大模型人類對齊、知識(shí)圖譜增強(qiáng)的工具調(diào)用與AI智能體、知識(shí)增強(qiáng)多模態(tài)大模型等多個(gè)方面系統(tǒng)性分析了知識(shí)（圖譜）在大模型全生命周期的各個(gè)階段所能發(fā)揮的作用。

文章的第二大部分，則反過來探討了利用大模型來增強(qiáng)傳統(tǒng)符號(hào)知識(shí)處理的價(jià)值。文章首先分析了構(gòu)建傳統(tǒng)符號(hào)知識(shí)圖譜的必要性，盡管大模型能力很強(qiáng)，但并無必要把所有的符號(hào)系統(tǒng)都轉(zhuǎn)化為參數(shù)化的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，在很多諸如醫(yī)療、金融等嚴(yán)肅的應(yīng)用場景，利用大模型來增強(qiáng)傳統(tǒng)符號(hào)系統(tǒng)的能力比之完全替代傳統(tǒng)符號(hào)系統(tǒng)更有現(xiàn)實(shí)意義和優(yōu)勢。

文章進(jìn)一步介紹了利用大模型構(gòu)建知識(shí)圖譜的思路和方法，指出大模型時(shí)代的知識(shí)抽取體現(xiàn)出以模型為中心的知識(shí)抽?。∕odel-Centric Knowledge Extraction）、指令驅(qū)動(dòng)的可泛化知識(shí)抽?。∕odel-Centric Knowledge Extraction）、生成式知識(shí)圖譜構(gòu)建（Generative Knowledge Graph Constructions）等三個(gè)方面的特點(diǎn)。

除了符號(hào)知識(shí)庫構(gòu)建，大模型也能大幅增強(qiáng)對傳統(tǒng)知識(shí)庫的管理和交互能力，這包括：利用大模型對符號(hào)知識(shí)庫進(jìn)行查詢，自動(dòng)化的邏輯查詢翻譯與優(yōu)化等等。

在利用大模型增強(qiáng)知識(shí)圖譜的推理能力方面，文章分別分析了以LLM為中心的推理、以KG為中心的推理、LLM-KG交互增強(qiáng)的推理三種機(jī)制。并比較分析了它們的優(yōu)缺點(diǎn)。文章還介紹了利用預(yù)訓(xùn)練的思想構(gòu)建大圖模型或知識(shí)圖譜基礎(chǔ)模型方面的工作，這類工作更多側(cè)重于提升大模型處理結(jié)構(gòu)化數(shù)據(jù)的能力。

文章的第三部分則探討了從大型語言模型到大型知識(shí)模型的新挑戰(zhàn)與可能發(fā)展路徑。文章首先從傳統(tǒng)知識(shí)工程的“知識(shí)湯”概念出發(fā)，分析了人類知識(shí)的復(fù)雜性以及正確獲取和表征人類知識(shí)的挑戰(zhàn)與困難。隨后結(jié)合從大模型中解耦知識(shí)（Decoupling World Knowledge from Large Models）、人與機(jī)器的認(rèn)知對齊（Cognitive Alignment with Human Knowledge）、感知系統(tǒng)與認(rèn)知系統(tǒng)的一體融合（Integration of Perception and Cognition）、構(gòu)建常識(shí)知識(shí)和世界模型（Commonsense Knowledge and Large World Model）等多個(gè)視角闡述了構(gòu)建知識(shí)模型所可能涉及的多方面的問題和挑戰(zhàn)。

文章總結(jié)到，自人工智能出現(xiàn)以來，表示和處理世界知識(shí)一直是其核心目標(biāo)之一。大型語言模型和知識(shí)圖譜在處理世界知識(shí)方面都有各自的優(yōu)勢和局限性。大型語言模型在語言理解方面表現(xiàn)優(yōu)異，而知識(shí)圖譜則為知識(shí)表示提供了多樣化的方法。這兩種技術(shù)的深度融合為人工智能領(lǐng)域的知識(shí)處理提供了更全面、更可靠、更可控的技術(shù)途徑。

掃描下方二維碼可直達(dá)論文全文：

陳華鈞，浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授、博導(dǎo)，中文開放知識(shí)圖譜OpenKG牽頭發(fā)起人，浙江省數(shù)智科技研究會(huì)副會(huì)長，中國人工智能學(xué)會(huì)知識(shí)工程專委會(huì)副主任，中國中文信息學(xué)會(huì)語言與知識(shí)計(jì)算專委會(huì)副主任。入選浙江省有突出貢獻(xiàn)中青年專家，浙江省高層次人才特殊支持計(jì)劃科技創(chuàng)新領(lǐng)軍人才，全球前2%頂尖科學(xué)家榜單（人工智能）。研究方向?yàn)槿斯ぶ悄?、知識(shí)圖譜、自然語言處理、AI for Science等，以一作或通訊作在Nature Machine Intelligence、Nature Communications、NeurIPS、ICLR、ICML、IJCAI、AAAI、ACL、EMNLP、KDD、VLDB、ICDE、WWW、SIGIR、Nucleic Acids Res. 、IEEE TKDE、Proc. IEEE等國際頂級(jí)會(huì)議或期刊上發(fā)表多篇論文。作為負(fù)責(zé)人主持國家自然科學(xué)基金重大研究計(jì)劃重點(diǎn)項(xiàng)目、國家自然科學(xué)基金聯(lián)合基金重點(diǎn)項(xiàng)目，以及國家重點(diǎn)研發(fā)計(jì)劃、國家重大科技專項(xiàng)及企業(yè)合作項(xiàng)目等多項(xiàng)項(xiàng)目。曾獲國際語義網(wǎng)會(huì)議ISWC最佳論文獎(jiǎng)、國際知識(shí)圖譜聯(lián)合會(huì)議IJCKG最佳論文獎(jiǎng)、浙江省科技進(jìn)步二等獎(jiǎng)、教育部技術(shù)發(fā)明一等獎(jiǎng)、中國中文信息學(xué)會(huì)錢偉長科技獎(jiǎng)一等獎(jiǎng)等多項(xiàng)獎(jiǎng)勵(lì)。