聊天機(jī)器人問(wèn)答系統(tǒng)現(xiàn)狀與發(fā)展

馮升

（北京郵電大學(xué)人機(jī)與認(rèn)知實(shí)驗(yàn)室，北京，100876）

1　研究背景及意義

自1995年以來(lái)，互聯(lián)網(wǎng)開(kāi)始進(jìn)入快速發(fā)展的軌道，其中包含的信息量呈爆炸式地增長(zhǎng)，2015年，網(wǎng)頁(yè)數(shù)量超過(guò)了1萬(wàn)億，而在2006年的時(shí)候，這個(gè)數(shù)字是2000億。因此，管理如此大量的網(wǎng)頁(yè)數(shù)據(jù)是一件很困難的工作，使用搜索引擎幫助人們更好地尋找信息，發(fā)現(xiàn)信息、一直是信息檢索領(lǐng)域中的研究熱點(diǎn)。

經(jīng)過(guò)長(zhǎng)期的發(fā)展，學(xué)者們?cè)谛畔z索領(lǐng)域里積累了大量的研究成果，而工業(yè)界中對(duì)于如何把信息檢索等相關(guān)技術(shù)應(yīng)用到信息服務(wù)中來(lái)的探索也取得了很多成功經(jīng)驗(yàn)。類(lèi)似于Google和百度之類(lèi)的搜索引擎會(huì)根據(jù)用戶(hù)的查詢(xún)返回一個(gè)鏈接列表，每個(gè)鏈接都帶有一小段摘要信息。用戶(hù)逐個(gè)地瀏覽搜索引擎返回的這個(gè)鏈接列表中的每個(gè)文檔，以尋找自己期望的信息，這會(huì)消耗用戶(hù)很多時(shí)間來(lái)判斷哪些文檔是包含自己想要的信息的，哪些不是。很多時(shí)候，用戶(hù)需要的是答案而不是文檔，這也是像“百度知道”等問(wèn)答類(lèi)網(wǎng)站每天由搜索引擎帶入如此高瀏覽量的原因。簡(jiǎn)單地說(shuō)，很多時(shí)候，用戶(hù)會(huì)對(duì)搜索引擎返回的大量信息感到很迷茫。

問(wèn)答系統(tǒng)研究的出現(xiàn)正是為了應(yīng)對(duì)上述信息過(guò)載問(wèn)題的。問(wèn)答系統(tǒng)分為兩類(lèi)：開(kāi)放領(lǐng)域的問(wèn)答系統(tǒng)和特定領(lǐng)域的問(wèn)答系統(tǒng)。如果一個(gè)問(wèn)答系統(tǒng)可以處理的問(wèn)題是多種多樣、涉及到生活方方面面的，依賴(lài)于宇宙中的各種本體和信息，那這種問(wèn)答系統(tǒng)叫做開(kāi)放領(lǐng)域問(wèn)答系統(tǒng)。另一方面，特定領(lǐng)域的問(wèn)答系統(tǒng)僅僅處理特定領(lǐng)域中的問(wèn)題，例如與音樂(lè)相關(guān)的問(wèn)題或者與天氣預(yù)報(bào)相關(guān)的問(wèn)題等等。

問(wèn)答系統(tǒng)一直是自然語(yǔ)言處理領(lǐng)域中非常熱門(mén)的一個(gè)研究方向。人們可以向問(wèn)答系統(tǒng)提交用自然語(yǔ)言表達(dá)的問(wèn)題，系統(tǒng)會(huì)返回緊湊相關(guān)又準(zhǔn)確的答案，而不是像搜索引擎那樣僅僅返回一個(gè)網(wǎng)頁(yè)集合。問(wèn)答系統(tǒng)的目標(biāo)是為問(wèn)題找到精確的答案，而不是像信息檢索系統(tǒng)那樣返回全文文檔或者最匹配的文章。

更進(jìn)一步，智能聊天機(jī)器人不僅可以回答用戶(hù)的某一個(gè)問(wèn)題，還可以很人性化地與用戶(hù)交流，了解用戶(hù)的需求，就像用戶(hù)的一個(gè)好朋友。當(dāng)前，聊天機(jī)器人在商業(yè)領(lǐng)域很常見(jiàn)，包括航空系統(tǒng)訂票領(lǐng)域，移動(dòng)個(gè)人助理Siri，阿里巴巴的聊天機(jī)器人，韓國(guó)風(fēng)靡全球的聊天機(jī)器人Simsimi等。

隨著信息技術(shù)的發(fā)展，計(jì)算資源和存儲(chǔ)資源在21世紀(jì)都得到了極大的進(jìn)步，但人機(jī)交互方式并沒(méi)有發(fā)生多大變化，尤其是用戶(hù)獲取信息的方法還不夠有效。通過(guò)研究聊天機(jī)器人相關(guān)技術(shù)，尤其是聊天機(jī)器人技術(shù)中的對(duì)話理解問(wèn)題，對(duì)于促進(jìn)人機(jī)交互方式的發(fā)展有重要意義。

2　 國(guó)內(nèi)外研究現(xiàn)狀

在1960年左右，國(guó)外的科學(xué)家就提出了希望計(jì)算機(jī)能用自然語(yǔ)言來(lái)處理人們的問(wèn)題，這應(yīng)該是問(wèn)答系統(tǒng)的雛形。在1980年左右，自然語(yǔ)言處理領(lǐng)域中的問(wèn)答系統(tǒng)（Question Answering）廣受關(guān)注，圖靈測(cè)試表示，如果計(jì)算機(jī)能夠像人類(lèi)一樣用自然語(yǔ)言進(jìn)行交流，那么就可以被認(rèn)為具有人工智能。從此，科學(xué)家和學(xué)者們開(kāi)始了探索語(yǔ)言理解相關(guān)的技術(shù)，并紛紛投身到研究自然語(yǔ)言問(wèn)答系統(tǒng)和聊天機(jī)器人系統(tǒng)中來(lái)。

最開(kāi)始的時(shí)候，受限于計(jì)算能力和知識(shí)庫(kù)，所有的實(shí)驗(yàn)規(guī)模都很小很受限制，以至于問(wèn)答系統(tǒng)一直被限制在某一特殊領(lǐng)域的專(zhuān)家系統(tǒng)。從1995年開(kāi)始，隨著信息檢索技術(shù)的發(fā)展，Google等搜索引擎公司的商業(yè)化運(yùn)作和計(jì)算能力的飛速發(fā)展，人們更關(guān)注信息檢索的發(fā)展，而問(wèn)答系統(tǒng)的研究沒(méi)有進(jìn)展。從2005年開(kāi)始，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，智能手機(jī)終端可用于呈現(xiàn)搜索結(jié)果的面積受限，況且用戶(hù)的手機(jī)數(shù)據(jù)流量受限，于是問(wèn)答系統(tǒng)再次被推到前臺(tái)來(lái)。

現(xiàn)在有越來(lái)越多的公司和高校參與到了問(wèn)答技術(shù)的研究中來(lái)，包括蘋(píng)果、Google、阿里巴巴、三星、劍橋大學(xué)等等。在一年舉行一次的文本信息檢索會(huì)議上（TREC，Text Retrieval Conference），自動(dòng)問(wèn)答系統(tǒng)主題是受關(guān)注最多的主題之一。

2.1　國(guó)外研究現(xiàn)狀

國(guó)外在問(wèn)答系統(tǒng)技術(shù)上的研究起步比較早，目前在工業(yè)界或者學(xué)術(shù)界已經(jīng)產(chǎn)出了一些比較成熟的問(wèn)答系統(tǒng)和聊天機(jī)器人系統(tǒng)，例如，蘋(píng)果公司的Siri，谷歌的Google Now，MIT大學(xué)的Start系統(tǒng)，還有AskJeeves、AnswerBus、MULDER、LAMP等。

Start是由MIT大學(xué)計(jì)算機(jī)科學(xué)系人工智能實(shí)驗(yàn)室的研究員Boris Katz和他的同事們一起開(kāi)發(fā)的，是世界上第一個(gè)基于web的問(wèn)答系統(tǒng)，從1993年開(kāi)始上線運(yùn)行至今。與常見(jiàn)的信息檢索系統(tǒng)（例如搜索引擎）不同，Start的目標(biāo)是為用戶(hù)提供恰到好處的信息，而不是僅僅提供一個(gè)搜索列表。Siri是一款內(nèi)建在蘋(píng)果iOS系統(tǒng)中的的人工智能助理軟件。此軟件使用自然語(yǔ)言處理技術(shù)，使用者可以使用自然的對(duì)話與手機(jī)進(jìn)行互動(dòng)，完成搜尋資料、查詢(xún)天氣、設(shè)定手機(jī)日歷、設(shè)定鬧鈴等許多服務(wù)。

Google Now（Google 即時(shí)）是一款由Google開(kāi)發(fā)的智能型個(gè)人助理軟件，擴(kuò)充了Google搜索手機(jī)應(yīng)用程序的功能，可在Android和 iOS上使用。Google Now使用自然語(yǔ)言用戶(hù)界面（Natural language user interface），通過(guò)一系列的Web服務(wù)來(lái)進(jìn)行回答問(wèn)題、提供建議、運(yùn)行動(dòng)作等行為。在回應(yīng)用戶(hù)時(shí)，Google Now會(huì)基于用戶(hù)過(guò)往的搜索習(xí)慣來(lái)預(yù)測(cè)其可能需要的信息。

AnswerBus是一個(gè)面向互聯(lián)網(wǎng)的、多語(yǔ)種的自動(dòng)問(wèn)答系統(tǒng)，它不僅可以回答英語(yǔ)問(wèn)題，還能回答法語(yǔ)、西班牙語(yǔ)、德語(yǔ)等很多語(yǔ)種的問(wèn)題。但是AnswerBus并不會(huì)給出問(wèn)題的具體答案，而是返回可能包含答案的句子和文檔。

MULDER是華盛頓大學(xué)開(kāi)發(fā)的第一個(gè)完全以網(wǎng)絡(luò)作為其知識(shí)庫(kù)的自動(dòng)問(wèn)答系統(tǒng)，它將網(wǎng)頁(yè)信息保存到本地，并且對(duì)這些文檔進(jìn)行詳細(xì)的語(yǔ)法分析，然后從中抽取答案。

由新加坡國(guó)立大學(xué)開(kāi)發(fā)的LAMP和MULDER系統(tǒng)類(lèi)似，不同之處在于LAMP不會(huì)在本地保存網(wǎng)頁(yè)數(shù)據(jù)，而是從搜索引擎返回的網(wǎng)頁(yè)片斷中提取信息。

2.2　國(guó)內(nèi)研究情況

與國(guó)外研究情況相比，中國(guó)國(guó)內(nèi)在問(wèn)答系統(tǒng)和聊天機(jī)器人系統(tǒng)方面的研究無(wú)論在規(guī)模還是研究水平上都有不少的差距。其主要原因有兩方面：一方面，中文信息處理比英文難，有其特殊性，國(guó)外一些相對(duì)成熟的技術(shù)和研究成果不能直接利用；另一方面，缺乏相應(yīng)的自然語(yǔ)言處理的相關(guān)基礎(chǔ)資源，如語(yǔ)料庫(kù)、知識(shí)庫(kù)以及相應(yīng)的評(píng)價(jià)機(jī)制等（如一年一度的TREC會(huì)議，就有針對(duì)英文問(wèn)答系統(tǒng)的科學(xué)的評(píng)測(cè)標(biāo)準(zhǔn)和各種評(píng)測(cè)語(yǔ)料、評(píng)測(cè)方法）。此外，中國(guó)是一個(gè)發(fā)展中國(guó)家，國(guó)內(nèi)在這方面投入的人力、物力以及重視的程度都不能和國(guó)外相比。

國(guó)內(nèi)在問(wèn)答系統(tǒng)領(lǐng)域走得比較靠前的研究機(jī)構(gòu)主要有清華大學(xué)、北京大學(xué)、中科院計(jì)算所、哈工大、北京語(yǔ)言大學(xué)等，另外研究漢語(yǔ)問(wèn)答系統(tǒng)的還有香港大學(xué)、香港中文大學(xué)、National Defense Management College等單位。

哈爾濱工業(yè)大學(xué)開(kāi)發(fā)的HIT相關(guān)自然語(yǔ)言處理工具，可以對(duì)句子進(jìn)行句法分析，語(yǔ)法分析和分詞等操作，這無(wú)疑為漢語(yǔ)的問(wèn)答系統(tǒng)研究奠定了基礎(chǔ)。

科大訊飛信息科技股份有限公司開(kāi)發(fā)的語(yǔ)音識(shí)別相關(guān)工具已促進(jìn)了國(guó)內(nèi)很多的聊天機(jī)器人發(fā)展，包括訊飛語(yǔ)點(diǎn)、搜狗語(yǔ)音助手等。

臺(tái)灣國(guó)防大學(xué)管理學(xué)院研制的中文問(wèn)答系統(tǒng)CQAS，側(cè)重于命名實(shí)體及其關(guān)系的處理，嘗試將中文文檔以特征因子來(lái)表示，并且把它轉(zhuǎn)換為命名實(shí)體之間的關(guān)系串列方式，然后，通過(guò)這個(gè)關(guān)系串列方式來(lái)搜尋與返回答案。CQAS的實(shí)驗(yàn)結(jié)果表明，關(guān)系串列方式資料的系統(tǒng)分析越多，回答問(wèn)題的正確率越高。

3　 存在的主要問(wèn)題

聊天機(jī)器人系統(tǒng)的對(duì)話理解模型獲得了廣泛關(guān)注，也在實(shí)際的信息服務(wù)系統(tǒng)和智能手機(jī)的助手應(yīng)用領(lǐng)域中得到了廣泛應(yīng)用。過(guò)去，業(yè)界不太關(guān)注互聯(lián)網(wǎng)中非結(jié)構(gòu)化知識(shí)，自然語(yǔ)言處理研究領(lǐng)域中的對(duì)話理解研究關(guān)注更多的是如何對(duì)用戶(hù)輸入的問(wèn)題進(jìn)行句法分析、語(yǔ)法分析、提取關(guān)鍵詞和關(guān)鍵詞擴(kuò)展，之后便是信息檢索和排序模型，從而希望能給出準(zhǔn)確的答案。但是，隨著聊天機(jī)器人系統(tǒng)在人們生活中的急速升溫，特別是在互聯(lián)網(wǎng)環(huán)境下非結(jié)構(gòu)化知識(shí)大規(guī)模增長(zhǎng)的情況下，目前面臨著一系列亟待解決的問(wèn)題。

1）以前的聊天機(jī)器人系統(tǒng)中的對(duì)話理解模型僅僅涉及語(yǔ)法分析、句法分析等邏輯步驟，人為地把對(duì)話理解與人機(jī)交互的最終目的分隔開(kāi)來(lái)。其實(shí)對(duì)話理解的最終目的只有一個(gè)：產(chǎn)生正確的答案。對(duì)于像“吃飯了嗎？”這樣的問(wèn)題，句法分析根本沒(méi)什么用，分析不出來(lái)什么結(jié)果，而簡(jiǎn)單的規(guī)則匹配則能產(chǎn)生非常好的結(jié)果。

2）舊的聊天機(jī)器人系統(tǒng)沒(méi)有充分使用類(lèi)似于“百度知道”之類(lèi)的答案來(lái)源。問(wèn)答類(lèi)網(wǎng)站中的內(nèi)容都是用戶(hù)產(chǎn)生的，質(zhì)量很高，而且這些知識(shí)都是與人類(lèi)活動(dòng)密切相關(guān)的，否則用戶(hù)不會(huì)花時(shí)間和精力來(lái)問(wèn)這些問(wèn)題。尤其類(lèi)似于知乎和Quora這些網(wǎng)站，在某些用戶(hù)回答了問(wèn)題之后，其他用戶(hù)可以對(duì)他發(fā)表的答案進(jìn)行投票，最終根據(jù)票數(shù)選出質(zhì)量最好的答案。這些人工產(chǎn)生的答案無(wú)疑比機(jī)器通過(guò)相似度自動(dòng)計(jì)算得到的答案要好很多。但目前很少聊天機(jī)器人系統(tǒng)能夠充分應(yīng)用這些知識(shí)源。

3）舊的對(duì)話理解模型沒(méi)能充分把生活中新近出現(xiàn)的知識(shí)快速吸收。隨著21世紀(jì)初互聯(lián)網(wǎng)爆發(fā)以來(lái)，互聯(lián)網(wǎng)中已經(jīng)積累了大量的用戶(hù)產(chǎn)生的知識(shí)，而且這些知識(shí)主要存在于下述網(wǎng)站中：?jiǎn)柎痤?lèi)網(wǎng)站，如百度知道和知乎；維基百科；書(shū)籍電影等開(kāi)放評(píng)價(jià)網(wǎng)站，例如豆瓣；美食評(píng)價(jià)網(wǎng)站，例如大眾點(diǎn)評(píng)和Foursquare等；商品評(píng)價(jià)信息，例如淘寶網(wǎng)。雖然這些知識(shí)都是以非結(jié)構(gòu)化或半結(jié)構(gòu)化的樣式存在著，但所積累的知識(shí)量足以覆蓋人們生活的方方面面。目前的聊天機(jī)器人都沒(méi)能夠很好地消化上述所列出的知識(shí)。

4）舊的答案排序模型沒(méi)能綜合多種因素對(duì)候選答案進(jìn)行有效排序。目前，問(wèn)答系統(tǒng)研究領(lǐng)域中的候選答案排序模型基本都是只考慮文檔相關(guān)度這一特征。然而，查詢(xún)串和候選答案文檔之間的特征是非常豐富的，包括： 每個(gè)搜索結(jié)果的特征（例如搜索結(jié)果對(duì)應(yīng)的問(wèn)題的類(lèi)型）；每個(gè)搜索結(jié)果來(lái)源的權(quán)威性；用戶(hù)的顯性反饋；關(guān)鍵詞是否出現(xiàn)在URL中；提問(wèn)中的關(guān)鍵詞是否在搜索文件的主頁(yè)或者答案中；答案被贊的數(shù)量；候選答案所屬類(lèi)型是否與用戶(hù)問(wèn)題中所期望的答案所屬類(lèi)型一致，例如用戶(hù)問(wèn)的動(dòng)物名，候選答案是否是動(dòng)物名等。

4　小結(jié)

1）本文對(duì)聊天機(jī)器人系統(tǒng)的架構(gòu)進(jìn)行了定義，并研究了知識(shí)表示方法對(duì)對(duì)話理解模型的影響。

機(jī)器不是嘗試去理解人類(lèi)語(yǔ)言，而是去努力找出最符合人類(lèi)語(yǔ)言習(xí)慣的答案；這需要對(duì)已有的對(duì)話理解模型進(jìn)行研究，使得開(kāi)發(fā)對(duì)話理解模型的指導(dǎo)原則與前人的指導(dǎo)原則進(jìn)行對(duì)比。基于此，需要研究知識(shí)表示方法對(duì)理解模型的影響，并進(jìn)行相關(guān)的實(shí)驗(yàn)。

2）未來(lái)需對(duì)問(wèn)答系統(tǒng)中答案排序算法展開(kāi)研究，把信息檢索中的Listwise learning to rank方法應(yīng)用到聊天答案排序中來(lái)。

聊天機(jī)器人中的大量知識(shí)是由搜索引擎通過(guò)索引的方式來(lái)管理的，拿到候選答案集合之后，需要選出最佳的答案或者答案集合返回給用戶(hù)，這使得排序成為一個(gè)很重要的任務(wù)。雖然搜索引擎中的排序方法具有借鑒意義，但其排序特征并不能完全照搬過(guò)來(lái)用于作為聊天機(jī)器人系統(tǒng)中的排序特征，應(yīng)總結(jié)聊天機(jī)器人系統(tǒng)中各種可用于排序的特征，并修改排序模型來(lái)訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)作為正確的排序模型。有實(shí)驗(yàn)結(jié)果表明，采用Listwise排序?qū)W習(xí)方法可取得很好的效果。

3）如何構(gòu)建一個(gè)能夠大規(guī)模地運(yùn)用知識(shí)進(jìn)行問(wèn)題理解的聊天機(jī)器人系統(tǒng)。

一個(gè)能夠大規(guī)模地運(yùn)用知識(shí)進(jìn)行問(wèn)題理解的聊天機(jī)器人系統(tǒng)包含三層系統(tǒng)，分別是應(yīng)用層系統(tǒng)、中間服務(wù)層系統(tǒng)和聊天服務(wù)器系統(tǒng)。聊天服務(wù)器系統(tǒng)肩負(fù)著理解用戶(hù)輸入問(wèn)題的角色，它包括8個(gè)部件，分別為策略中心部件、AIML部件、正則匹配器部件、FAQ部件、NLP部件、Simsimi部件和Listwise排序?qū)W習(xí)部件。策略中心善于處理與生活息息相關(guān)的問(wèn)題；AIML部件則善于處理聊天語(yǔ)句；正則匹配器善于處理一些概念性的提問(wèn)；FAQ部件則是索引了300多萬(wàn)知識(shí)敏感的（問(wèn)題，答案）對(duì)；NLP部件索引的是300多萬(wàn)結(jié)構(gòu)化的數(shù)據(jù)和其他一些網(wǎng)頁(yè)數(shù)據(jù)；Listwise排序?qū)W習(xí)部件使從搜索引擎檢出候選答案后，可以再精選出最佳答案。所有這些部件都具有理解用戶(hù)輸入并尋找答案的功能，互補(bǔ)工作，以取得全局最優(yōu)性能。