使用機器學(xué)習(xí)算法來構(gòu)建智能聊天機器人

CDA數(shù)據(jù)分析師 2019-07-15

展開全文

翻譯 | CDA數(shù)據(jù)分析研究院
原文 | https://blog.statsbot.co/chatbots-machine-learning-e83698b1a91e

你是否曾與蘋果的Siri，亞馬遜的Alexa，微軟的Cortana或其他助手交談以設(shè)置鬧鐘、給朋友打電話或安排會議？許多人可能會說對的我的確這么做過，盡管會話助手在常見和日常任務(wù)中都很有用，但很難迫使會話助手就一般性的，有時是哲學(xué)性質(zhì)的話題進行討論。

Statsbot團隊邀請了數(shù)據(jù)科學(xué)家，dmitry Persiyanov，來解釋如何用神經(jīng)會話模型修復(fù)這個問題，以及如何使用機器學(xué)習(xí)來創(chuàng)建聊天機器人。

通過自然語言與機器交互是通用人工智能的要求之一。人工智能的這一領(lǐng)域被稱為對話系統(tǒng)，語音對話系統(tǒng)或聊天機器人。機器需要為你提供信息豐富的答案，維持對話的上下文，并且難以與人類（理想情況下）區(qū)分。

在實踐中，最后一項要求尚未達到，但幸運的是，如果機器人有用，并且是一個有趣的溝通者，可以進行一些有趣的溝通，那么人類就準(zhǔn)備好與他們進行對話了。

對話系統(tǒng)目前有兩種主要類型：面向目標(biāo)（Siri，Alexa，Cortana等）和一般會話（Microsoft Tay bot）。

前者幫助人們使用自然語言解決日常問題，而后者嘗試與人們進行范圍廣泛的對話。

在這篇文章中，我將給出一個基于深度神經(jīng)網(wǎng)絡(luò)的一般會話對話系統(tǒng)進行比較概述。我將描述主要的架構(gòu)類型和推進它們的方法。

我希望這篇文章最終能成為每個想要用機器學(xué)習(xí)創(chuàng)建聊天機器人的人的切入點。如果你讀完這篇文章直到最后，你就可以訓(xùn)練自己的會話模型了。

準(zhǔn)備好了么？

讓我們開始吧！

我將參考循環(huán)神經(jīng)網(wǎng)絡(luò)和單詞嵌入，所以你應(yīng)該知道它們是如何工作的，以便輕松地理解這篇文章。

生成和選擇模型

一般會話模型可以簡單地分為兩種主要類型 - 生成模型和選擇性（或排名）模型。此外，混合模型也是可能的。但常見的是，這些模型構(gòu)思了對話語境的幾個句子并預(yù)測了這種語境的答案。在下圖中，你可以看到此類系統(tǒng)的說明。

在這篇文章中，當(dāng)我說“網(wǎng)絡(luò)使用單詞序列”或“單詞被傳遞給RNN”時，我的意思是單詞嵌入被傳遞到網(wǎng)絡(luò)，而不是單詞ID。

關(guān)于對話數(shù)據(jù)表示的注釋

在深入討論之前，我們應(yīng)該討論一下對話數(shù)據(jù)集是什么樣的。下面描述的所有模型都是成對訓(xùn)練（上下文，回復(fù)）。上下文是在回復(fù)之前的幾個句子（可能是一個）。這個句子只是它的詞匯表中的一系列標(biāo)記。

為了更好地理解，請查看表格。從兩個人之間的原始對話中提取了三個樣本：

- 嗨！ - 嗨，你好。 - 你幾歲？ - 二十二。你呢？ - 我也是！哇！

請注意批處理中每個句子末尾的“ ”（序列結(jié)尾）標(biāo)記。這個特殊標(biāo)記有助于神經(jīng)網(wǎng)絡(luò)理解句子的邊界并明智地更新其內(nèi)部狀態(tài)。

某些模型可能會使用來自數(shù)據(jù)的附加元信息，例如說話者的ID，性別，情感等。

現(xiàn)在，我們準(zhǔn)備繼續(xù)討論生成模型。

生成模型

我們從最簡單的會話模型開始，“ 神經(jīng)對話模型”。

為了對對話進行建模，本文采用了一個序列到序列（seq2seq）框架，該框架出現(xiàn)在神經(jīng)機器翻譯領(lǐng)域，并成功地適應(yīng)了對話問題。該體系結(jié)構(gòu)由兩個具有不同參數(shù)集的RNN組成。左邊的一個（對應(yīng)于ABC標(biāo)記）稱為編碼器， 而右邊的一個（對應(yīng)于 -WXYZ標(biāo)記）稱為解碼器。

編碼器如何工作的？

編碼器RNN每次構(gòu)造一個上下文的標(biāo)記序列，并更新它的隱藏狀態(tài)。在處理整個上下文序列之后，它產(chǎn)生一個最終隱藏的狀態(tài)，這個隱藏狀態(tài)結(jié)合了上下文的意義并用于生成答案。

解碼器如何工作？

解碼器的目標(biāo)是從編碼器獲取上下文表示并生成一個答案。為此目的，在解碼器RNN中維護詞匯上的softmax層。在每個時間步長中，該層采用解碼器隱藏狀態(tài)并輸出其詞匯表中所有單詞的概率分布。

以下是生成回復(fù)的工作原理：

使用最終編碼器隱藏狀態(tài)（h_0）初始化解碼器隱藏狀態(tài)。
傳遞標(biāo)記作為解碼器的第一個輸入并更新隱藏狀態(tài)（h_1）
從softmax層（使用h1）采樣（或以最大概率取一個）第一個字（w1）。
將此單詞作為輸入傳遞，更新隱藏狀態(tài)（h1 - > h2）并生成新單詞（w_2）。
重復(fù)步驟4，直到生成標(biāo)記或超出最大答案長度。

解碼器中生成回復(fù)，適用于那些喜歡公式而不是單詞的人。這里，w_t是時間步長t上采樣的單詞； θ是解碼器參數(shù)，phi是密集層參數(shù)，g表示密集層，p-hat是時間步長t詞匯表的概率分布。

在生成回復(fù)時使用argmax，當(dāng)使用相同的上下文時，總是會得到相同的答案（argmax是確定性的，而采樣是隨機的）。

我上面描述的過程只是模型推理部分，但也有模型訓(xùn)練部分，它以稍微不同的方式進行工作 - 在每個解碼步驟，我們使用正確的單詞y_t而不是生成的單詞（w_t）作為輸入。換句話說，在訓(xùn)練時，解碼器使用正確的回復(fù)序列，但刪除了最后一個標(biāo)記并且標(biāo)記被預(yù)先添加。

解碼器推斷階段的說明。前一時間步長的輸出作為當(dāng)前時間步長的輸入。

目標(biāo)是在每個時間步長上最大化限度的提高下一個正確的單詞的概率。更簡單地說，我們要求網(wǎng)絡(luò)通過為序列提供正確的前綴來預(yù)測序列中的下一個單詞。通過最大似然訓(xùn)練進行訓(xùn)練，這導(dǎo)致經(jīng)典的交叉熵?fù)p失：

這里，y_t是在時間步驟t的回復(fù)中的正確答案。

生成模型的修改

現(xiàn)在我們對序列到序列框架有了基本的了解。我們?nèi)绾螢檫@些模型添加更多泛化能力？有很多方法：

向編碼器或/和解碼器RNN 添加更多層。
使用雙向編碼器。由于解碼器的正向生成結(jié)構(gòu)，使得解碼器無法實現(xiàn)雙向傳輸。
試驗嵌入。你可以預(yù)先初始化單詞嵌入，也可以與模型一起從頭開始學(xué)習(xí)它們。
使用更高級的回復(fù)生成過程 - beamsearch。我的想法是不“貪婪地”生成答案（通過將argmax用于下一個單詞），但考慮更長鏈詞的概率并在其中進行選擇。
使你的編碼器或/和解碼器卷積的。Convnet可能比RNN更快地工作，因為它們可以有效地并行化。
使用注意機制。注意機制最初是在神經(jīng)機器翻譯論文中引入的，并且已經(jīng)成為一種非常流行且強大的技術(shù)。
在每次執(zhí)行步驟時，將最終編碼器狀態(tài)傳遞給解碼器。解碼器僅查看最終編碼器狀態(tài)一次，然后可能會忘記它。一個好的主意是將其與單詞嵌入一起傳遞給解碼器。
不同編碼器/解碼器狀態(tài)大小。我上面描述的模型要求編碼器和解碼器具有相同的隱藏狀態(tài)大小（因為我們用最終編碼器的狀態(tài)初始化解碼器狀態(tài)）。你可以通過從編碼器最終狀態(tài)向初始解碼器狀態(tài)添加投影（密集）層來消除此要求。
使用字符而不是單詞或字節(jié)對編碼來構(gòu)建詞匯表。字符級模型是值得考慮的，因為它們的詞匯量較小，并且可以理解詞匯中沒有的單詞，因此它們的工作速度更快。字節(jié)對編碼（BPE）是兩全其美的。我們的想法是在序列中找到最常見的指標(biāo)對，并將它們合并為一個指標(biāo)。

生成模型的問題

稍后，我將為你提供流行實現(xiàn)的鏈接，以便你可以訓(xùn)練自己的對話模型。但現(xiàn)在我想告訴你一些你將面對的生成模型的常見問題。

通用回復(fù)

通過極大似然訓(xùn)練的生成模型傾向于預(yù)測一般回復(fù)的高概率，例如“好”，“否”，“是”和“我不知道”的廣泛情境。

回復(fù)不一致/如何合并元數(shù)據(jù)

seq2seq模型的第二個主要問題是它們可以為釋義的上下文生成不一致的回復(fù)，但具有相同的意義：

最常被引用的與之相關(guān)的工作是“ 基于角色的神經(jīng)對話模型”。作者為每個話語使用說話者的ID來產(chǎn)生答案，這不僅取決于編碼器狀態(tài)，還取決于說話者的嵌入。揚聲器嵌入與模型一起從頭開始學(xué)習(xí)。

使用這個想法，你可以使用你擁有的不同元數(shù)據(jù)來擴充你的模型。例如，如果你知道說話的時態(tài)（過去/現(xiàn)在/將來），你可以在推理時以不同的時態(tài)生成回復(fù)！你可以調(diào)整回復(fù)者的性格（性別，年齡，情緒）或回復(fù)屬性（時態(tài)，情緒，問題/非問題等），同時你有這些數(shù)據(jù)來訓(xùn)練模型。

為了你的練習(xí)

下面是一些不同框架中的seq2seq模型，如果你可以打開的話，可以看一下，都是一些外網(wǎng)的模型數(shù)據(jù)之類的。

TensorFlow

谷歌官方的實現(xiàn)
另外兩個實現(xiàn)，你可能會覺得使用PyTorch更舒服（seq2seq用于翻譯，但你可以使用相同的代碼進行對話）
使用seq2seq進行翻譯（你可以使用相同的代碼但是使用對話的數(shù)據(jù)）
來自IBM的實現(xiàn)

Keras

流行的實現(xiàn)方法和良好的API

論文和指南

關(guān)于序列到序列聊天機器人的教程
注意機制 - Bahdanau的注意 - Luong的注意 - 使用多頭注意+前饋網(wǎng)絡(luò)機器翻譯任務(wù)的最新技術(shù)。 - 關(guān)于RNN注意的教程
字節(jié)對編碼紙
ConvS2S論文

深入選擇性模型

完成生成模型之后，讓我們了解選擇性神經(jīng)對話模型的工作原理（它們通常被稱為DSSM，代表深層語義相似性模型）。

選擇模型不是估計概率p（回復(fù)|上下文; w），而是學(xué)習(xí)相似性函數(shù) - sim（回復(fù)，上下文; w），其中回復(fù)是預(yù)定義的可能答案池中的元素之一（參見下圖）。

直覺是網(wǎng)絡(luò)將上下文和候選答案作為輸入，并返回它們彼此之間的可信度。

選擇性（或排名或dssm）網(wǎng)絡(luò)由兩個“塔”組成：第一個用于上下文，第二個用于響應(yīng)。每座塔都可能擁有你想要的任何結(jié)構(gòu)。塔取其輸入并將其嵌入語義向量空間（圖中的向量R和C）。然后，計算上下文和應(yīng)答向量之間的相似性，即使用余弦相似度。

在推理時，我們可以計算給定上下文和所有可能答案之間的相似性，并選擇具有最大相似性的答案。

為了訓(xùn)練模型，我們使用三重?fù)p失。Triplet loss在triplets上定義(context, replycorrect, replywrong)，等于:

選擇性模型的三重?fù)p失。它與SVM中的最大邊際損失非常相似。

什么是replywrong？它也被稱為“負(fù)面”樣本（replycorrect稱為“正面”樣本），在最簡單的情況下，它是來自答案池的隨機回復(fù)。因此，通過最小化這種損失，我們以絕對值不提供信息的排序方式學(xué)習(xí)相似性函數(shù)。但請記住，在推理階段，我們只需要比較所有回復(fù)的分?jǐn)?shù)，并選擇一個得分最高的。

選擇模型中的抽樣方案

你可能會問，我們?yōu)槭裁匆獜臄?shù)據(jù)集中隨機抽取樣本？也許使用更復(fù)雜的抽樣方案是個好主意？確實如此。如果你仔細(xì)觀察，你可能會發(fā)現(xiàn)三元組的數(shù)量是O（n3），因此正確選擇負(fù)數(shù)是很重要的，因為我們無法完成所有這些（大數(shù)據(jù)，你知道）。

例如，我們可以從池中抽取K個隨機否定回復(fù)，對其進行評分，并選擇最高得分的那個作為否定答案。這種方案被稱為“硬負(fù)面”開采。如果你想深入挖掘，請閱讀“ 深度嵌入學(xué)習(xí)中的采樣事項”一文。

生成性與選擇性：利弊

此時，我們已經(jīng)了解了生成模型和選擇模型的工作原理。但是你選擇哪種類型？這完全取決于你的需求。下表是為了幫助你做出決定。

最難的部分是評估

其中一個最重要的問題是如何評估神經(jīng)對話模型。有許多自動指標(biāo)用于評估聊天機器人與機器學(xué)習(xí)：

選擇性模型的精確度/召回率/準(zhǔn)確度
生成模型的困惑/損失值
BLEU / METEOR從機器翻譯得分

但是最近的一些研究)表明，所有這些指標(biāo)都與人類對特定情境的答復(fù)適當(dāng)性的判斷密切相關(guān)。

例如，假設(shè)你有上下文“Statsbot是否破壞了我們處理數(shù)據(jù)的方式”？，然后回答“當(dāng)然是這樣”。但是你的模型會回答例如“這絕對是真的?！敝惖脑拋砘卮鹕舷挛?。上面顯示的所有指標(biāo)都會給出這樣一個答案的低分，但我們可以看到這個答案與你的數(shù)據(jù)提供的一樣好。