自大約10年前開始崛起以來，人工智能背后的神經(jīng)網(wǎng)絡(luò)技術(shù)從數(shù)據(jù)中學(xué)習(xí)和識(shí)別模式的能力越來越強(qiáng)，從電子郵件到藥物發(fā)現(xiàn)，這種能力已經(jīng)改變了一切;但這種能力也帶來了一個(gè)神秘的警告:現(xiàn)代深度學(xué)習(xí)網(wǎng)絡(luò)之所以能夠成功地自學(xué)駕駛汽車和發(fā)現(xiàn)保險(xiǎn)欺詐正正是因?yàn)槠渥陨淼膹?fù)雜性，但這種復(fù)雜性也使得它們的內(nèi)部工作復(fù)雜得幾乎不可能被理解(即使是人工智能專家)。如果訓(xùn)練一個(gè)人工神經(jīng)網(wǎng)絡(luò)來識(shí)別患者患上肝癌與精神分裂癥的風(fēng)險(xiǎn)(2015年在紐約西奈山醫(yī)院就有一個(gè)這樣的人工智能，“Deep Patient”)，我們沒有辦法分辨這個(gè)神經(jīng)網(wǎng)絡(luò)究竟在關(guān)注著哪些數(shù)據(jù)，這種“知識(shí)”牽涉到許多層人工神經(jīng)元，每一層都有成百上千的神經(jīng)連接。

隨著越來越多的行業(yè)試圖用人工智能來實(shí)現(xiàn)自動(dòng)化或增強(qiáng)決策能力，這個(gè)所謂的“黑匣子”問題看起來更像是一個(gè)根本性缺陷，而不像是一個(gè)技術(shù)怪癖。DARPA的“XAI”項(xiàng)目(“可解釋的AI，explainable AI”縮寫)正在積極研究這個(gè)問題，人工智能的可解釋性已經(jīng)從機(jī)器學(xué)習(xí)研究的邊緣轉(zhuǎn)移到了研究的中心。Kim說:“人工智能正處于非常關(guān)鍵的時(shí)刻，人類在試圖決定這項(xiàng)技術(shù)對(duì)我們是否有益，如果我們不解決這個(gè)可解釋性問題，我認(rèn)為我們不會(huì)推進(jìn)這項(xiàng)技術(shù)，我們可能會(huì)放棄人工智能。”

Kim和她在Google Brain的同事最近開發(fā)了一個(gè)名為“概念激活向量測(cè)試”(TCAV)的系統(tǒng)，她將其描述為“人類的翻譯”，它允許用戶詢問一個(gè)黑匣子AI一個(gè)特定的、高水平的概念在其推理中發(fā)揮了多大作用。例如，如果一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)被訓(xùn)練去識(shí)別圖像中的斑馬，那么一個(gè)人就可以利用TCAV系統(tǒng)來確定機(jī)器學(xué)習(xí)系統(tǒng)在做決定時(shí)，“條紋”這個(gè)概念在機(jī)器學(xué)習(xí)系統(tǒng)中的權(quán)重有多少。

TCAV最初是在訓(xùn)練識(shí)別圖像的機(jī)器學(xué)習(xí)模型上進(jìn)行測(cè)試的，但它也適用于以文本和某些數(shù)據(jù)可視化訓(xùn)練(腦電圖波形)的機(jī)器學(xué)習(xí)模型?！八韧ㄓ糜趾唵巍憧梢园阉迦朐S多不同的模型中，”Kim說。

Kim接受了采訪，探討了可解釋性的含義、用途以及重要性。以下是經(jīng)過編輯的采訪內(nèi)容。

問:您的職業(yè)生涯專注于機(jī)器學(xué)習(xí)的“可解釋性”，但是這個(gè)術(shù)語到底是什么意思呢?

可解釋性有兩個(gè)分支。一個(gè)分支是科學(xué)的可解釋性:如果你把神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，那么你就可以進(jìn)行科學(xué)實(shí)驗(yàn)來真正理解模型血淋淋的細(xì)節(jié)，它是如何反應(yīng)的，以及諸如此類的事情。

可解釋性的第二個(gè)分支，也是我一直關(guān)注的，是負(fù)責(zé)任的人工智能的可解釋性。你不需要完全理解人工智能模型，但最起碼你要理解得足夠多去安全地使用這個(gè)工具，這就是我們的目標(biāo)。

問:但如果您并不完全了解一個(gè)系統(tǒng)的工作原理，那您怎么能對(duì)它有信心呢?

我來打個(gè)比方，假設(shè)我后院有一棵樹，我想把它砍倒，我可能會(huì)用鏈鋸來完成這項(xiàng)工作，但現(xiàn)在我不完全明白鏈鋸的工作原理，不過說明書上說:“這些是你需要小心的事項(xiàng)，以免割傷你的手指?！彼裕辛诉@本說明書，我寧愿用電鋸也不愿用手鋸，因?yàn)槭咒忞m然更容易理解，但用手鋸砍一棵樹會(huì)讓我花上5個(gè)小時(shí)的時(shí)間?！?/p>

問:您知道什么是“切割”，即使您并不完全知道這個(gè)機(jī)制如何實(shí)現(xiàn)切割。

是的?？山忉屝缘诙€(gè)分支的目標(biāo)是:我們對(duì)一個(gè)工具的理解是否能到達(dá)一個(gè)僅僅能讓我們安全使用這個(gè)工具的程度?我們可以通過確認(rèn)有用的人類知識(shí)在工具中的反映來建立這種理解。

問:“反映人類知識(shí)”如何能讓類似黑匣子般的人工智能更容易理解?

這里再舉一個(gè)例子，如果醫(yī)生使用機(jī)器學(xué)習(xí)模型來進(jìn)行癌癥診斷，醫(yī)生會(huì)想知道這個(gè)模型并沒有在數(shù)據(jù)中提取我們不想注意到的隨機(jī)相關(guān)性。確保這一點(diǎn)的一種方法是確認(rèn)機(jī)器學(xué)習(xí)模型正在做醫(yī)生會(huì)做的事情，也就是說，醫(yī)生自身的診斷知識(shí)會(huì)反映在模型中。

因此，如果醫(yī)生正在觀察細(xì)胞標(biāo)本來診斷癌癥，他們可能會(huì)在標(biāo)本中尋找一種叫做“融合腺體”的東西。他們可能還會(huì)考慮患者的年齡，以及患者過去是否接受過化療，這些都是醫(yī)生在診斷癌癥時(shí)會(huì)關(guān)心的因素或概念，如果我們能證明機(jī)器學(xué)習(xí)模型也在關(guān)注這些因素，這個(gè)模型就變得更容易理解，因?yàn)樗从沉酸t(yī)生的人類知識(shí)。

問:這就是TCAV的功能嗎?揭示機(jī)器學(xué)習(xí)模型使用哪些高級(jí)概念來做決策?

是的。在此之前，可解釋性方法僅從“輸入特征”的角度解釋神經(jīng)網(wǎng)絡(luò)在做什么。我這話是什么意思?如果你有一幅圖像，每一個(gè)像素都是一個(gè)輸入特征。事實(shí)上，揚(yáng)·勒丘恩(早期深度學(xué)習(xí)的先鋒，目前是Facebook人工智能研究主管)曾表示，他認(rèn)為這些模型的可解讀性已經(jīng)非常高了，因?yàn)槟憧梢钥吹缴窠?jīng)網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)和這些輸入的數(shù)值特性。這對(duì)于計(jì)算機(jī)來說是很清晰，但是對(duì)人類來說就不是這么回事了。我不會(huì)跟你說，“看看像素100到200，RGB值分別是0.2和0.3?！蔽抑粫?huì)說:“這有一張狗的照片，它的毛很蓬松。”這才是人類交流的方式，我們通過概念交流。

問:TCAV如何在輸入特性和概念之間執(zhí)行這種轉(zhuǎn)換?

讓我們回到一個(gè)醫(yī)生使用機(jī)器學(xué)習(xí)模型的例子，這個(gè)模型已經(jīng)被訓(xùn)練過用來識(shí)別潛在癌癥細(xì)胞的圖片。而作為醫(yī)生，你可能想知道“融合腺體”這個(gè)概念對(duì)模型預(yù)測(cè)癌癥陽性有多大的影響。首先你要收集一些有腺體融合例子的圖像，比如說20張，然后將這些標(biāo)記好的示例插入到模型中。

然后TCAV在內(nèi)部所做的流程叫做“敏感性測(cè)試”。當(dāng)我們插入這些融合腺體的標(biāo)記圖片時(shí)，癌癥的陽性預(yù)測(cè)概率會(huì)增加多少?你將其用0到1之間的數(shù)字來描述，這就是你的 TCAV 分?jǐn)?shù)。如果概率增加，那這是模型的一個(gè)重要概念，如果沒有，那這對(duì)模型來說就不是一個(gè)重要的概念。

問:“概念”是一個(gè)模糊的術(shù)語，有沒有概念是不能利用TCAV系統(tǒng)的呢?

如果你不能使用你數(shù)據(jù)集的某個(gè)子集來表達(dá)你的概念，那么它就不能使用這個(gè)系統(tǒng)。如果您的機(jī)器學(xué)習(xí)模型是基于圖像進(jìn)行訓(xùn)練的，那么這個(gè)概念必須是可視的。比方說，我想要在視覺上直觀地表達(dá)“愛”的概念，那這就真的很難。

我們還仔細(xì)驗(yàn)證了這個(gè)概念。我們有一個(gè)統(tǒng)計(jì)測(cè)試程序，如果概念向量對(duì)模型的影響與隨機(jī)向量相同，它就會(huì)拒絕這個(gè)概念向量。如果你的概念沒有通過這個(gè)測(cè)試，TCAV會(huì)說:“我不知道，這個(gè)概念看起來對(duì)模型并不重要?！?/p>

問:TCAV的本質(zhì)是創(chuàng)造人類對(duì)AI的信任，而不是創(chuàng)造對(duì)AI的真正理解嗎?

它不是，我會(huì)解釋為什么，因?yàn)檫@是一個(gè)很好的區(qū)別。

我們從認(rèn)知科學(xué)和心理學(xué)的反復(fù)研究中得知，人類非常容易上當(dāng)受騙。這意味著欺騙一個(gè)人去相信某些東西其實(shí)是很容易的。而機(jī)器學(xué)習(xí)的可解釋性目標(biāo)正好相反，它在告訴你一個(gè)系統(tǒng)是不是不安全，它是在揭示真相，所以用“信任”這個(gè)詞并不恰當(dāng)。

問:所以可解釋性的關(guān)鍵在于揭示人工智能推理中的潛在缺陷嗎?

是的，沒錯(cuò)。

問:它如何暴露這些缺陷?

你可以使用TCAV詢問一個(gè)訓(xùn)練過的模型一些不相關(guān)的概念?；氐结t(yī)生使用人工智能預(yù)測(cè)癌癥的例子，醫(yī)生們可能會(huì)突然想，“看起來這臺(tái)機(jī)器對(duì)很多帶有藍(lán)色偽影的圖像給出了癌癥的陽性預(yù)測(cè)，我們認(rèn)為那個(gè)因素不應(yīng)該被考慮進(jìn)去?！币虼耍绻麄?cè)谒{(lán)色這方面獲得了TCAV高分，他們就發(fā)現(xiàn)了自己的機(jī)器學(xué)習(xí)模型中的一個(gè)問題。

問:TCAV被設(shè)計(jì)成連接到現(xiàn)有的無法解釋的AI系統(tǒng)上，那為什么不從一開始就使AI系統(tǒng)變得可以解釋，而不是現(xiàn)在的這些黑匣子?

可解釋性研究有一個(gè)分支關(guān)注于構(gòu)建固有可解釋性的模型，這些模型反映人類如何推理。但我認(rèn)為:現(xiàn)在到處都已經(jīng)有人工智能模型，它們已經(jīng)構(gòu)建好了，而且已經(jīng)被賦予重任，但它們從一開始就沒有考慮過可解釋性，這就是事實(shí)，我們?cè)诠雀杈陀泻芏噙@種人工智能模型。當(dāng)然你也可以說“可解釋性非常有用，讓我來為你建立另一個(gè)模型來代替你已有的模型吧?！钡绻阋堑眠@樣做的話那我只能祝你好運(yùn)了。

那么你會(huì)怎么做呢?我們?nèi)匀恍枰冗^這個(gè)決定這項(xiàng)技術(shù)是否對(duì)我們有益的關(guān)鍵時(shí)刻。這就是為什么我采用“培訓(xùn)后”的可解釋方法。如果你有一個(gè)別人給你的模型，但是你不能改變它，那么為了能夠安全地使用它，你要怎么去解釋它的行為?這，就是TCAV所做的工作。

問:TCAV可以讓人類詢問AI某些概念對(duì)它是否重要。但如果我們不知道該問什么呢?如果我們想讓人工智能系統(tǒng)自己解釋自己呢?

我們現(xiàn)在正在著手的工作可以自動(dòng)為你發(fā)現(xiàn)概念。我們稱它為DTCAV (Discover TCAV)。但實(shí)際上我認(rèn)為讓人類參與其中、讓機(jī)器與人類進(jìn)行對(duì)話才是可解釋性的關(guān)鍵。

很多時(shí)候，在高風(fēng)險(xiǎn)的應(yīng)用中，這些領(lǐng)域的專家們已經(jīng)有了他們所關(guān)心的概念。我們?cè)贕oogle Brain的醫(yī)學(xué)應(yīng)用中可以看到這種重復(fù)，他們不希望得到某組概念，他們想告訴模型他們自己感興趣的概念。我們和一位治療糖尿病視網(wǎng)膜病變(糖尿病視網(wǎng)膜病變是一種眼科疾病)的醫(yī)生合作，當(dāng)我們告訴她TCAV的時(shí)候，她很興奮，因?yàn)樗呀?jīng)有了很多關(guān)于這個(gè)模型可能做什么的假設(shè)，現(xiàn)在她可以測(cè)試那些確切的問題。這實(shí)際上是一個(gè)巨大的優(yōu)勢(shì)，也是一種以用戶為中心的協(xié)作機(jī)器學(xué)習(xí)方式。

問:您認(rèn)為如果沒有可解釋性，人類可能會(huì)放棄人工智能技術(shù)。但考慮到人工智能的強(qiáng)大，您真的認(rèn)為這是一種現(xiàn)實(shí)的可能性嗎?

是的，我是這樣認(rèn)為的，專家系統(tǒng)就是這樣的前車之鑒，(在上世紀(jì)80年代)我們發(fā)現(xiàn)，它們執(zhí)行某些任務(wù)的成本低于人工操作員。但是現(xiàn)在還有人在用專家系統(tǒng)嗎?一個(gè)都沒有，在那之后我們進(jìn)入了人工智能的冬天。

現(xiàn)在看來不太可能，那是因?yàn)槿斯ぶ悄茴I(lǐng)域的炒作和資本在作祟。但從長遠(yuǎn)來看，我認(rèn)為人類可能會(huì)做出自己決定，也許是出于恐懼，也許是缺乏證據(jù)，這個(gè)決定會(huì)認(rèn)為這項(xiàng)技術(shù)不適合我們，這不是不可能的。

本報(bào)告利用前瞻資訊長期對(duì)人工智能行業(yè)市場跟蹤搜集的一手市場數(shù)據(jù)，采用與國際同步的科學(xué)分析模型，全面而準(zhǔn)確地為您從行業(yè)的整體高度來架構(gòu)分析體系。本報(bào)告主要分析了...