（這是昨天智金課堂的分享實(shí)錄，小編加班加點(diǎn)地給大家整理出來了。本文圖多字多，流量黨注意，土豪隨意。另外，大神的思想，總是要費(fèi)點(diǎn)腦子的，建議收藏，夜深人靜時(shí)慢慢琢磨。你會(huì)發(fā)現(xiàn)，第二天起來整個(gè)人都變了，逼格暴漲！轉(zhuǎn)發(fā)朋友圈尤甚。） 大家好，很高興智金匯邀請我在第26期微信課堂向大家談一些自己對AI的理解?？赡艽蠹也⒉皇呛芰私庵R(shí)圖譜，但是大家一定了解石油。石油不僅僅是能源，很多衍生品也都需要依賴石油。類似地，我們在進(jìn)行人工智能的探索道路上，我們也需要了解其本質(zhì)，或者在其基礎(chǔ)上衍生出各種上層的智能應(yīng)用。在我個(gè)人看來，知識(shí)圖譜正是起到了這樣一個(gè)作用。 我會(huì)一邊放PPT，一邊解釋，這樣圖文并茂一點(diǎn)，方便大家理解。這里并沒有過多介紹公司所做的業(yè)務(wù)，而是站在一個(gè)中立的角度盡量給大家呈現(xiàn)知識(shí)圖譜在各領(lǐng)域的應(yīng)用。 先介紹一些大家耳熟能詳?shù)膽?yīng)用，只是大家不了解這些應(yīng)用是基于知識(shí)圖譜的。首先是“語義搜索”，因?yàn)橹R(shí)圖譜這個(gè)詞最先是由谷歌在2012年提出的。作為谷歌的兩大重要技術(shù)儲(chǔ)備，一個(gè)是深度學(xué)習(xí)，形成了谷歌大腦；另一個(gè)就是知識(shí)圖譜，用來支撐下一代搜索和在線廣告業(yè)務(wù)。 上面的圖中，大家可以發(fā)現(xiàn)與傳統(tǒng)的搜索相比，搜索引擎開始理解用戶輸入的需求了，并對此返回各種非網(wǎng)頁內(nèi)容信息。在圖中，對于New York（紐約州），返回各種結(jié)構(gòu)化信息（在右邊），類似一種經(jīng)過梳理的高質(zhì)量的摘要，供大家快速了解，而非僅有包含New York作為關(guān)鍵詞的文檔內(nèi)容。 接著我們再來看另一個(gè)巨頭臉譜公司的工作，他在之后利用知識(shí)圖譜技術(shù)構(gòu)建興趣圖譜（interest graph），用來連接人、分享的信息等，并基于此構(gòu)建了graph search。 通過上圖可以看到用戶輸入的兩個(gè)自然語言問題，一個(gè)是問喜歡哈佛大學(xué)的人（左邊），另一個(gè)訪問過哈佛大學(xué)的人，如果按照傳統(tǒng)的搜索做法，返回的結(jié)果會(huì)有很多重合，而事實(shí)上從返回結(jié)果我們可以看到臉譜公司可以清晰分辨這兩者的區(qū)別。 那么這里就需要做更精確的語義分析，對于這里可以識(shí)別people（詢問對象）、Harford University（大學(xué)），like/visit是動(dòng)作，而like可以對應(yīng)到社交網(wǎng)站中的點(diǎn)贊，而visit對應(yīng)到社交網(wǎng)站上的簽到，這樣就能完全區(qū)分開了，更進(jìn)一步，我們有了各種允許語音輸入的個(gè)人助理。 從SIRI到EVI到Google Now，這些僅僅是在交互方式上有所不同，支持自然語言自由溝通的前提是龐大的知識(shí)庫和基于知識(shí)庫的各種服務(wù)—即知識(shí)圖譜，此外，大家都知道IBM近年來一直在推動(dòng)認(rèn)知智能和智慧地球的理念。 IBM在2011年研發(fā)了Watson問答系統(tǒng)，參加了Jeopardy!（危險(xiǎn)邊緣）電視節(jié)目，類似國內(nèi)的一站到底和開心詞典，并打敗人類冠軍。很有幸，我參與了2年的Watson系統(tǒng)研發(fā)，這對后面的經(jīng)歷以及目前公司的技術(shù)選型有比較大的影響，剛剛舉了一些例子，我們總結(jié)一下知識(shí)圖譜會(huì)帶來的好處。 這個(gè)對于大數(shù)據(jù)來說，其實(shí)就是全數(shù)據(jù)的概念。而對于人工智能來說，其實(shí)就是將原本沒有聯(lián)系的數(shù)據(jù)連通，將離散的數(shù)據(jù)整合在一起，從而提供更有價(jià)值的決策支持。而這里的副標(biāo)題其實(shí)更進(jìn)一步針對B端市場，我們強(qiáng)調(diào)了外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)整合的意義和價(jià)值。 這是一個(gè)通用的知識(shí)圖譜的框架，我們可以看到知識(shí)圖譜不是空中樓閣，而是基于現(xiàn)有數(shù)據(jù)的再加工，包括關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)、文本或XML中的非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)、客戶數(shù)據(jù)、領(lǐng)域本體知識(shí)以及外部知識(shí)，通過各種數(shù)據(jù)挖掘、信息抽取和知識(shí)融合技術(shù)形成一個(gè)統(tǒng)一的全局的知識(shí)庫，注意這里的全局知識(shí)庫并非中心管理，而是一個(gè)邏輯上的全局（即數(shù)據(jù)統(tǒng)一，語義清晰），那么知識(shí)圖譜能做什么呢？也就是上面提到的那些大家熟悉的應(yīng)用（搜索、推薦、以及在后面會(huì)提到的各種垂直應(yīng)用）。 知識(shí)圖譜在生命科學(xué)中的應(yīng)用 第一個(gè)應(yīng)用是藥物發(fā)現(xiàn)： 大家都知道，醫(yī)藥公司往往花費(fèi)10億美元甚至更高來研發(fā)新藥，如何縮短新藥研制周期，降低研發(fā)成本是大家所關(guān)注的。 這里首先大家可以了解一下歐盟第7框架下的一個(gè)重大項(xiàng)目，稱之為開放藥品平臺(tái)Open Phacts，這個(gè)項(xiàng)目吸引了輝瑞和諾華制藥等巨頭參與。利用來自實(shí)驗(yàn)室的理化數(shù)據(jù)、各種期刊文獻(xiàn)中的研究成果、以及各種開放數(shù)據(jù)（其中比較有名的包括Clinical Trials.org，美國開放數(shù)據(jù)中的臨床實(shí)驗(yàn)數(shù)據(jù)）來加速藥物研制中的分子篩選工作。 具體來說，我們看一個(gè)例子： 大家都知道，阿爾茲海默癥也就是老年癡呆癥是世界難題。這里給出了3個(gè)觀察：藥物研發(fā)經(jīng)常需要去找藥物靶點(diǎn)，而藥物靶點(diǎn)中大家關(guān)注的是其中豐富的信號轉(zhuǎn)導(dǎo)通路，更具體來說即對于化學(xué)治療起作用的蛋白。同時(shí)我們知道老年癡呆癥患者的CA1錐形神經(jīng)元是損壞的，那么我們在做基因篩選的時(shí)候就會(huì)發(fā)問：能否找到存在于上述信號轉(zhuǎn)導(dǎo)通路中，且被包含在上述神經(jīng)元的候選基因呢？ 更具體來說，我們將其轉(zhuǎn)換為一個(gè)復(fù)雜的查詢，大家不用糾結(jié)這個(gè)查詢的格式，這是一個(gè)圖查詢，是圖譜對應(yīng)的標(biāo)準(zhǔn)格式，稱為SPARQL。這個(gè)查詢一共跨越了4個(gè)數(shù)據(jù)源，錐形神經(jīng)元在Mesh（美國NIH發(fā)布的標(biāo)準(zhǔn)術(shù)語）中Entrez Gene是一個(gè)知名的基因知識(shí)庫。 而GO(基因本體）包含信號轉(zhuǎn)導(dǎo)，同時(shí)可以在圖中看到有兩個(gè)橙色部分的查詢，需要依賴去做知識(shí)推理。知識(shí)推理就是希望通過邏輯和統(tǒng)計(jì)的方法從顯式的數(shù)據(jù)中得到隱含的知識(shí)。 比如這里，是要做一個(gè)傳遞閉包的推理，因?yàn)閜art of (部分）是一個(gè)可以傳遞的，A part of B， B part of C可以推出A part of C。這樣得到的候選基因能讓醫(yī)學(xué)研究人員更加專注，省去了大量用機(jī)器（即使是華大基因）去篩選基因的耗費(fèi)。 剛剛我們也提到了Watson，隨著Watson取得巨大成功，IBM成立了Watson group（事業(yè)部），對各種行業(yè)進(jìn)行認(rèn)知攻破。 第一個(gè)就是醫(yī)療方面 這是在安德森癌癥中心的實(shí)驗(yàn)，我們知道Anderson癌癥中心是全國最有名的癌癥中心。IBM稱這個(gè)項(xiàng)目為登月計(jì)劃(moon shot) ，這里通過整合大量醫(yī)療文獻(xiàn)和書籍以及各種EMR（電子病歷）來獲取海量高質(zhì)量的醫(yī)療知識(shí)，并基于這些知識(shí)面對醫(yī)護(hù)人員提供輔助臨床決策和用藥安全等方面的應(yīng)用，并取得了巨大成功。 知識(shí)圖譜在農(nóng)業(yè)中的應(yīng)用 大家都知道我國是農(nóng)業(yè)大國，但是我們的農(nóng)業(yè)又是基于小作坊，靠手工或看天工作的階段。 當(dāng)然整個(gè)亞洲其實(shí)和美國這種大農(nóng)場主統(tǒng)一管理的方式很不同，也存在各種資源利用率低的現(xiàn)狀，我們發(fā)現(xiàn)有超過50%存在農(nóng)藥過分灌溉或缺乏灌溉的情況。
大量的資料是很分散的，而且存放在各種格式中，而農(nóng)民們非常迫切希望有人來指導(dǎo)他們更好地進(jìn)行灌溉和解決蟲害，那么這個(gè)時(shí)候的關(guān)鍵就是使得各種農(nóng)業(yè)相關(guān)的知識(shí)可被這些農(nóng)民朋友訪問到。
這里我們以柑橘知識(shí)為例，我們發(fā)現(xiàn)傳統(tǒng)的關(guān)系數(shù)據(jù)庫模式對于這種復(fù)雜或多變的領(lǐng)域是不可行的，因?yàn)槲覀儫o法實(shí)現(xiàn)定義所有可能的知識(shí)點(diǎn)（用于構(gòu)建關(guān)鍵數(shù)據(jù)庫模式）。所以我們需要一種更加靈活的知識(shí)表示模型來管理，這個(gè)時(shí)候知識(shí)圖譜就能起到很好的作用。 如果大家對知識(shí)圖譜還比較陌生的話，可以看到這里貼出的可視化圖，即根據(jù)上述施肥問答信息抽取構(gòu)建的圖譜片段。
類似的，我們可以用各種抽取挖掘技術(shù)（這里省略）從各種多源異構(gòu)數(shù)據(jù)中獲取相應(yīng)的知識(shí)，并統(tǒng)一用圖譜進(jìn)行表示，從而形成一個(gè)完整的知識(shí)庫。
這里以Excel表或CSV文件為例，我們可以通過構(gòu)建wrapper將其列映射為圖模式，而將下面的記錄（每一行）映射為對應(yīng)的符合模式的圖數(shù)據(jù)，并與之前從問答知識(shí)數(shù)據(jù)中獲取的圖譜進(jìn)行關(guān)聯(lián)整合。
這是一個(gè)整合之后的化肥本體知識(shí)。
對于這個(gè)知識(shí)庫，我們可以通過SPARQL查詢（可以可視化為圖譜，見左上腳）來利用知識(shí)庫，這里的例子是查詢癥狀是座果率低的植物和其他相關(guān)癥狀。
圖查詢類似圖譜數(shù)據(jù)，非常靈活，可以方便地進(jìn)行變化，通過增刪節(jié)點(diǎn)和邊來實(shí)現(xiàn)，從而增加條件或放松條件。
這是一個(gè)完整的例子，即缺乏氮素的植物以及植物灌溉知識(shí)。通過例子可以看出，我們可以通過圖譜關(guān)聯(lián)到圖片信息，這樣形成了多媒體知識(shí)圖譜，而這些病變的圖片信息相比專業(yè)知識(shí)更加直觀，也更方便農(nóng)民使用。
這里總結(jié)了，在農(nóng)業(yè)方面知識(shí)的影響和作用，我們可以刻畫作物知識(shí)、土壤、肥料知識(shí)、疾病知識(shí)和天氣知識(shí)等。
通過知識(shí)圖譜，我們可以將傳統(tǒng)的農(nóng)業(yè)轉(zhuǎn)換為精準(zhǔn)農(nóng)業(yè)(precision agriculture）。 知識(shí)圖譜在電信行業(yè)客服中的應(yīng)用 Amdocs是美國最大的第三方賬單審計(jì)和客服中心，AT&T, Verizon和Sprint等都是他的客戶，美國的電信市場很早就飽和了，所以各大運(yùn)營商均沒有很多新客戶可以爭取，那么維護(hù)好老客戶就非常重要。
這是一個(gè)案例，大家有時(shí)間看看，其原則就是希望對于信用好的用戶能前瞻性地了解他的需求，并在他打電話來反映情況的時(shí)候（抱怨或詢問信息等），可以預(yù)先判斷他需要什么，并幫其解決，從而減少溝通次數(shù)和溝通時(shí)長。
為了做到這一點(diǎn)，系統(tǒng)需要判斷用戶的信用等級。并根據(jù)用戶的當(dāng)前消費(fèi)情況和各種動(dòng)作來自動(dòng)化判斷其可能的行為。
這是一個(gè)簡單的電信行業(yè)使用的數(shù)據(jù)分類和商業(yè)概念歸類，包含設(shè)備、賬單、支付等一系列重要知識(shí)。
這個(gè)圖展示了通過上述概念得到的各種數(shù)據(jù)包括結(jié)構(gòu)化，也包括流數(shù)據(jù)進(jìn)行的各種數(shù)據(jù)映射和轉(zhuǎn)換，類似的，也是形成統(tǒng)一的圖譜進(jìn)行管理。這個(gè)還包括趨勢、時(shí)間、地理還有消費(fèi)模式等很多信息。
這是所使用的架構(gòu)圖，從中大家可以看到會(huì)通過各種數(shù)據(jù)源進(jìn)行數(shù)據(jù)的整合，形成統(tǒng)一的知識(shí)，并配合業(yè)務(wù)規(guī)則和貝葉斯網(wǎng)絡(luò)來形成決策引擎，從而對用戶的信用和各種行為結(jié)果預(yù)測起到作用。
最終達(dá)到的效果就是個(gè)性化前瞻性的客戶關(guān)懷。 知識(shí)圖譜在媒體發(fā)布中的應(yīng)用
最早使用知識(shí)圖譜的是英國廣播電臺(tái)，之前傳得很火的新聞自動(dòng)寫作機(jī)器人也利用了知識(shí)圖譜。
舉個(gè)例子，這是針對2012年倫敦奧運(yùn)會(huì)的。大家可以看到有很多個(gè)圈，每個(gè)圈代表一種對象，這些對象的跟蹤報(bào)道由專人負(fù)責(zé)，然后通過這樣的圖譜將各種零散的信息關(guān)聯(lián)在一起，從而形成一個(gè)完整頁面。
這是通過上述技術(shù)得到的一個(gè)聚合的頁面（一個(gè)德國的游泳運(yùn)動(dòng)員），不僅呈現(xiàn)比賽新聞信息，也包含這個(gè)運(yùn)動(dòng)員的方方面面。 知識(shí)圖譜在金融方面的應(yīng)用 金融方面是僅次于醫(yī)療（知識(shí)圖譜應(yīng)用最廣泛的領(lǐng)域）。 先介紹一個(gè)我之前參與的國外的例子，是針對荷蘭的案例。荷蘭的法律導(dǎo)致破產(chǎn)是不用負(fù)責(zé)的，所以很多人鉆這個(gè)空子來構(gòu)建團(tuán)伙進(jìn)行倒賣，最后將其中的一些公司申請破產(chǎn)導(dǎo)致非法免費(fèi)獲得很多資源。
這一點(diǎn)，荷蘭政府非常頭疼希望找到幕后組織，從而避免很多損失。
類似的，現(xiàn)在的問題（尤其是大數(shù)據(jù)情況下），各個(gè)部門和組織的數(shù)據(jù)非常分散，導(dǎo)致各個(gè)部門沒有辦法得到完整的信息來進(jìn)行對上述團(tuán)伙的判斷。而傳統(tǒng)的數(shù)據(jù)集成方法需要依賴非常有經(jīng)驗(yàn)的專家對這些數(shù)據(jù)庫進(jìn)行手工集成，這大大增加了工作量和處理周期。
所以這里我們又將引入知識(shí)圖譜，進(jìn)行有效的去中心化的高效知識(shí)融合。
這是一個(gè)示例，和農(nóng)業(yè)中的方案類似，不過使用了一個(gè)Hadoop PIG腳本來控制轉(zhuǎn)換過程，之后我們將通過圖可視化來發(fā)現(xiàn)這樣的團(tuán)伙。
這個(gè)可視化的圖中可以看到粉色的公司、橙色的機(jī)構(gòu)和紅色的破產(chǎn)的公司。
當(dāng)我們將這張圖進(jìn)行縮放之后，可以發(fā)現(xiàn)這里一些有趣的模式，所有的紅色破產(chǎn)企業(yè)都關(guān)聯(lián)到圖中圈定的公司，那么這個(gè)公司就有可能是指使這些破產(chǎn)行為的最終元兇。政府相關(guān)部門就可以對其進(jìn)行深入的調(diào)查，這樣使得原本大海撈針的搜索變得很有針對性。
還有更多的例子：
國外有Datafox和Spiderbook，國內(nèi)有通聯(lián)數(shù)據(jù)等。
他們通過從互聯(lián)網(wǎng)上抽取各種公司（主要是上市公司）的數(shù)據(jù)，包括產(chǎn)品、高管、公司供應(yīng)鏈關(guān)系、競爭對手關(guān)系等，整合為統(tǒng)一的圖譜從而幫助企業(yè)或投資機(jī)構(gòu)進(jìn)行全網(wǎng)數(shù)據(jù)的關(guān)聯(lián)分析，影響傳播和一些預(yù)測。 最成功的例子包括福島爆炸對豐田汽車的股價(jià)影響。 知識(shí)圖譜在政府中的應(yīng)用 這里就不得不介紹最近非常紅火的美國的獨(dú)角獸Palantir。
Palantir應(yīng)該是美國最早在政府領(lǐng)域使用知識(shí)圖譜技術(shù)的公司，幫助美國政府成功定位到了本拉登的位置等。
其界面也包含各種圖譜瀏覽、搜索、建模等工具，類似的，將不同來源不同格式的數(shù)據(jù)進(jìn)行建模整合，來得到全面分析和挖掘的可能。 總結(jié)來說 知識(shí)圖譜能做到的就是讓知識(shí)可被用戶訪問到（搜索），可被查詢（問答），可被支持行動(dòng)（決策）。
當(dāng)然知識(shí)圖譜的構(gòu)建和應(yīng)用具有很大的技術(shù)難度，而狗尾草公司在這方面尤其是在中文智能聊天和深度問答方面在全球處于領(lǐng)先地位。這里需要使用自然語言處理技術(shù)、數(shù)據(jù)庫技術(shù)和語義推理技術(shù)等多重支持。
|
|
|
