從計算機發(fā)明之初，人們就希望它能夠幫助甚至代替人類完成重復性勞作。利用巨大的存儲空間和超高的運算速度，計算機已經可以非常輕易地完成一些對于人類非常困難，但對計算機相對簡單的問題。比如，統(tǒng)計一本書中不同單詞出現(xiàn)的次數(shù)，存儲一個圖書館中所有的藏書，或是計算非常復雜的數(shù)學公式，都可以輕松通過計算機解決。然而，一些人類通過直覺可以很快解決的問題，目前卻很難通過計算機解決。這些問題包括自然語言理解、圖像識別、語音識別，等等。而它們就是人工智能需要解決的問題。 計算機要像人類一樣完成更多智能的工作，需要掌握關于這個世界海量的知識。比如要實現(xiàn)汽車自動駕駛，計算機至少需要能夠判斷哪里是路，哪里是障礙物。這個對人類非常直觀的東西，但對計算機卻是相當困難的。路有水泥的、瀝青的，也有石子的甚至土路。這些不同材質鋪成的路在計算機看來差距非常大。如何讓計算機掌握這些人類看起來非常直觀的常識，對于人工智能的發(fā)展是一個巨大的挑戰(zhàn)。很多早期的人工智能系統(tǒng)只能成功應用于相對特定的環(huán)境（specific domain），在這些特定環(huán)境下，計算機需要了解的知識很容易被嚴格并且完整地定義。例如，IBM的深藍（Deep Blue）在1997年打敗了國際象棋冠軍卡斯帕羅夫。設計出下象棋軟件是人工智能史上的重大成就，但其主要挑戰(zhàn)不在于讓計算機掌握國際象棋中的規(guī)則。國際象棋是一個特定的環(huán)境，在這個環(huán)境中，計算機只需要了解每一個棋子規(guī)定的行動范圍和行動方法即可。雖然計算機早在1997年就可以擊敗國際象棋的世界冠軍，但是直到20年后的今天，讓計算機實現(xiàn)大部分成年人都可以完成的汽車駕駛卻仍然依舊十分困難。 為了使計算機更多地掌握開放環(huán)境（open domain）下的知識，研究人員進行了很多嘗試。其中一個影響力非常大的領域是知識圖庫（Ontology）。WordNet是在開放環(huán)境中建立的一個較大且有影響力的知識圖庫。WordNet是由普林斯頓大學（Princeton University）的George Armitage Miller教授和Christiane Fellbaum教授帶領開發(fā)的，它將155287個單詞整理為了117659個近義詞集（synsets）?；谶@些近義詞集，WordNet進一步定義了近義詞集之間的關系。比如同義詞集“狗”屬于同義詞集“犬科動物”，他們之間存在種屬關系（hypernyms/hyponyms）。除了WordNet，也有不少研究人員嘗試將Wikipedia中的知識整理成知識圖庫。谷歌的知識圖庫就是基于Wikipedia創(chuàng)建的。 雖然使用知識圖庫可以讓計算機很好地掌握人工定義的知識，但建立知識圖庫一方面需要花費大量的人力物力，另一方面可以通過知識圖庫方式明確定義的知識有限，不是所有的知識都可以明確地定義成計算機可以理解的固定格式。很大一部分無法明確定義的知識，就是人類的經驗。比如我們需要判斷一封郵件是否為垃圾郵件，會綜合考慮郵件發(fā)出的地址、郵件的標題、郵件的內容以及郵件收件人的長度，等等。這是收到無數(shù)垃圾郵件騷擾之后總結出來的經驗。這個經驗很難以固定的方式表達出來，而且不同人對垃圾郵件的判斷也會不一樣。如何讓計算機可以跟人類一樣從歷史的經驗中獲取新的知識呢？這就是機器學習需要解決的問題。 卡內基梅隆大學（Carnegie Mellon University）的Tom Michael Mitchell教授在1997年出版的書籍Machine Learning中對機器學習進行過非常專業(yè)的定義，這個定義在學術界內被多次引用。在這本書中對機器學習的定義為“如果一個程序可以在任務T上，隨著經驗E的增加，效果P也可以隨之增加，則稱這個程序可以從經驗中學習”。通過垃圾郵件分類的問題來解釋機器學習的定義。在垃圾郵件分類問題中，“一個程序”指的是需要用到的機器學習算法，比如邏輯回歸算法；“任務T”是指區(qū)分垃圾郵件的任務；“經驗E”為已經區(qū)分過是否為垃圾郵件的歷史郵件，在監(jiān)督式機器學習問題中，這也被稱之為訓練數(shù)據(jù)；“效果P”為機器學習算法在區(qū)分是否為垃圾郵件任務上的正確率。 在使用邏輯回歸算法解決垃圾郵件分類問題時，會先從每一封郵件中抽取對分類結果可能有影響的因素，比如說上文提到的發(fā)郵件的地址、郵件的標題及收件人的長度，等等。每一個因素被稱之為一個特征（feature）。邏輯回歸算法可以從訓練數(shù)據(jù)中計算出每個特征和預測結果的相關度。比如在垃圾郵件分類問題中，可能會發(fā)現(xiàn)如果一個郵件的收件人越多，那么郵件為垃圾郵件的概率也就越高。在對一封未知的郵件做判斷時，邏輯回歸算法會根據(jù)從這封郵件中抽取得到的每一個特征以及這些特征和垃圾郵件的相關度來判斷這封郵件是否為垃圾郵件。 在大部分情況下，在訓練數(shù)據(jù)達到一定數(shù)量之前，越多的訓練數(shù)據(jù)可以使邏輯回歸算法對未知郵件做出的判斷越精準。也就是說邏輯回歸算法可以根據(jù)訓練數(shù)據(jù)（經驗E）提高在垃圾郵件分類問題（任務T）上的正確率（效果P）。之所以說在大部分情況下，是因為邏輯回歸算法的效果除了依賴于訓練數(shù)據(jù)，也依賴于從數(shù)據(jù)中提取的特征。假設從郵件中抽取的特征只有郵件發(fā)送的時間，那么即使有再多的訓練數(shù)據(jù)，邏輯回歸算法也無法很好地利用。這是因為郵件發(fā)送的時間和郵件是否為垃圾郵件之間的關聯(lián)不大，而邏輯回歸算法無法從數(shù)據(jù)中習得更好的特征表達。這也是很多傳統(tǒng)機器學習算法的一個共同的問題。 類似從郵件中提取特征，如何數(shù)字化地表達現(xiàn)實世界中的實體，一直是計算機科學中一個非常重要問題。如果將圖書館中的圖書名稱儲存為結構化的數(shù)據(jù)，比如儲存在Excel表格中，那么可以非常容易地通過書名查詢一本書是否在圖書館中。如果圖書的書名都是存在非結構化的圖片中，那么要完成書名查找任務的難度將大大增加。類似的道理，如何從實體中提取特征，對于很多傳統(tǒng)機器學習算法的性能有巨大影響。我們看一個簡單的例子。 不同的數(shù)據(jù)表達對使用直線劃分不同顏色結點的難度影響 如果通過笛卡爾坐標系（cartesian coordinates）來表示數(shù)據(jù)，那么不同顏色的結點無法被一條直線劃分。如果將這些點映射到極角坐標系（polar coordinates），那么使用直線劃分就很容易了。同樣的數(shù)據(jù)使用不同的表達方式會極大地影響解決問題的難度。一旦解決了數(shù)據(jù)表達和特征提取，很多人工智能任務也就解決了90%。 然而，對許多機器學習問題來說，特征提取不是一件簡單的事情。在一些復雜問題上，要通過人工的方式設計有效的特征集合，需要很多的時間和精力，有時甚至需要整個領域數(shù)十年的研究投入。例如，假設想從很多照片中識別汽車?，F(xiàn)在已知的是汽車有輪子，所以希望在圖片中抽取“圖片中是否出現(xiàn)了輪子”這個特征。但實際上，要從圖片的像素中描述一個輪子的模式是非常難的。雖然車輪的形狀很簡單，但在實際圖片中，車輪上可能會有來自車身的陰影、金屬車軸的反光，周圍物品也可能會部分遮擋車輪。實際圖片中各種不確定的因素讓我們很難直接抽取這樣的特征。 既然人工的方式無法很好地抽取實體中的特征，那么是否有自動的方式呢？答案是肯定的。深度學習解決的核心問題之一就是自動地將簡單的特征組合成更加復雜的特征，并使用這些組合特征解決問題。深度學習是機器學習的一個分支，它除了可以學習特征和任務之間的關聯(lián)以外，還能自動從簡單特征中提取更加復雜的特征。下圖展示了深度學習和傳統(tǒng)機器學習在流程上的差異。 傳統(tǒng)機器學習和深度學習流程對比 如圖所示，深度學習算法可以從數(shù)據(jù)中學習更加復雜的特征表達，使得最后一步權重學習變得更加簡單且有效。 深度學習在圖像分類問題上的算法流程樣例 在上圖中，展示了通過深度學習解決圖像分類問題的具體樣例。深度學習可以一層一層地將簡單特征逐步轉化成更加復雜的特征，從而使得不同類別的圖像更加可分。比如圖中展示了深度學習算法可以從圖像的像素特征中逐漸組合出線條、邊、角、簡單形狀、復雜形狀等更加有效的復雜特征。 早期的深度學習受到了神經科學的啟發(fā)，它們之間有非常密切的聯(lián)系?？茖W家們在神經科學上的發(fā)現(xiàn)使得我們相信深度學習可以勝任很多人工智能的任務。神經科學家發(fā)現(xiàn)，如果將小白鼠的視覺神經連接到聽覺中樞，一段時間之后小鼠可以習得使用聽覺中樞“看”世界。這說明雖然哺乳動物大腦分為了很多區(qū)域，但這些區(qū)域的學習機制卻是相似的。在這一假想得到驗證之前，機器學習的研究者們通常會為不同的任務設計不同的算法。而且直到今天，學術機構的機器學習領域也被分為了自然語言處理、計算機視覺和語音識別等不同的實驗室。因為深度學習的通用性，深度學習的研究者往往可以跨越多個研究方向甚至同時活躍于所有的研究方向。 雖然深度學習領域的研究人員相比其他機器學習領域更多地受到了大腦工作原理的啟發(fā)，而且媒體界也經常強調深度學習算法和大腦工作原理的相似性，但現(xiàn)代深度學習的發(fā)展并不拘泥于模擬人腦神經元和人腦的工作機理。模擬人類大腦也不再是深度學習研究的主導方向。我們不應該認為深度學習是在試圖模仿人類大腦。目前科學家對人類大腦學習機制的理解還不足以為當下的深度學習模型提供指導。 現(xiàn)代的深度學習已經超越了神經科學觀點，它可以更廣泛地適用于各種并不是由神經網(wǎng)絡啟發(fā)而來的機器學習框架。值得注意的是，有一個領域的研究者試圖從算法層理解大腦的工作機制，它不同于深度學習的領域，被稱為“計算神經學”（computational neuroscience）。深度學習領域主要關注如何搭建智能的計算機系統(tǒng)，解決人工智能中遇到的問題。計算神經學則主要關注如何建立更準確的模型來模擬人類大腦的工作。 總的來說，人工智能、機器學習和深度學習是非常相關的幾個領域。下圖總結了它們之間的關系。 人工智能、機器學習以及深度學習之間的關系圖 人工智能是一類非常廣泛的問題，機器學習是解決這類問題的一個重要手段。深度學習則是機器學習的一個分支。在很多人工智能問題上，深度學習的方法突破了傳統(tǒng)機器學習方法的瓶頸，推動了人工智能領域的發(fā)展。 部分內容參見： Goodfellow I, Bengio Y, Courville A. Deep learning [M]. The MIT Press,2016. Mitchell T M, Carbonell J G, Michalski R S. Machine Learning [M]. McGraw-Hill, 2003. 《TensorFlow：實戰(zhàn)Google深度學習框架》Tensorflow：實戰(zhàn)Google深度學習框架 配套代碼更新為TensorFlow1.0版 已同步推出繁體版在臺灣發(fā)行 作者：才云科技Caicloud 鄭澤宇、顧思宇 圖書鏈接：http://wqitem.jd.com/item/view?sku=12125572 |
|
|
