2019年3月27日，ACM 正式宣布將 2018 年圖靈獎授予 Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun，以表彰他們提出的概念和工作使得深度學習神經網絡有了重大突破，如今神經網絡已經成為計算領域的重要組成部分。他們將于2019年6月15日在加利福尼亞州舊金山舉行的 ACM 年度頒獎晚宴上正式收到 2018 年 ACM 圖靈獎。

從左到右：Yann LeCun, Geoff Hinton 和 Yoshua Bengio

神經網絡指的是一種模型結構，它仿造生物的神經元（neuron）構造，可讓計算機獲得一定的感知與認知的能力。計算機通過對數(shù)據(jù)進行學習，改變神經元的參數(shù)大小或是激活神經元，以不斷地接近人類智能。同時，依托現(xiàn)代計算機硬件的支持，這個學習過程比人類要快許多。AlphaGo通過大量的訓練，在幾個月內就能擊敗人類棋手，足以說明神經網絡的學習效率。

神經網絡的誕生并不是人們憑空想象出來的。它的起源依托于人們對智能的定義。在認知科學中有三個主要的理論學派，支持著智能基礎，它們分別是符號主義、行為主義和連接主義。

符號主義認為人工智能源于數(shù)理邏輯；行為主義認為人工智能可用控制論的理論基礎進行實現(xiàn)；連接主義源于仿生學，特別是對人腦模型的研究。

2018圖靈獎的三位獲獎人是人工智能連接主義學派的主要代表人，當今人工智能的發(fā)展與突破也是連接主義學派的發(fā)展與突破。今天就和大家介紹連接主義的起源與盛行的故事。

連接主義學派的誕生，出現(xiàn)于人類對腦結構與腦功能的研究到達了可具象化之后。它的代表性成果是1943年由生理學家麥卡洛克(McCulloch)和數(shù)理邏輯學家皮茨(Pitts)創(chuàng)立的腦模型，即MP模型，開創(chuàng)了用電子裝置模仿人腦結構和功能的新途徑。這一實現(xiàn)真正的將神經元結構用于模型中。但超前的概念總不會讓人一下接受。其后的10年內，連接主義學派還在醞釀和探索如何更好地表征神經元，以及如何在計算機上實現(xiàn)他們。

連接主義消沉的這10年中，人工智能這一詞匯卻是真正出現(xiàn)了。但它的出現(xiàn)并不是連接主義學派的科學家們提出，而是符號主義學派首先提出。符號主義學者基于邏輯系統(tǒng)，在早期的計算機上具有方便實現(xiàn)的特點，首先將基于“規(guī)則”的演繹方法在計算機上實現(xiàn)，在上世紀50年代轟動一時。

符號主義雖然在當時被廣泛認可，但是人們對連接主義的研究依然沒有中斷。終于在上世紀50年代末，感知機（perceptron）的出現(xiàn)，使得連接主義出現(xiàn)第一次熱潮。感知機同樣是一種類腦模型，由Frank Rosenblatt于1957年提出，用來處理二分類的問題。

隨后的20年內，感知機技術得到廣泛應用，越來越多的人開始認可感知機，并加大了連接主義學派下人工智能的研究。下圖為第一個實現(xiàn)的感知機算法模型。它的名字叫“Mark 1 perceptron”，是用來做圖片識別的一個大型機器。

雖說體積很大，但當時的技術限制，它能處理的圖像大小非常有限。我們可以看到，圖中有圖像輸入，圖片的大小僅為20*20像素。右方是經過感知機提取后的圖片特征向量。

盡管在算法層面，感知機模型已經有了現(xiàn)代神經網絡的雛形，但是由于硬件設備和模型理論等諸多限制，感知機模型在70年代末遇到了瓶頸，同時人們對連接主義的熱情也隨之減淡。連接主義的第一次熱潮就此結束。

連接主義與符號主義仿佛一對共生體，在一方陷入低潮時，另一方則令人矚目。80年代初，屬于符號主義的強盛時期，基于符號系統(tǒng)開發(fā)的專家系統(tǒng)與知識工程，被許多企業(yè)相中，并在此基礎上開展了很多項目。但人們馬上就發(fā)現(xiàn)了專家系統(tǒng)的不足：針對特定問題需要建立非常多的規(guī)則，并且模型不具備任何泛化能力，基于規(guī)則的系統(tǒng)也不能算作真正的智能系統(tǒng)。

神經網絡模型可視化

就在人們對符號主義懷疑并且否定的同時，連接主義在理論與實踐基礎上均開始突破。這一次連接主義勢如破竹，引領了接下來人工智能的發(fā)展浪潮。

首先，Hopfield教授在1982年和1984年發(fā)表兩篇重要論文，提出用硬件模擬神經網絡以后，連接主義才又重新抬頭。其后，1986年，Hinton等人提出多層網絡中的反向傳播算法(BP)算法 。80年代為連接主義日后井噴式的發(fā)展打下了基礎，從模型到算法，從理論分析到工程實現(xiàn)，都有極大的影響。

這里我們就不得不提到三位圖靈獎的獲獎人，也就是在這個時期，他們貢獻了很多神經網絡的理論基礎與實現(xiàn)方法。

Yann LeCun

1980年代，Yann LeCun發(fā)明了卷積神經網絡，現(xiàn)在已經成為了機器學習領域的基礎技術之一 。1980年代末期，Yan LeCun在多倫多大學和貝爾實驗室工作期間，首次將卷積神經網絡用于手寫數(shù)字識別。

Geoffrey Hinton

Hinton最重要的貢獻來自他1986年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”，1983年發(fā)明的玻爾茲曼機（Boltzmann Machines）。他還有一項貢獻是與他的學生Alex Krizhevsky改進了卷積神經網絡，并在2012年的ImageNet比賽中，取得質的飛躍，從此深度學習才成為世界熱點，越來越多的學者投身其中。

Yoshua Bengio

Bengio的貢獻主要在1990年代發(fā)明的Probabilistic models of sequences。他把神經網絡和概率模型（例如隱馬爾可夫模型）結合在一起，并和AT&T公司合作，用新技術識別手寫的支票。

基于連接主義的神經網絡，以及基于神經網絡的人工智能離不開80、90年代科學家們的理論基礎，尤其是通用逼近定理的建立，揭示了神經網絡的巨大表示能力。同時我們也必須承認，連接主義能有今天的成績，也離不開硬件水平的不斷提高。

1999年8月，NVIDIA公司發(fā)布了一款代號為NV10的圖形芯片Geforce 256。這是第一款提出GPU概念的產品。GPU極大提升神經網絡的訓練效率，尤其對矩陣運算的效率提升尤為明顯。硬件的發(fā)展使研究人員更快的得到神經網路的實驗結果，不僅加速了連接主義的理論發(fā)展，也為商用落地場景下的人工智能模型提供了支持。

連接主義學派雖然推動人工智能走向今天的高度，但我們依然離真正的智能還有距離。連接主義下的神經網絡模型，在感知領域已經發(fā)展到了人類水平，但在認知領域還未有所突破。所謂認知領域，是指計算機能夠通過自我分析，并結合各種感知因素，“主動推斷”出結果。目前的神經網絡模擬神經元的感知層面，能優(yōu)秀地完成“識別”任務，但對“推理”任務的表現(xiàn)還遠遠不足。連接主義學派也需要結合其他學派所長，繼續(xù)推動人工智能發(fā)展。

就如同AlphaGo結合了連接主義與行為主義的兩家學派所長，在貝爾曼方程的基礎上加入了深度學習，使計算機打敗了很多人類最優(yōu)秀的圍棋選手。我們也期待連接主義結合符號主義，使計算機具有認知計算的能力，能夠自主推理，輔助人類決策。我們也希望未來集合三家學派所長，讓計算機同時具備感知、認知、元學習等能力，構建真正的通用人工智能。

- DataCastle -