研發(fā)背景

2016年3月，DeepMind團(tuán)隊的圍棋AI程序AlphaGo 4:1戰(zhàn)勝世界冠軍李世石九段，成為人工智能歷史上的里程碑事件。2017年5月，改進(jìn)后的AlphaGo再次與柯潔九段對弈，以3:0獲得完勝。DeepMind團(tuán)隊發(fā)表在《自然》雜志上的兩篇重磅論文，闡釋了這兩次勝利背后的技術(shù)驅(qū)動力。

第一篇論文（Mastering the game of Go with deep neural networks and tree search）主要講述了如何使用監(jiān)督學(xué)習(xí)的方法，通過深度學(xué)習(xí)技術(shù)，學(xué)習(xí)人類棋譜，達(dá)到略高于人類頂尖棋手的水平。這篇論文證明了深度學(xué)習(xí)技術(shù)的優(yōu)越性。戰(zhàn)勝李世石九段的AlphaGo版本就是這篇論文的工程實現(xiàn)。深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的方法，數(shù)據(jù)的數(shù)量和質(zhì)量決定了學(xué)習(xí)效果的上限。這篇論文對應(yīng)的AlphaGo版本，學(xué)習(xí)的數(shù)據(jù)是人類棋譜，因此其水平受限于人類棋譜的數(shù)量和質(zhì)量。

第二篇論文（Master the game of Go without human knowledge）發(fā)表于2017年，主要思想是使用強(qiáng)化學(xué)習(xí)方法突破人類棋譜水平和數(shù)量的瓶頸。通過自我對弈生成棋譜，再學(xué)習(xí)這些棋譜來自我提高，如此不斷重復(fù)，螺旋上升，可以超越上一版的水平。2017年5月3:0擊敗柯潔的版本，就是第二篇論文的產(chǎn)物。基于強(qiáng)化學(xué)習(xí)技術(shù)的AlphaGo-Zero從零開始，學(xué)習(xí)40天后，達(dá)到了遠(yuǎn)超人類頂尖棋手的水平。

AlphaGo-Zero在包括圍棋的完全信息博弈領(lǐng)域開辟了一條嶄新的道路。也給了后繼研究者站在巨人肩膀上持續(xù)工作，改進(jìn)算法的可能空間。AlphaGo-Zero存在一些問題，使得它尚未達(dá)到完美：

首先，是水平上限的問題。AlphaGo-Zero證明了使用強(qiáng)化學(xué)習(xí)技術(shù)可以提高AI的棋力，但是從論文的實驗數(shù)據(jù)來看這種棋力增長的速度越來越慢，后期趨向停滯。也就是說，在這一框架下，棋力的提升存在瓶頸。

其次，是資源開銷問題。AlphaGo-Zero的方法自對弈消耗的計算資源空前巨大，DeepMind團(tuán)隊為了打造AlphaGo-Zero，使用了2000個TPU進(jìn)行自對弈，總耗資過億元。這樣的算力消耗是中小型學(xué)術(shù)機(jī)構(gòu)、研究團(tuán)隊難以承受的，需要從算法層面做出改進(jìn)，降低訓(xùn)練使用的計算資源開銷。

第三，是算法的通用性、靈活性、可遷移性的問題。AlphaGo-Zero的強(qiáng)化學(xué)習(xí)算法，基于單一、特定的圍棋規(guī)則，從實現(xiàn)角度來說，就是中國規(guī)則黑貼3.75子。一旦規(guī)則改變，就需要重新訓(xùn)練，之前投入的大量計算資源也白白浪費(fèi)了。全世界的圍棋規(guī)則并沒有統(tǒng)一，而如果使用強(qiáng)化學(xué)習(xí)方法為各個圍棋規(guī)則分別訓(xùn)練圍棋AI，會造成極大的浪費(fèi)。

星陣技術(shù)

星陣圍棋力求使用更少的訓(xùn)練資源，實現(xiàn)更具通用性、更人性化的高水平圍棋智能。它在AlphaGo的基礎(chǔ)上做了一些技術(shù)創(chuàng)新。星陣的主要貢獻(xiàn)涉及到機(jī)器學(xué)習(xí)的兩個重要領(lǐng)域，多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)。

多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)（MTL）是機(jī)器學(xué)習(xí)中一個很有前景的領(lǐng)域，它利用多個學(xué)習(xí)任務(wù)中包含的有用信息來幫助每個任務(wù)學(xué)習(xí)到更為準(zhǔn)確的學(xué)習(xí)器。假定所有任務(wù)或部分任務(wù)的學(xué)習(xí)目標(biāo)是相關(guān)聯(lián)的，那么聯(lián)合多個學(xué)習(xí)任務(wù)會比單獨(dú)學(xué)習(xí)它們得到更好的性能。

與AlphaGo只使用策略網(wǎng)絡(luò)（Policy Network）和價值網(wǎng)絡(luò)（Value Network）不同，星陣同時學(xué)習(xí)了四個任務(wù)，另外兩個是領(lǐng)地網(wǎng)絡(luò)（Area Network）和子差網(wǎng)絡(luò)（Score Network）。領(lǐng)地網(wǎng)絡(luò)基于任意給定盤面，分別估算棋盤上每個交叉點(diǎn)最終歸屬黑棋或白棋的概率。子差網(wǎng)絡(luò)基于任意給定盤面，估算最終黑方子數(shù)與白方子數(shù)的差值。

在領(lǐng)地網(wǎng)絡(luò)和子差網(wǎng)絡(luò)的幫助下，星陣對局面的判斷更加全面、立體，這也讓星陣學(xué)會了像人一樣“點(diǎn)目”，而不僅僅是依靠勝率來下棋。在勝率接近的情況下，星陣會選擇子差更優(yōu)的下法，將領(lǐng)先的優(yōu)勢繼續(xù)擴(kuò)大，或者試圖縮小落后的目數(shù)，咬住局面尋找機(jī)會。這一技術(shù)特點(diǎn)也形成了星陣“不退讓圍棋”的棋風(fēng)。

多任務(wù)學(xué)習(xí)能夠行之有效，有其深層次的原因。首先，越多任務(wù)的越多標(biāo)簽，意味著數(shù)據(jù)量的增加，能夠顯著降低過擬合的風(fēng)險。其次，越多任務(wù)同時學(xué)習(xí)，越容易捕捉到同一個隱藏特征的表示，這些隱藏特征能對多個任務(wù)同時產(chǎn)生作用。此外，還可以幫助某些任務(wù)獲取單獨(dú)訓(xùn)練無法學(xué)習(xí)到的隱藏特征表示。

遷移學(xué)習(xí)

機(jī)器學(xué)習(xí)的模型訓(xùn)練是靠數(shù)據(jù)驅(qū)動的，但在很多情況下數(shù)據(jù)極端匱乏，遷移學(xué)習(xí)就是解決數(shù)據(jù)量匱乏的一種重要方法。假定源域具有充足的數(shù)據(jù)，并已經(jīng)訓(xùn)練出足以解決源問題的模型，遷移學(xué)習(xí)利用源域中的現(xiàn)有模型，幫助在缺乏訓(xùn)練樣本的目標(biāo)域，訓(xùn)練出解決目標(biāo)任務(wù)的模型。使用遷移學(xué)習(xí)有兩個假設(shè)，源域與目標(biāo)域的樣本分布不同；目標(biāo)域嚴(yán)重缺乏帶有標(biāo)簽的樣本。

圍棋規(guī)則并沒有在全世界范圍內(nèi)統(tǒng)一，不同圍棋規(guī)則下的訓(xùn)練樣本并不通用。目前圍棋AI大多使用19路棋盤，中國規(guī)則黑貼3.75子，此規(guī)則下的訓(xùn)練樣本相對充足。星陣通過引入遷移學(xué)習(xí)技術(shù)，將中國規(guī)則黑貼3.75子的模型，用較小的代價，遷移到其他規(guī)則下。遷移學(xué)習(xí)為星陣帶來了極大的算法靈活性。星陣因此可以進(jìn)行任意路數(shù)的對局，也可以進(jìn)行任意貼目的對局，可以進(jìn)行讓子棋的對弈，完美適應(yīng)中國規(guī)則數(shù)子法和韓日規(guī)則數(shù)目法。