遷移學(xué)習(xí)

“你永遠(yuǎn)不能理解一種語言——除非你至少理解兩種語言”。

任何一個(gè)學(xué)過第二語言的人，對(duì)英國(guó)作家杰弗里·威廉斯的這句話應(yīng)該都會(huì)“感同身受”。但為什么這樣說呢？其原因在于學(xué)習(xí)使用外語的過程會(huì)不可避免地加深一個(gè)人對(duì)其母語的理解。事實(shí)上，歌德也發(fā)現(xiàn)這一理念的強(qiáng)大威力，以至于他不由自主地做出了一個(gè)與之類似但更為極端的斷言：

“一個(gè)不會(huì)外語的人對(duì)其母語也一無所知”。

這種說法極為有趣，但令人驚訝的是恐怕更在于其實(shí)質(zhì)——對(duì)某一項(xiàng)技能或心理機(jī)能的學(xué)習(xí)和精進(jìn)能夠?qū)ζ渌寄芑蛐睦頇C(jī)能產(chǎn)生積極影響——這種效應(yīng)即為遷移學(xué)習(xí)。它不僅存在于人類智能，對(duì)機(jī)器智能同樣如此。如今，遷移學(xué)習(xí)已成為機(jī)器學(xué)習(xí)的基礎(chǔ)研究領(lǐng)域之一，且具有廣泛的實(shí)際應(yīng)用潛力。

今天的機(jī)器學(xué)習(xí)領(lǐng)域主要圍繞著能力可隨數(shù)據(jù)及經(jīng)驗(yàn)的積累而提高的算法，且已取得驚人進(jìn)步，并由此催生出可比肩甚至超越人類智能的計(jì)算系統(tǒng)，例如具有理解、處理及翻譯語言能力的系統(tǒng)。近年來，機(jī)器學(xué)習(xí)研究多聚焦在深層神經(jīng)網(wǎng)絡(luò)（DNN）——一種通過從大量數(shù)據(jù)中推斷異常復(fù)雜模式而進(jìn)行學(xué)習(xí)的算法概念。例如，向一臺(tái)基于DNN的機(jī)器輸入數(shù)千個(gè)英文錄音片段及其對(duì)應(yīng)文本，機(jī)器便可從錄音與文字的關(guān)聯(lián)中推斷出相關(guān)模式。伴隨著關(guān)聯(lián)模式的逐漸精確，系統(tǒng)最終將能“理解”英語語音。事實(shí)上，今天的DNN已經(jīng)相當(dāng)成熟，一臺(tái)功能強(qiáng)大的計(jì)算機(jī)在學(xué)習(xí)充分訓(xùn)練示例后，完全可以對(duì)真人對(duì)話進(jìn)行文字速記，并達(dá)到比專業(yè)速記員更高的準(zhǔn)確率。

一些人也許會(huì)很驚訝，計(jì)算機(jī)化的學(xué)習(xí)系統(tǒng)展現(xiàn)出遷移學(xué)習(xí)的能力。我們可以通過一項(xiàng)涉及兩套機(jī)器學(xué)習(xí)系統(tǒng)的實(shí)驗(yàn)來思考這個(gè)問題，為了簡(jiǎn)單起見，我們將它們稱為機(jī)器A和機(jī)器B。機(jī)器A使用全新的DNN，機(jī)器B則使用已經(jīng)接受訓(xùn)練并能理解英語的DNN。現(xiàn)在，假設(shè)我們用一組完全相同的普通話錄音及對(duì)應(yīng)文本來對(duì)機(jī)器A和B進(jìn)行訓(xùn)練，大家覺得結(jié)果會(huì)怎樣？令人稱奇的是，機(jī)器B（曾接受英語訓(xùn)練的機(jī)器）展現(xiàn)出比機(jī)器A更好的普通話技能，因?yàn)樗敖邮艿挠⒄Z訓(xùn)練將相關(guān)能力遷移到了普通話理解任務(wù)中。

原文鏈接：

https://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=2649440197&idx=1&sn=73beb7c54e815667cce5bc80a8939270&chksm=82c0d641b5b75f577739a202606a3c983068d0981044531ace90861bd8f5ec6bf822447e0bb4&mpshare=1&scene=1&srcid=01216BYgnUKOx4VrDBRojhBh&pass_ticket=OZ%2F7r6%2BcIwxJttcM53UsiwprDHpcwk2%2Fy2oQ%2F8mfky0%3D#rd