新智元導(dǎo)讀】數(shù)據(jù)、算法和算力被稱為“AI三要素”。今天，面對(duì)超大數(shù)據(jù)量、算法策略失效、算力不足等新問(wèn)題，過(guò)去的方法已經(jīng)不再適用。依圖科技CTO、IEEE Fellow顏水成博士以AI學(xué)者和產(chǎn)業(yè)從業(yè)者的雙重視角，對(duì)如何解決目前圍繞“AI三要素”的新問(wèn)題分享了自己的真知灼見(jiàn)。若想了解更多AI資訊，歡迎來(lái)新智元 AI 朋友圈與大咖一起討論～

各位領(lǐng)導(dǎo)、各位朋友，大家好！

今天我是以一個(gè)新的角色來(lái)跟大家分享的。我是一名學(xué)者，同時(shí)也是一個(gè)產(chǎn)業(yè)界的從業(yè)者，我想從這兩個(gè)身份的角度跟大家分享過(guò)去幾年“AI三要素”的發(fā)展給我們帶來(lái)了哪些新的機(jī)遇。

作為依圖的CTO，首先和大家分享一下依圖AI的定位。

依圖其實(shí)是從算法起家，逐步布局智能城市領(lǐng)域，后來(lái)把業(yè)務(wù)拓展到了智慧醫(yī)療，同時(shí)基于算力的考慮，在三年前開(kāi)始布局芯片。

“求索”芯片發(fā)布以后，依圖完成了從AI軟件提供商向AI基礎(chǔ)設(shè)施提供商和AI解決方案提供商的升級(jí)，同時(shí)也在制藥維度有所布局，我們希望通過(guò)AI技術(shù)加速和癌癥相關(guān)藥物研制的效能。

在過(guò)去四年中，大家對(duì)“AI三要素”關(guān)注的方式發(fā)生了極大的變化，過(guò)去只要是AI，業(yè)界就非常開(kāi)心、愿意投資，到了2017年業(yè)界要敦促AI落地，到了2018年還需要讓AI商業(yè)模式變得非常清晰。

要想讓好的商業(yè)模式回歸商業(yè)的本質(zhì)，最核心的就是兩點(diǎn)：首先是達(dá)到精度的極限，其次是達(dá)到速度的極限。

要想達(dá)到精度的極限，因?yàn)閿?shù)據(jù)和算力的約束，其實(shí)當(dāng)前的峰點(diǎn)性能已經(jīng)從學(xué)術(shù)界開(kāi)始轉(zhuǎn)移到了工業(yè)界。

要想追求速度的極限，重點(diǎn)要實(shí)現(xiàn)AI算法和AI芯片的相互優(yōu)化，所以現(xiàn)在AI的焦點(diǎn)已經(jīng)慢慢地從訓(xùn)練側(cè)向推理側(cè)轉(zhuǎn)移。

超大數(shù)據(jù)環(huán)境下的算法策略失效問(wèn)題

首先從數(shù)據(jù)的維度來(lái)看，大家都在說(shuō)要研究大數(shù)據(jù)，其實(shí)不是的。現(xiàn)在的數(shù)據(jù)研究已經(jīng)分成了三個(gè)不同的等級(jí)：小數(shù)據(jù)、大數(shù)據(jù)和超大數(shù)據(jù)。

十五年前，我在研究人臉識(shí)別的時(shí)候，樣本只有15個(gè)人，每個(gè)人一張圖片，當(dāng)時(shí)我們想出了一些很奇怪的算法，比如把圖像看成一個(gè)矩陣，通過(guò)2D形式提升人臉識(shí)別的性能。

但當(dāng)面對(duì)大數(shù)據(jù)的時(shí)候，以前所有的這些東西就沒(méi)有任何價(jià)值了。同樣，當(dāng)我們從大數(shù)據(jù)轉(zhuǎn)向超大數(shù)據(jù)時(shí)，需要應(yīng)付的是城市級(jí)的應(yīng)用場(chǎng)景。在這種情況下更需要思考，現(xiàn)在最主流的深度學(xué)習(xí)的各種常見(jiàn)的策略，面對(duì)超大數(shù)據(jù)還有沒(méi)有效？

為此，我們做了一些Tolerance實(shí)驗(yàn)，按數(shù)據(jù)規(guī)模分成小、大和超大三個(gè)等級(jí)，采用當(dāng)前常見(jiàn)的提升深度學(xué)習(xí)訓(xùn)練的策略，讓數(shù)據(jù)分布更加優(yōu)化、讓網(wǎng)絡(luò)結(jié)構(gòu)變得更大，讓網(wǎng)絡(luò)結(jié)構(gòu)更好優(yōu)化等等，同時(shí)對(duì)數(shù)據(jù)進(jìn)行清理。結(jié)果發(fā)現(xiàn)，面對(duì)超大數(shù)據(jù)，有些策略還有用，而有些策略就一點(diǎn)價(jià)值也沒(méi)有了。

比如優(yōu)化數(shù)據(jù)分布，在大數(shù)據(jù)場(chǎng)景中還繼續(xù)有效，但到了超大數(shù)據(jù)場(chǎng)景收益逐漸收斂。增大網(wǎng)絡(luò)模型在小的數(shù)據(jù)集上效果并不是很明顯，到了超大數(shù)據(jù)集的時(shí)候價(jià)值就變得越來(lái)越大。優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)在小的數(shù)據(jù)集上的效果非常好，到了超大數(shù)據(jù)業(yè)務(wù)場(chǎng)景時(shí)，其實(shí)已經(jīng)沒(méi)什么太大的價(jià)值了。

同樣，在面對(duì)超大數(shù)據(jù)的時(shí)候，數(shù)據(jù)清理也變得沒(méi)有太大的價(jià)值。另外，在小規(guī)模數(shù)據(jù)的情況下，大網(wǎng)絡(luò)發(fā)揮的價(jià)值是非常小的，達(dá)不到量級(jí)的提升，而在超大規(guī)模數(shù)據(jù)下，其優(yōu)勢(shì)就非常明顯了。

數(shù)據(jù)優(yōu)化策略方面我們也在調(diào)整性別和人種的分布，無(wú)論是大數(shù)據(jù)還是超大數(shù)據(jù)都非常有價(jià)值，但是數(shù)據(jù)清理方面，大家常見(jiàn)的這種Trick，小數(shù)據(jù)集上是有效果的，到了大數(shù)據(jù)集上就沒(méi)有了明顯的效果。

“產(chǎn)學(xué)結(jié)合”解決AI算力短缺

在算力方面的變化趨勢(shì)同樣明顯。NAS第一版平均每天訓(xùn)練只需要80多個(gè)GPU，到了Facebook的Instagram研究，已經(jīng)需要將近7400個(gè)GPU了。第一版的BERT需要256TPU。在這種巨大的算力要求面前，學(xué)術(shù)界實(shí)際上很難進(jìn)行有價(jià)值、有影響力的工作，因?yàn)闆](méi)有這樣超大GPU集群，算力遠(yuǎn)遠(yuǎn)跟不上。

綜合起來(lái)可以發(fā)現(xiàn)，目前，如果追求精度極限，需要閉環(huán)的超大數(shù)據(jù)集，包括大型GPU算力集群，這些都是學(xué)術(shù)界缺乏的，但正是產(chǎn)業(yè)界具備很大優(yōu)勢(shì)的領(lǐng)域。

同時(shí)，有些達(dá)到很好峰點(diǎn)性能的算法和模型，產(chǎn)業(yè)界并沒(méi)有公開(kāi)發(fā)表，學(xué)術(shù)界并不知道，所以我們經(jīng)常在一些學(xué)術(shù)論文上看到有“刷榜”的情況，實(shí)際上如今的開(kāi)源數(shù)據(jù)集價(jià)值已經(jīng)大大不如當(dāng)年ImageNet了。

現(xiàn)在學(xué)術(shù)界做的實(shí)驗(yàn)，基本上只能在大數(shù)據(jù)集上進(jìn)行檢驗(yàn)，一個(gè)事實(shí)就是，在大數(shù)據(jù)實(shí)驗(yàn)上有效的算法和Trick，所有的“微創(chuàng)新”，絕大多數(shù)在超大數(shù)據(jù)集上沒(méi)有任何價(jià)值。現(xiàn)在AI領(lǐng)域每年發(fā)表6000多篇學(xué)術(shù)論文，真正能解決業(yè)務(wù)場(chǎng)景實(shí)際問(wèn)題的論文鳳毛麟角，幾乎可以忽略。學(xué)術(shù)界和產(chǎn)業(yè)界迫切需要進(jìn)行深度合作，才能更好地推動(dòng)整個(gè)生態(tài)環(huán)境的改變，促進(jìn)峰點(diǎn)性能的提升。

為了追求速度的極限，就要讓AI算法和AI芯片實(shí)現(xiàn)相互優(yōu)化。由于物聯(lián)網(wǎng)的迅速發(fā)展，生成的數(shù)據(jù)量會(huì)極速增加，在數(shù)據(jù)量劇增，同時(shí)計(jì)算資源有限的情況下，加快速度就顯得尤為重要。

另外一個(gè)維度是，因?yàn)?G的發(fā)展，人們對(duì)低時(shí)延的期待普遍提升了。除了5G本身的低時(shí)延，產(chǎn)生時(shí)延另外一個(gè)因素是AI算法，要想讓用戶真的更好地體驗(yàn)低時(shí)延，也要從AI算法上下功夫。

依圖視覺(jué)計(jì)算平臺(tái)：AI算法與芯片設(shè)計(jì)的“連接器”

正是基于這些原因，科技部依托依圖建設(shè)了視覺(jué)計(jì)算國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)，這是一個(gè)什么樣的平臺(tái)呢？

首先是開(kāi)放的生態(tài)，我們將為視覺(jué)計(jì)算開(kāi)發(fā)者提供更加標(biāo)準(zhǔn)和高效的支持與服務(wù)，提升智能芯片、智能算法和智能產(chǎn)品的整體產(chǎn)業(yè)能力。我們希望這個(gè)平臺(tái)能起到“連接器”的作用，使得算法方和芯片方在相互優(yōu)化的同時(shí)，又能夠?qū)崿F(xiàn)分層解耦。

在平臺(tái)提供的各種服務(wù)中，有一項(xiàng)是算法-芯片優(yōu)化測(cè)試。簡(jiǎn)單來(lái)說(shuō)，所有的算法設(shè)計(jì)者把深度學(xué)習(xí)的模型上傳到平臺(tái)，自動(dòng)轉(zhuǎn)化成為可以在不同的芯片上運(yùn)行的深度學(xué)習(xí)模型，然后進(jìn)行深度測(cè)試，并提供測(cè)試報(bào)告。

這些測(cè)試報(bào)告有什么用？算法的設(shè)計(jì)者拿到測(cè)試報(bào)告以后，就知道自己的算法在不同的卷積類型、不同的操作類型、不同的I/O大小的情況下的運(yùn)行時(shí)間，從而更好地設(shè)計(jì)深度學(xué)習(xí)模型。

提到模型設(shè)計(jì)，其實(shí)一個(gè)高質(zhì)量的深度學(xué)習(xí)模型設(shè)計(jì)方案分為兩部分：一是利用人的智能來(lái)設(shè)計(jì)基礎(chǔ)的深度學(xué)習(xí)模型的模塊，比如我的團(tuán)隊(duì)提出的1×1卷積，1×1卷積在不同的深度學(xué)習(xí)模型當(dāng)中都得到了廣泛應(yīng)用，特別是在圖像領(lǐng)域，很多時(shí)候作為基礎(chǔ)模塊使用。另一個(gè)則是把這些基本模塊輸入NAS 搜索空間，再把不同類型模塊的時(shí)間消耗考慮進(jìn)去，就可以做專門針對(duì)不同芯片類型的NAS結(jié)構(gòu)搜索。

最近我的學(xué)生和Facebook做的Octave卷積，指出Feature Map與圖像相似，會(huì)有一些 Map 描述高頻的部分，另一些描述低頻的部分，對(duì)于低頻的部分可以進(jìn)一步壓縮, 保存在低分辨率下并在低分辨率下處理。

于是我們就讓Feature Map變得異構(gòu)化，既有大的也有小的，可以設(shè)計(jì)相應(yīng)卷積的操作，輸出的也是異構(gòu)Feature Map，模型會(huì)比以前變得更小。因?yàn)閮H對(duì)低頻部分進(jìn)行壓縮, 信息損失很小，同時(shí)這種多尺度結(jié)構(gòu)增加了感受野, 模型分類效能可以顯著提高。同時(shí)因?yàn)槟Ｐ唾Y源開(kāi)銷變小，所以能夠訓(xùn)練更大的模型。

從芯片開(kāi)發(fā)者的角度出發(fā)，大量的深度學(xué)習(xí)模型需要進(jìn)行深度測(cè)試，這些測(cè)試報(bào)告可以讓芯片開(kāi)發(fā)者知道，下一版的芯片以及工具鏈應(yīng)該優(yōu)化的方向和目標(biāo)。

更重要的是，深度學(xué)習(xí)領(lǐng)域每年都會(huì)有非常好的模型被提出來(lái)，但是又很快被淹沒(méi)。一個(gè)主要的原因在于，這些模型的理論加速比是很高的，但是在當(dāng)前的AI芯片架構(gòu)下，這些模型的理論加速性能實(shí)際上無(wú)法實(shí)現(xiàn)。

打個(gè)比方，兩年以前我就提出一個(gè)模型叫做More is Less，我們發(fā)現(xiàn)現(xiàn)在的深度學(xué)習(xí)卷積完成后，ReLU可能有超過(guò)40%的值都是零，這樣ReLU之前的數(shù)值就不是很重要，能不能用極小的計(jì)算預(yù)知這些位置，然后把相應(yīng)的卷積剔除掉呢？

當(dāng)時(shí)我們就提出More is Less，ReLU之后再做Element乘法，理論上來(lái)說(shuō)和原始模型相比是沒(méi)有精度損失的，但是在執(zhí)行推理任務(wù)的時(shí)候，計(jì)算復(fù)雜度會(huì)大幅度降低。但是，這種模型在當(dāng)前的AI芯片架構(gòu)上是完全沒(méi)有可能實(shí)現(xiàn)的。

算法即芯片：深度融合AI算法和芯片設(shè)計(jì)

現(xiàn)在，有了依圖視覺(jué)計(jì)算開(kāi)放創(chuàng)新平臺(tái)，算法設(shè)計(jì)者和芯片設(shè)計(jì)者可以都來(lái)這個(gè)平臺(tái)上交流溝通，實(shí)現(xiàn)互相鏈接，通過(guò)合作讓算法模型的理論的加速比變成實(shí)際加速比。

依圖的“求索”芯片是今年5月份發(fā)布的，當(dāng)時(shí)我們采用“插電發(fā)布”，將200路視頻連接到AI服務(wù)器，現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)人臉檢測(cè)和人臉識(shí)別?；谇笏餍酒腁I服務(wù)器和邊緣盒子都可以直接快速部署到用戶的業(yè)務(wù)場(chǎng)景。

依圖在AI芯片和AI算法融合方面已經(jīng)取得了成果?，F(xiàn)在，一個(gè)依圖的高密度AI服務(wù)器機(jī)柜，能夠支撐10000路視頻的解析，這樣帶來(lái)的直接好處就是，用戶的建設(shè)費(fèi)用會(huì)降低，而且在使用時(shí)，因?yàn)闄C(jī)柜減少了、功耗下降了，運(yùn)維的成本也會(huì)大幅度降低。

依圖另外一個(gè)核心的理念就是要發(fā)展多模態(tài)的AI技術(shù)。依圖過(guò)去在美國(guó)國(guó)家技術(shù)標(biāo)準(zhǔn)局組織的人臉識(shí)別的Vendor Test中，曾經(jīng)連續(xù)三年獲得第一。

從去年開(kāi)始，依圖語(yǔ)音識(shí)別也取得了不俗的成就，在中文語(yǔ)音識(shí)別方面曾經(jīng)在一個(gè)時(shí)間段達(dá)到SOTA水平。今年，在牛津、MIT等組織的國(guó)際聲紋識(shí)別競(jìng)賽上，依圖的聲紋識(shí)別也取得了冠軍。

在NLP方面，依圖基于電子病歷進(jìn)行兒科疾病診斷的相關(guān)成果發(fā)布在了《Nature Medicine》上。今年廈門的多媒體信息識(shí)別技術(shù)競(jìng)賽，依圖在11項(xiàng)比賽當(dāng)中，有10項(xiàng)獲得了A類證書(shū)，是所有參賽隊(duì)伍當(dāng)中獲得冠軍最多的。

總結(jié)一下對(duì)“AI三要素”的觀察，就是：

為了追求極致的精度，其實(shí)現(xiàn)在峰值性能因?yàn)閿?shù)據(jù)和算力的限制，已經(jīng)逐步從學(xué)術(shù)界轉(zhuǎn)移到了工業(yè)界。

為了追求極致的速度，我們需要將AI的算法和AI的芯片相互優(yōu)化，協(xié)同開(kāi)發(fā)。

依圖已經(jīng)形成了比較明確的AI核心理念，基于多模態(tài)的峰點(diǎn)算法模型，算法及芯片相互優(yōu)化和融合的推理方案，不斷解鎖不同的AI向善的業(yè)務(wù)場(chǎng)景。

用一句話概括，解決“AI三要素”問(wèn)題三個(gè)關(guān)鍵詞就是：多模態(tài)、軟硬一體化和科技向善。

謝謝大家！