|
本文是干貨系列第二期，華為技術(shù)專家?guī)炜?guó)撰文，一起《聊聊AI和數(shù)學(xué)》，希望能給同學(xué)們啟發(fā)。 一、前言 我大學(xué)本科學(xué)的是數(shù)學(xué)專業(yè)，工作后切換到計(jì)算機(jī)軟件行業(yè)，最近又開始從事人工智能應(yīng)用領(lǐng)域，深感做技術(shù)之難。借此文聊聊AI和數(shù)學(xué)的話題，分享一些感悟和體會(huì)，希望對(duì)學(xué)子們有些幫助。 我在從事互聯(lián)網(wǎng)的中間件研發(fā)，屢屢在算法、架構(gòu)設(shè)計(jì)和建模中體會(huì)到數(shù)學(xué)抽象思維的重要性。2016年AlphaGo的橫空出世，震驚世人。才發(fā)現(xiàn)數(shù)學(xué)基礎(chǔ)不牢，概率論根本沒有吃透，數(shù)學(xué)的重要性不言而喻。如何在有限的時(shí)間里掌握好數(shù)學(xué)中最有用的部分，有更多的運(yùn)用呢？ 二、AI與數(shù)學(xué) AI的基礎(chǔ)是算法，算法的基礎(chǔ)是數(shù)學(xué)。目前火熱的深度學(xué)習(xí)，離不開大學(xué)數(shù)學(xué)的三門基礎(chǔ)學(xué)科：微積分、線性代數(shù)和概率統(tǒng)計(jì)。從數(shù)學(xué)角度看，神經(jīng)網(wǎng)絡(luò)是一種多層非線性變換。深度學(xué)習(xí)就是學(xué)習(xí)如何利用矩陣的線性變換加激活函數(shù)的非線性變換，來逐層提取我們需要的特征信息。將原始輸入空間映射到線性可分/稀疏的空間去分類/回歸。 通過增加網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)來增加線性轉(zhuǎn)換能力，通過增加層數(shù)即增加激活函數(shù)的次數(shù)，來增加非線性轉(zhuǎn)換能力。數(shù)學(xué)對(duì)AI的意義可見一斑。 數(shù)學(xué)通常分為基礎(chǔ)數(shù)學(xué)和應(yīng)用數(shù)學(xué)。基礎(chǔ)數(shù)學(xué)有幾大分支：如代數(shù)、分析、幾何和拓?fù)?。它們有一個(gè)公共的基礎(chǔ): 集合論。集合的元素可以是數(shù)(實(shí)數(shù)、復(fù)數(shù)、四元數(shù)等)，還可以是矩陣和函數(shù)。在上面賦予運(yùn)算和距離后，就變成群、空間和流形。代數(shù)就是研究這些集合的結(jié)構(gòu)和之間的映射，它不關(guān)心里面元素的類型，定義的是哪種運(yùn)算。它研究不同集合的同態(tài)、同構(gòu)和同胚。在這些結(jié)構(gòu)上我們可以采用微分手段進(jìn)行分析。這是數(shù)學(xué)家建立的第一層抽象，也是最基本的符號(hào)系統(tǒng)，學(xué)會(huì)使用字母和符號(hào)系統(tǒng)表達(dá)思維是做數(shù)學(xué)的基本功。 這里面有無數(shù)的概念和定理，無數(shù)的習(xí)題，我們無需深入鉆研，知道哪些東西在哪里即可。推薦看一下伽羅瓦理論和群表示論，因?yàn)樗鼈兩钊氲搅爽F(xiàn)代科學(xué)的方方面面。如群表示論可以用來分析神經(jīng)網(wǎng)絡(luò)里參數(shù)的對(duì)稱性。楊振寧從數(shù)學(xué)里得到的主要啟發(fā)也是來自群論。 微積分作為最基本的數(shù)學(xué)工具，滲透到了數(shù)學(xué)各個(gè)分支中，無微積分不成數(shù)學(xué)。AI工程師不一定要會(huì)求解微分方程，能看懂常見的推導(dǎo)即可。深度學(xué)習(xí)會(huì)用到一些泛函和逼近論的知識(shí)。 矩陣也是一個(gè)基本工具，了解它的基本運(yùn)算和數(shù)值計(jì)算，和一些適當(dāng)?shù)木仃嚪纸庵R(shí)應(yīng)該就能應(yīng)對(duì)日常所需了。矩陣是一種具體數(shù)學(xué)，是向高維和抽象進(jìn)攻的工具。AI的基本運(yùn)算對(duì)象就是張量，其理論基礎(chǔ)也在矩陣中。華羅庚把矩陣玩得爐火純青，成為他解剖其它數(shù)學(xué)分支的解牛刀。如隨機(jī)矩陣?yán)碚搧砜坍嬌窠?jīng)網(wǎng)絡(luò)權(quán)值的譜分布。 幾何和拓?fù)湎鄬?duì)來說離AI遠(yuǎn)一點(diǎn)，但也是有關(guān)聯(lián)的。利用微分幾何流形來分析手寫識(shí)別的數(shù)據(jù)，研究它從輸入到輸出之間的關(guān)系。還有專門研究對(duì)抗網(wǎng)絡(luò)與流形關(guān)系也是一個(gè)方向。時(shí)不時(shí)翻一翻這方面的基礎(chǔ)知識(shí)也是有幫助的。 再就是應(yīng)用數(shù)學(xué)，包括概率統(tǒng)計(jì)、運(yùn)籌優(yōu)化、計(jì)算數(shù)學(xué)、控制論等，這是搞AI必備的理論知識(shí)，值得AI工程師反復(fù)品味。 三、華為與數(shù)學(xué) 華為非常重視對(duì)數(shù)學(xué)對(duì)各項(xiàng)ICT技術(shù)的推動(dòng)作用。未來的數(shù)字世界流的數(shù)據(jù)大得不可想象，需要用數(shù)學(xué)的辦法來解決這樣一個(gè)大流量下的管理。在物理器件的性能越來越逼近極限的情況下，物理方法來解決問題已趨近飽和，需要借助于軟件方法來實(shí)現(xiàn)性能的優(yōu)化，要重視數(shù)學(xué)方法的突起。數(shù)據(jù)管道變粗、變快以后，關(guān)鍵是數(shù)學(xué)、物理等基礎(chǔ)科學(xué)的能力。數(shù)學(xué)，是華為繼續(xù)前行指路燈，也是華為真正的“硬核”實(shí)力。三流器件做一流產(chǎn)品，核心也是算法和數(shù)學(xué)上要有突破。 華為自研的Flex Erasure Coding編解碼算法，在保持?jǐn)?shù)據(jù)重構(gòu)效率的基礎(chǔ)上，重構(gòu)帶寬需求大幅度降低，極大地提升了故障時(shí)數(shù)據(jù)重構(gòu)性能，有效地縮短了重構(gòu)用時(shí)，保證數(shù)據(jù)的持久度和系統(tǒng)吞吐量。 此外，華為自研的數(shù)學(xué)優(yōu)化求解器，通過并行計(jì)算、LU分解加速、預(yù)處理等核心關(guān)鍵技術(shù)突破，在供應(yīng)鏈供需模擬等場(chǎng)景上，極大提升了性能，商用在機(jī)場(chǎng)和其它交通項(xiàng)目。這樣的例子在華為各個(gè)產(chǎn)品線中還有很多，成為華為對(duì)數(shù)學(xué)投入的信心源泉。 四、學(xué)習(xí)建議 01 先面后點(diǎn) 先觀其大略，再追尋細(xì)節(jié)。了解一下數(shù)學(xué)和AI的發(fā)展簡(jiǎn)史，如《古今數(shù)學(xué)思想》。數(shù)學(xué)學(xué)科之間是交叉的，互相印證的。多看看每個(gè)分支要解決哪些主要問題，從中也能發(fā)現(xiàn)自己的興趣所在。數(shù)學(xué)和AI的理論學(xué)習(xí)很容易耗費(fèi)大量的光陰。 一個(gè)省事的方法，只讀結(jié)論和使用案例，略過繁瑣的證明過程。在必要時(shí)再回過頭來看細(xì)節(jié)。研究好的問題，閱讀經(jīng)典的論文，一個(gè)領(lǐng)域經(jīng)典論文也就三五篇，可以參照著讀。感覺費(fèi)解時(shí)，把這個(gè)領(lǐng)域的同類著作找到，對(duì)照理解，常常能豁然開朗。 02 連點(diǎn)成線 喬布斯2005年在斯坦福大學(xué)演講時(shí)，講了三個(gè)故事，其中一個(gè)叫“Connecting the dots”，我很有同感，延伸一下： ??你曾經(jīng)學(xué)過的某個(gè)知識(shí)，當(dāng)時(shí)看起來無用，日后在某個(gè)時(shí)間點(diǎn)突然派上用場(chǎng)，生發(fā)威力 ??將不同學(xué)科分支中的離散的問題連綴起來，可能就是一門新的理論 ??攻破一個(gè)系統(tǒng)靠一個(gè)漏洞還不行，通常需要挖掘到多個(gè)漏洞，把他們關(guān)聯(lián)起來，才能成為一把完整的鑰匙。解決一個(gè)問題通常是多個(gè)工具的組合，所以善于把看似不相關(guān)的東西連接起來，才能有所創(chuàng)新 03 問題驅(qū)動(dòng) 中國(guó)人的學(xué)習(xí)方式是自下向上，外國(guó)人的學(xué)習(xí)方式是自頂向下。我們學(xué)習(xí)講究先打好基礎(chǔ)，一層層往上壘。老外則直接從問題出發(fā)，根據(jù)需要再去補(bǔ)基礎(chǔ)。二者各有優(yōu)劣，脫離學(xué)校后，問題驅(qū)動(dòng)是一種有效的學(xué)習(xí)方式。 數(shù)學(xué)家也需要通過問題去驅(qū)動(dòng)數(shù)學(xué)研究，太脫離實(shí)際就容易走錯(cuò)方向。希爾伯特拋出二十一個(gè)數(shù)學(xué)問題，養(yǎng)活了數(shù)學(xué)界一百多年。丘成桐做數(shù)學(xué)也不敢太抽象，他喜歡從實(shí)際物理應(yīng)用中找問題。不求全面，先圍繞某個(gè)問題展開研究，從而帶動(dòng)對(duì)相關(guān)知識(shí)的了解。 學(xué)習(xí)AI，可以用以點(diǎn)帶面的方式展開，例如把維特比算法，快速傅里葉變換，分支定界算法，期望最大化算法（EM算法），Dijkstra算法，梯度下降，牛頓方法/LLL算法這些點(diǎn)一個(gè)個(gè)先啃下來，再把它們系統(tǒng)化。 五、十大數(shù)學(xué)問題 最后，給出華為發(fā)布的在后香農(nóng)時(shí)代，信息產(chǎn)業(yè)面向數(shù)學(xué)的十大挑戰(zhàn)問題，作為大家的思考課題。 1?? 有損壓縮的極限問題（語(yǔ)義信息論） 2?? 突破信源編碼理論，挑戰(zhàn)無損信源壓縮極限 3?? 網(wǎng)絡(luò)基本業(yè)務(wù)模型問題 4?? Massive MIMO 容量域問題 5?? 非線性信道補(bǔ)償問題 6?? 大規(guī)模通信網(wǎng)絡(luò)的最優(yōu)控制問題 7?? 反問題高精度快速求解問題 8?? 高性能的糾錯(cuò)碼——代數(shù)幾何（AG）碼 9?? 深度神經(jīng)網(wǎng)絡(luò)(DNN)的可解釋性 ?? 網(wǎng)絡(luò)級(jí)流量矩陣近似計(jì)算 六、結(jié)語(yǔ) 華為昇騰Atlas系列產(chǎn)品結(jié)合華為自研AI芯片，為AI提供算力支撐，提供了三種維度的計(jì)算能力(矩陣、向量、標(biāo)量計(jì)算)，為人工智能應(yīng)用提供了全棧的解決方案。昇騰計(jì)算從下到上打造全場(chǎng)景Atlas（硬件）+CANN（算子庫(kù)）&MindSpore（AI框架）+MindX（昇騰應(yīng)用使能）產(chǎn)品，面向智能邊緣和數(shù)據(jù)中心兩大場(chǎng)景，同時(shí)依托MindStudio開發(fā)工具和昇騰開發(fā)者社區(qū)，構(gòu)建和繁榮開發(fā)者生態(tài)。 |
|
|
