神經(jīng)網(wǎng)絡(luò) 黑箱的意思是我們知其然，不知其所以然，相關(guān)理論比較缺乏。別看神經(jīng)網(wǎng)絡(luò)相關(guān)論文汗牛充棟，但是大部分類似于technical report，告訴你我這么做效果不錯，具體原因不知道，只能“guess”，所以很容易被打臉。

如何看待神經(jīng)網(wǎng)絡(luò)的黑箱？這一篇文章(www.argmin.net/2018/01/25/optics/)講得挺好的，他用光學(xué)系統(tǒng)類比深度學(xué)習(xí)，非常形象。

「從結(jié)構(gòu)來看」，無論是深度學(xué)習(xí)還是鏡頭，都是一層一層疊起來的，如下圖所示。

「從設(shè)計流程來看」，當(dāng)要設(shè)計一個鏡頭的時候，往往以一個已知的鏡頭組合作為基礎(chǔ)，這個已知的鏡頭組合一般都以發(fā)明這個鏡頭組合的人命名，類似于深度學(xué)習(xí)的里面的LeNet、AlexNet。然后你跑個仿真，看看這個基礎(chǔ)鏡頭組合的表現(xiàn)和你需要達(dá)到的要求存在哪些差距，在合適的地方插入合適的組件來磨平差距。接著，你用一個[數(shù)值優(yōu)化器]來調(diào)上述鏡頭組合的參數(shù)，以發(fā)揮上述鏡頭組合最大的功效。這個類似于深度學(xué)習(xí)里面的優(yōu)化和調(diào)超參過程。

「從系統(tǒng)組成部件來看」，光學(xué)組件有的起到反射作用，有的起到衍射作用，有的起到[折射作用]，有的起到散射作用，有的起到相位校正作用等等。深度學(xué)習(xí)組件（conv、pool、relu等等）有的起到學(xué)習(xí)空間相關(guān)作用，有的起到防止過擬合作用，有的起到增加非線性作用等等。

「從發(fā)展歷史來看」，伽利略時代雖然沒有光學(xué)理論，類似于現(xiàn)在的深度學(xué)習(xí)，但是同樣造出來了人類歷史上第一架天文望遠(yuǎn)鏡，推動了天文學(xué)的發(fā)展?，F(xiàn)在深度學(xué)習(xí)也理論不足，但是極大地推動了人工智能的發(fā)展。「從結(jié)果看」，在幾百年里，經(jīng)過科學(xué)家的不懈努力，光學(xué)終于形成了一整套比較完備的體系，使得現(xiàn)在的光學(xué)工程師在設(shè)計鏡頭的時候有跡可循，而不是像幾百年前的伽利略一樣靠經(jīng)驗設(shè)計。

這一套完備的體系將光學(xué)分層了，如下圖所示，這樣的分層使得光學(xué)分工明確，每個人研究各自層的東西，一起推動光學(xué)發(fā)展。上面的層是下面層的抽象，越往上能解釋越復(fù)雜的現(xiàn)象，見下圖所示，而相比而言深度學(xué)習(xí)里面的很多現(xiàn)象還得不到較好的解釋。

光學(xué)也經(jīng)歷過黑箱時代，深度學(xué)習(xí)現(xiàn)在就是黑箱時代，理論的前進(jìn)一般會晚于實踐，但是假以時日，理論肯定會完備起來，形成類似于當(dāng)前光學(xué)那樣的層層抽象的學(xué)術(shù)體系，只不過這個過程需要所有從業(yè)者一起的努力，和一定時間的積淀，也許幾十年，也許上百年。