在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域必須讀的論文有哪些？

想必這個問題引起了許多人的共鳴。

近日，國外的一位博客作者聯(lián)系到了吳恩達(dá)、Jeff Clune等一眾業(yè)界大佬，請他們推薦了各自認(rèn)為最值得閱讀的論文。

關(guān)注本公眾號（turingtopia），回復(fù)“必讀論文”即可獲取下載。

具體介紹如下：

1. Jeff Clune，OpenAI研究團(tuán)隊(duì)負(fù)責(zé)人

《Learning to Reinforcement Learn (2016)》 - Jane X Wang et al

本文提出了兩個關(guān)鍵的觀點(diǎn)，即稀疏訓(xùn)練數(shù)據(jù)的局限性，以及在完全監(jiān)督的情況下，遞歸網(wǎng)絡(luò)是否能夠支持元學(xué)習(xí)。這些觀點(diǎn)在七個概念驗(yàn)證實(shí)驗(yàn)中得到了闡述，每一個實(shí)驗(yàn)都考察了深層元- rl的一個關(guān)鍵方面。我們考慮了擴(kuò)展和擴(kuò)大該方法的前景，并指出了一些對神經(jīng)科學(xué)的潛在重要意義。

《Gradient-based Hyperparameter Optimization through Reversible Learning (2015)》 - Dougal Maclaurin, David Duvenaud, and Ryan P. Adams.

Jeff推薦的第二篇論文通過在整個訓(xùn)練過程中反向鏈接導(dǎo)數(shù)，計(jì)算了與所有超參數(shù)相關(guān)的交叉驗(yàn)證性能的準(zhǔn)確梯度。這些梯度允許數(shù)千個超參數(shù)的優(yōu)化，包括步長和動量調(diào)度、權(quán)重初始化分布、豐富參數(shù)化正則化方案和神經(jīng)網(wǎng)絡(luò)架構(gòu)。

2. 三星研究美國智能電視部門首席科學(xué)家（全球）和機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)負(fù)責(zé)人Shalini Ghosh

《Long Short-Term Memory (1997)》 - Sepp Hochreiter and Jürgen Schmidhuber

這篇（論文）是1997年的開創(chuàng)性論文，其思想是超前的。直到最近（例如過去6年左右），硬件加速器才能夠運(yùn)行LSTM的訓(xùn)練/服務(wù)操作，從而導(dǎo)致LSTM成功用于許多應(yīng)用（例如語言建模，手勢預(yù)測，用戶建模）。LSTM的基于內(nèi)存的序列建模體系結(jié)構(gòu)非常有影響力-它啟發(fā)了最近許多的改進(jìn)，例如Transformers。

《Efficient Incremental Learning for Mobile Object Detection (2019) 》- Dawei Li et al

本文討論了流行的對象檢測模型RetinaNet的新穎變體，并介紹了增量學(xué)習(xí)的范例，該范例對于多模式學(xué)習(xí)的此應(yīng)用程序和其他應(yīng)用程序很有用。本文使用的關(guān)鍵思想和增量學(xué)習(xí)公式對任何從事計(jì)算機(jī)視覺工作的人都是有用的，并且可以為將來在移動設(shè)備上使用的高效增量算法的創(chuàng)新鋪平道路。

3. Kenneth Stanley，UCF教授、Uber高級研究經(jīng)理

《Emergent Tool Use From Multi-Agent Autocurricula (2019)》 - Bowen Baker et al

Ken選擇這篇論文是因?yàn)樗o出了突發(fā)行為的獨(dú)特示例，并暗示了開放端的開始。論文本身發(fā)現(xiàn)了在我們環(huán)境中代理戰(zhàn)略中六個緊急階段的明確證據(jù)，每個階段都給對立團(tuán)隊(duì)施加新的壓力。例如，代理學(xué)會使用可移動的盒子來建造多目標(biāo)掩體，這反過來又導(dǎo)致代理發(fā)現(xiàn)他們可以使用坡道克服障礙。

《Open-endedness: The last grand challenge you’ve never heard of (2017)》 - Kenneth Stanley et al

他的建議是“對開放性挑戰(zhàn)的非技術(shù)性介紹”。本文中的描述僅說明了該挑戰(zhàn)是什么，如果解決了它將帶來驚人的影響，以及如果我們激發(fā)了您的興趣，該如何加入。

4. Gartner數(shù)據(jù)科學(xué)總監(jiān)Andriy Burkov

《Attention Is All You Need (2017)》 - Ashish Vaswani et al

Andriy用他自己的話推薦了這份2017年的論文，“用BERT等經(jīng)過預(yù)訓(xùn)練的Transformer模型將NLP提升到了一個全新的水平。本文提出了一種新的簡單網(wǎng)絡(luò)架構(gòu)，即Transformer，它完全基于注意力機(jī)制，完全消除了遞歸和卷積。在兩個機(jī)器翻譯任務(wù)上進(jìn)行的實(shí)驗(yàn)表明，這些模型在質(zhì)量上具有優(yōu)勢，同時具有更高的可并行性，并且所需的訓(xùn)練時間明顯更少。

5. Landing AI創(chuàng)始人兼首席執(zhí)行官,deeplearning.ai的創(chuàng)始人吳恩達(dá)

《Modeling yield response to crop management using convolutional neural networks (2020) 》- Andre Barbosa et al.

在這項(xiàng)工作中，吳恩達(dá)等人提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN），以捕獲具有不同屬性的相關(guān)空間結(jié)構(gòu)，并將它們組合起來以模擬對養(yǎng)分和種子量管理的產(chǎn)量響應(yīng)。通過9個玉米田的田間實(shí)驗(yàn)，構(gòu)建合適的數(shù)據(jù)集，對CNN模型進(jìn)行訓(xùn)練和測試。對網(wǎng)絡(luò)中不同階段的輸入屬性組合的四種體系結(jié)構(gòu)進(jìn)行了評估，并與最常用的預(yù)測模型進(jìn)行了比較。

《A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis (2019) 》- Xiaoxuan Liu et al

本文評估了深度學(xué)習(xí)算法與醫(yī)療專業(yè)人員在使用醫(yī)學(xué)成像對疾病進(jìn)行分類方面的診斷準(zhǔn)確性。采用統(tǒng)一的層次模型進(jìn)行外部樣本外驗(yàn)證的研究被納入元分析。

6. 格雷格里（Gregory Piatetsky-Shapiro），KDnuggets總裁，數(shù)據(jù)科學(xué)家

當(dāng)我們與Gregory接觸時，他建議他的論文選擇是基于試圖理解AI和ML的主要趨勢的，最近的兩篇論文確實(shí)對他很重要?！拔易罱x過的兩篇重要論文是Gary和Francois的文章。我還建議觀看Yoshua Bengio和Gary Marcus在蒙特利爾為前者進(jìn)行的辯論?！?/p>

《The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence (2020) 》- Gary Marcus

本文綜述了近年來人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的研究進(jìn)展，著重介紹了通用學(xué)習(xí)和越來越大的訓(xùn)練集以及越來越多的計(jì)算。與此形成對比的是，Gary提出了一種混合的、知識驅(qū)動的、基于推理的方法，以認(rèn)知模型為中心，可以為一個比目前可能的更豐富、更具魯棒性的AI提供基礎(chǔ)。

《On the Measure of Intelligence (2019)》 - Fran?ois Chollet

Gregory的第二個推薦是Fran?oisChollet的“關(guān)于智力的度量”。本文總結(jié)并批判性地評估了測量智力的定義和評估方法，同時使隱含指導(dǎo)它們的兩個歷史智力概念顯而易見。Fran?ois隨后基于算法信息論闡明了一種新的形式化的智力定義，將智力描述為技能獲取效率，并突出了范圍，泛化難度，先驗(yàn)和經(jīng)驗(yàn)的概念。

7. Myriam Cote，顧問

《Tackling climate change with Machine Learning (2019) 》- David Rolnick, Priya L Donti, Yoshua Bengio et al.

Myriam的建議涵蓋了機(jī)器學(xué)習(xí)及其對環(huán)境的影響。氣候變化是人類面臨的最大挑戰(zhàn)之一，因?yàn)闄C(jī)器學(xué)習(xí)專家想知道它們?nèi)绾翁峁椭?。在本文中，作者描述了機(jī)器學(xué)習(xí)如何成為減少溫室氣體排放并幫助社會適應(yīng)氣候變化的有力工具。從智能電網(wǎng)到災(zāi)難管理，他們與其他領(lǐng)域合作，識別高影響力的問題，這些問題可以通過機(jī)器學(xué)習(xí)來填補(bǔ)現(xiàn)有的空白。

8. Kirk Borne，首席數(shù)據(jù)科學(xué)家和數(shù)據(jù)科學(xué)研究員，Booz Allen Hamilton的執(zhí)行顧問

《The Netflix Recommender System: Algorithms, Business Value, and Innovation (2015) 》- Carlos Gomez-Uribe & Neil Hunt.

“這篇文章已有幾年歷史，并且不是專門技術(shù)性文章，但是它涵蓋了許多基本問題，業(yè)務(wù)決策點(diǎn)，算法特征，度量和數(shù)據(jù)特征，您必須在思考之前，之中和之后進(jìn)行思考，測試和驗(yàn)證在操作環(huán)境中部署AI算法。我也喜歡這篇文章，因?yàn)橥扑]引擎很受歡迎，在許多不同的行業(yè)中使用，并且得到了所有人（甚至是非專家）的認(rèn)可-因此，本文可以很快為學(xué)生帶來等）對算法及其樂趣和獲利機(jī)會有更深入，更豐富的了解?！?/p>

原文鏈接：

https://blog./ai-papers-suggested-by-experts/