|
AI研究論文 考慮到行業(yè)的快速發(fā)展，試圖跟上人工智能研究論文的步伐可能給人的感覺會是覺得這樣做是徒勞的練習。如果你仍然埋在那些還沒來得及閱讀的文件中，那么不得不說你很幸運了。 為了幫助您趕上時代的潮流，我們把2018年10篇重要的AI研究論文總結(jié)了一下，讓您對今年的機器學習進展有一個大致的廣泛概述。還有更多的突破性論文值得一讀，但我們認為這是一個很好的開始。 我們推薦的論文如下： 1.Universal Language Model Fine-tuning for Text Classification由Jeremy Howard和Sebastian Ruder撰寫的通用語言模型文本分類微調(diào)（2018） https:///abs/1801.06146 原始摘要 歸納式遷移學習極大地影響了計算機視覺，但NLP中的現(xiàn)有方法仍需要從頭開始進行，并針對NLP任務(wù)進行特定的修改和訓練。我們提出了通用語言模型微調(diào)（ULMFiT），這是一種有效的遷移學習方法，可應(yīng)用于NLP中的任何任務(wù)，并介紹了微調(diào)語言模型的關(guān)鍵技術(shù)。我們的方法明顯優(yōu)于六個文本分類任務(wù)的最新技術(shù)，將大多數(shù)數(shù)據(jù)集的誤差降低了18-24％。此外，僅使用100個標記示例，它可以從頭開始匹配100x以上數(shù)據(jù)的訓練性能。我們開源了預(yù)訓練模型和代碼。 個人總結(jié) Howard和Ruder建議使用預(yù)先訓練的模型來解決各種NLP問題。使用這種方法，您無需從頭開始訓練模型，只需對原始模型進行微調(diào)。他們稱為通用語言模型微調(diào)（ULMFiT）的方法優(yōu)于最先進的結(jié)果，將誤差降低了18-24％。更重要的是，只要100個標記示例，ULMFiT 就能達到在 10K 個標注樣本上訓練的模型的效果。 本文的核心思想是什么？ 為了解決缺乏標記數(shù)據(jù)，并使NLP分類更容易且耗時更少，研究人員建議將遷移學習應(yīng)用于NLP問題。因此，您可以使用另一個經(jīng)過訓練的模型來解決類似問題作為基礎(chǔ)，然后微調(diào)原始模型以解決您的特定問題，而不是從頭開始訓練模型。 但是，為了取得成功，這種微調(diào)應(yīng)考慮到以下幾個重要因素：
什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？
潛在商業(yè)應(yīng)用？ ULMFiT可以更有效地解決各種NLP問題，包括：
這種方法也可以幫助序列標記和自然語言生成。 2.OBFUSCATED GRADIENTS GIVE A FALSE SENSE OF SECURITY: CIRCUMVENTING DEFENSES TO ADVERSARIAL EXAMPLES混淆漸變給出了一種虛假的安全感：通過Anish Athalye，Nicholas Carlini，David Wagner（2018）來規(guī)避對抗性例子的防御 https:///abs/1802.00420 原始摘要 我們識別出混淆漸變，一種漸變掩蔽，是一種在防御對抗樣本時導(dǎo)致虛假的安全感的現(xiàn)象。雖然導(dǎo)致混淆漸變的防御似乎會破壞基于迭代優(yōu)化的攻擊，但我們發(fā)現(xiàn)可以規(guī)避依賴此效果的防御措施。我們描述了展示效果的防御的特征行為，并且對于我們發(fā)現(xiàn)的三種類型的混淆梯度中的每一種，我們都開發(fā)了對應(yīng)的攻擊技術(shù)來克服它。在一個案例研究中，在ICLR 2018上檢查未經(jīng)認證的白盒安全防御，我們發(fā)現(xiàn)混淆的梯度是常見的，9個防御中的7個依賴于混淆的梯度。在每篇論文所考慮的原始威脅模型中，我們的新攻擊成功完全繞過了6個防御，部分避開1種防御。 我們的總結(jié) 研究人員發(fā)現(xiàn)，針對對抗性示例的防御通常使用混淆的漸變，這會產(chǎn)生虛假的安全感，因為它們很容易被繞過。該研究描述了三種對抗混淆梯度的方式，并說明哪種技術(shù)可以規(guī)避防御。這些發(fā)現(xiàn)可以幫助那些依靠混淆漸變來使用防御的組織來強化他們當前的防御體系。 本文的核心思想是什么？ 對抗混淆梯度有三種常見方式：
有許多線索表明梯度有問題，包括：
什么是關(guān)鍵成就？ 證明這些天使用的大多數(shù)防御技術(shù)都容易受到攻擊，即：
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？ 通過仔細和徹底的評估來構(gòu)建防御，這樣他們不僅可以防御現(xiàn)有攻擊，還可以防御未來可能發(fā)生的攻擊。 潛在的商業(yè)應(yīng)用？ 通過使用研究論文中提供的指導(dǎo)，組織可以確定他們的防御是否依賴于混淆梯度并轉(zhuǎn)向更魯棒的防御方法。 3.Deep contextualized word representationsGardner，Christopher Clark，Kenton Lee，Luke Zettlemoyer（2018）的深層語境化表達。 https:///abs/1802.05365 原始摘要 我們引入了一種新的深層語境化詞表示，它模擬了（1）詞使用的復(fù)雜特征（例如，語法和語義），以及（2）這些用途如何在語言上下文中變化（即，模型多義詞）。我們的單詞向量是深度雙向語言模型（biLM）的內(nèi)部狀態(tài)的學習函數(shù)，它是在大型文本語料庫上預(yù)先訓練的。我們表明，這些表示可以很容易地添加到現(xiàn)有模型中，并顯著改善六個具有挑戰(zhàn)性的NLP問題的技術(shù)發(fā)展水平，包括問答、文本蘊涵和情感分析。我們還提供了一個分析，表明暴露預(yù)訓練網(wǎng)絡(luò)的深層內(nèi)部是至關(guān)重要的，允許下游模型混合不同類型的半監(jiān)督信號。 我們的總結(jié) 艾倫人工智能研究所的團隊引入了一種新型的深層語境化詞匯表示 - 從語言模型中得到的特征向量（ELMo）。在ELMO增強模型中，每個單詞都是根據(jù)使用它的整個上下文進行矢量化的。將ELMo添加到現(xiàn)有NLP系統(tǒng)導(dǎo)致1）相對誤差減少6-20％，2）訓練模型所需的時間顯著降低的和3）達到基線性能所需的訓練數(shù)據(jù)量顯著減少。 本文的核心思想是什么？
什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？
潛在商業(yè)應(yīng)用？ ELMo顯著提高了現(xiàn)有NLP系統(tǒng)的性能：
4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling (2018)用于序列建模的通用卷積和遞歸網(wǎng)絡(luò)的實證評估，Shaojie Bai，J。Zico Kolter，Vladlen Koltun（2018） 原始摘要 對于大多數(shù)深度學習從業(yè)者而言，序列建模與循環(huán)網(wǎng)絡(luò)同義。然而，最近的結(jié)果表明，卷積架構(gòu)在音頻合成和機器翻譯等任務(wù)上可以勝過遞歸網(wǎng)絡(luò)。給定一個新的序列建模任務(wù)或數(shù)據(jù)集，應(yīng)該使用哪種架構(gòu)？我們對序列建模的通用卷積和循環(huán)架構(gòu)進行了系統(tǒng)評估。這些模型通過廣泛的標準任務(wù)進行評估，這些任務(wù)通常用于對經(jīng)常性網(wǎng)絡(luò)進行基準測試。我們的結(jié)果表明，簡單的卷積體系結(jié)構(gòu)優(yōu)于規(guī)范的循環(huán)網(wǎng)絡(luò)，例如跨越各種任務(wù)和數(shù)據(jù)集的LSTM，同時展示了更長的有效內(nèi)存。我們得出結(jié)論，應(yīng)重新考慮序列建模和循環(huán)網(wǎng)絡(luò)之間的共同關(guān)聯(lián)，并應(yīng)將卷積網(wǎng)絡(luò)視為序列建模任務(wù)的自然起點。為了協(xié)助相關(guān)工作，我們在http://github.com/locuslab/TCN上提供了相關(guān)代碼。 我們的總結(jié) 本文的作者質(zhì)疑了常見的假設(shè)，即循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該是序列建模任務(wù)的默認起點。他們的研究結(jié)果表明，通用時間卷積網(wǎng)絡(luò)（TCN）在廣泛的序列建模任務(wù)中令人信服地勝過規(guī)范的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，如長短時記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單位網(wǎng)絡(luò)（GRU）。 本文的核心思想是什么？ 使用最近引入的最佳實踐（例如擴張卷積和殘余連接）設(shè)計的時間卷積網(wǎng)絡(luò)（TCN）在一系列全面的序列建模任務(wù)中明顯優(yōu)于通用的遞歸架構(gòu)。 TCN表現(xiàn)出比遞歸架構(gòu)更大的內(nèi)存，因此更適合于需要長期歷史記錄的任務(wù)。 什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？ “在到達RNN之前，始終先從CNN開始。你會對你能走多遠感到驚訝?！?- 特斯拉人工智能總監(jiān)Andrej Karpathy。 未來的研究領(lǐng)域是什么？ 需要進一步的架構(gòu)和算法闡述，以提高TCN在不同序列建模任務(wù)中的性能。 潛在的商業(yè)應(yīng)用？ 引入TCN可以提高依賴于循環(huán)架構(gòu)進行序列建模的AI系統(tǒng)的性能。其中包括以下任務(wù)：
5.Delayed Impact of Fair Machine Learning合理機器學習的延遲影響，由Lydia T. Liu，Sarah Dean，Esther Rolf，Max Simchowitz，Moritz Hardt著（2018） https:///abs/1803.04383 原始摘要 機器學習的公平性主要在靜態(tài)分類設(shè)置中進行研究，而不關(guān)心決策如何隨著時間的推移改變基礎(chǔ)人口。傳統(tǒng)觀點認為，公平標準可以促進他們旨在保護的群體的長期福祉。 我們研究靜態(tài)合理標準如何與幸福的時間指標相互作用，例如利益變量長期改善、停滯和衰退。我們證明，即使在一步反饋模型中，共同的公平標準通常也不會促進隨著時間的推移而改善，并且實際上可能在無約束的目標不會導(dǎo)致?lián)p害的情況下造成傷害。我們完整的描述了三個標準規(guī)則的延遲影響，對比了這些標準表現(xiàn)出在質(zhì)量上不同的行為。此外，我們發(fā)現(xiàn)，自然形式的測量誤差擴大了公平標準有利地發(fā)揮作用的范圍。 我們的結(jié)果強調(diào)了測量和時間建模在評估公平標準中的重要性，提出了一系列新的挑戰(zhàn)和權(quán)衡取舍。 我們的總結(jié) 目標是在使用基于分數(shù)的機器學習算法來決定誰獲得機會（例如，貸款、獎學金、工作）以及誰沒有機會時，確保跨不同人口群體的公平待遇。伯克利人工智能研究實驗室的研究人員表明，由于某些延遲的結(jié)果，使用共同的公平標準實際上可能會損害代表性不足或處于不利地位的群體。因此，他們鼓勵在設(shè)計“公平”機器學習系統(tǒng)時考慮長期成果。 本文的核心思想是什么？ 考慮到實施公平標準的延遲結(jié)果表明，這些標準可能對他們旨在保護的群體的長期福祉產(chǎn)生不利影響（例如，借款人的信用評分惡化，無法償還貸款在無約束的環(huán)境中不會被授予）。 由于公平標準可能會主動傷害弱勢群體，因此解決方案可以是使用涉及結(jié)果的明確最大化的決策規(guī)則或結(jié)果模型。 什么是關(guān)鍵成就？ 提出諸如人口均等和機會均等之類的公平標準會導(dǎo)致弱勢群體的任何可能結(jié)果，包括改善、停滯和衰退，同時遵循該機構(gòu)的最優(yōu)無約束選擇政策（例如，利潤最大化）將永遠不會導(dǎo)致下降（弱勢群體）。 通過FICO信用評分數(shù)據(jù)的實驗支持理論預(yù)測，考慮硬公平約束的替代方案。 AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？ 考慮超出人口平均變化的影響的其他特征（例如，方差、個體水平結(jié)果）。 研究結(jié)果優(yōu)化對建模和測量誤差的穩(wěn)健性。 潛在的商業(yè)應(yīng)用？ 通過從公平標準強加的約束轉(zhuǎn)向結(jié)果建模，公司可能會開發(fā)出更有利可圖也更“公平”的貸款或招聘ML系統(tǒng)。 6.World Models世界模型，David Ha和Jurgen Schmidhuber（2018年） https:///abs/1803.10122 原始摘要 我們探索建立流行的強化學習環(huán)境的生成神經(jīng)網(wǎng)絡(luò)模型。我們的世界模型可以以無人監(jiān)督的方式快速訓練，以學習環(huán)境的壓縮空間和時間表示。通過使用從世界模型中提取的特征作為代理的輸入，我們可以訓練一個非常緊湊和簡單的策略，可以解決所需的任務(wù)。我們甚至可以完全根據(jù)其世界模型產(chǎn)生的幻覺夢想訓練我們的代理人，并將此政策轉(zhuǎn)回實際環(huán)境。 本文的交互式版本可在https://worldmodels.上找到。 我們的總結(jié) Ha和Schmidhuber開發(fā)了一種世界模型，可以以無人監(jiān)督的方式快速訓練，以學習環(huán)境的空間和時間表示。該代理成功地在賽車任務(wù)中駕駛賽道，可以躲避VizDom實驗中怪物射擊的火球。這些任務(wù)對以前的方法來說太具有挑戰(zhàn)性。 本文的核心思想是什么？ 該解決方案由三個不同的部分組成：
什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？ 這篇論文在人工智能界被廣泛討論，作為在他們自己的“幻覺”世界中使用神經(jīng)網(wǎng)絡(luò)進行強化學習和訓練代理的一項很好的工作。 未來的研究領(lǐng)域是什么？ 通過用更高容量的型號替換小型RNN或合并外部存儲器模塊，使代理能夠探索更復(fù)雜的世界。 嘗試更一般的方法，允許分層計劃，而不是這里提出的“時間序列”方法。 潛在商業(yè)應(yīng)用？ 當運行計算密集型游戲引擎時，現(xiàn)在可以在其模擬環(huán)境中根據(jù)需要多次訓練代理，而不是浪費大量計算資源來訓練實際環(huán)境中的代理。 7.TASKONOMY: DISENTANGLING TASK TRANSFER LEARNING任務(wù)：理解任務(wù)轉(zhuǎn)移學習，由Amir R. Zamir，Alexander Sax，William Shen，Leonidas J. Guibas，Jitendra Malik和Silvio Savarese著（2018） https:///abs/1804.08328 原始摘要 視覺任務(wù)之間是否有關(guān)系，或者它們是否無關(guān)？例如，表面法線可以簡化估算圖像的深度嗎？直覺回答了這些問題，暗示了視覺任務(wù)中存在結(jié)構(gòu)。了解這種結(jié)構(gòu)具有顯著的價值;它是傳遞學習的基本概念，并提供了一種原則性的方法來識別任務(wù)之間的冗余，例如，無縫地重用相關(guān)任務(wù)之間的監(jiān)督或在一個系統(tǒng)中解決許多任務(wù)而不會增加復(fù)雜性。 我們提出了一種完全計算的方法來建模視覺任務(wù)的空間結(jié)構(gòu)。這是通過在隱空間中的二十六個2D，2.5D，3D和語義任務(wù)的字典中查找（一階和更高階）傳遞學習依賴性來完成的。該產(chǎn)品是用于任務(wù)遷移學習的計算分類地圖。我們研究了這種結(jié)構(gòu)的后果，例如：非平凡的關(guān)系，并利用它們來減少對標簽數(shù)據(jù)的需求。例如，我們表明，解決一組10個任務(wù)所需的標記數(shù)據(jù)點總數(shù)可以減少大約2/3（與獨立訓練相比），同時保持性能幾乎相同。我們提供了一套用于計算和探測這種分類結(jié)構(gòu)的工具，包括用戶可以用來為其用例設(shè)計有效監(jiān)督策略。 我們的總結(jié) 自從現(xiàn)代計算機科學的早期以來，許多研究人員認為在視覺任務(wù)中存在一種結(jié)構(gòu)關(guān)系?，F(xiàn)在Amir Zamir和他的團隊試圖找到這種結(jié)構(gòu)。他們使用完全計算方法對其進行建模，并在不同的視覺任務(wù)（包括非平凡的任務(wù)）之間發(fā)現(xiàn)許多有用的關(guān)系。他們還表明，通過利用這些相互依賴性，可以實現(xiàn)相同的模型性能，標記數(shù)據(jù)要求大約減少?。 本文的核心思想是什么？ 了解不同視覺任務(wù)之間關(guān)系的模型需要較少的監(jiān)督，使用較少的計算，并以更可預(yù)測的方式行事。 發(fā)現(xiàn)視覺任務(wù)之間關(guān)系的完全計算方法是優(yōu)選的，因為它避免強加先前的，可能是不正確的假設(shè)：先驗來源于人類的直覺或分析知識，而神經(jīng)網(wǎng)絡(luò)可能在不同的原則上運作。 什么是關(guān)鍵成就？
AI社區(qū)的想法是什么？ 該論文獲得了2018年CVPR的最佳論文獎，這是計算機視覺和模式識別的重要會議。 結(jié)果非常重要，因為對于大多數(shù)實際任務(wù)，大規(guī)模標記數(shù)據(jù)集不可用。 未來的研究領(lǐng)域是什么？ 擺脫完全由人類定義的視覺任務(wù)模型，并嘗試將人類定義的視覺任務(wù)視為由計算發(fā)現(xiàn)的潛在子任務(wù)組成的觀察樣本的方法。 探索將結(jié)果轉(zhuǎn)移到不完全視覺任務(wù)的可能性，例如機器人操縱。 潛在的商業(yè)應(yīng)用？ 本文中發(fā)現(xiàn)的關(guān)系可用于構(gòu)建更有效的視覺系統(tǒng)，這些系統(tǒng)需要較少的標記數(shù)據(jù)和較低的計算成本。 8.KNOW WHAT YOU DON’T KNOW: UNANSWERABLE QUESTIONS FOR SQUAD知道你不知道的事：無法回答問題數(shù)據(jù)集 由SQuAD，Pranav Rajpurkar，Robin Jia和Percy Liang著（2018） https:///abs/1806.03822 原始摘要 提取閱讀理解系統(tǒng)通常可以在上下文文檔中找到問題的正確答案，但是它們也傾向于對在上下文中沒有陳述正確答案的問題做出不可靠的猜測。現(xiàn)有數(shù)據(jù)集或者專注于可回答的問題，或者使用易于識別的自動生成的無法回答的問題。為了解決這些弱點，我們提供了SQuAD 2.0，這是斯坦福問答數(shù)據(jù)集（SQuAD）的最新版本。 SQuAD 2.0將現(xiàn)有的SQuAD數(shù)據(jù)與群眾工作者反對寫的50,000多個無法回答的問題結(jié)合起來，看起來類似于可回答的問題。為了在SQuAD 2.0上做得好，系統(tǒng)不僅需要盡可能回答問題，還要確定段落何時不支持答案并且不回答問題。對于現(xiàn)有模型，SQuAD 2.0是一項具有挑戰(zhàn)性的自然語言理解任務(wù)：在SQUAD 1.1上獲得86％F1的強大神經(jīng)系統(tǒng)在SQuAD 2.0上僅獲得66％的F1。 我們的總結(jié) 斯坦福大學的一個研究小組擴展了著名的斯坦福問答數(shù)據(jù)集（SQUAD），提出了超過50,000個難以回答的問題。這些問題的答案在輔助段落中找不到，但這些問題與可回答的問題非常相似。更重要的是，支持段落包含對這些問題的合理（但不正確）答案。這使得新的SQuAD 2.0對現(xiàn)有的最先進模型極具挑戰(zhàn)性：在引入無法回答的問題之后，一個強大的神經(jīng)系統(tǒng)在之前版本的SQuAD上達到86％的準確率只有66％。 本文的核心思想是什么？ 當前的自然語言理解（NLU）系統(tǒng)遠非真正的語言理解，其中一個根本原因是現(xiàn)有的Q＆A數(shù)據(jù)集關(guān)注的是在上下文文檔中保證正確答案存在的問題。 要真正具有挑戰(zhàn)性，應(yīng)該創(chuàng)建無法回答的問題，以便：
什么是關(guān)鍵成就？ 通過53,777個新的無法回答的問題擴展SQuAD，從而構(gòu)建具有挑戰(zhàn)性的大規(guī)模數(shù)據(jù)集，迫使NLU系統(tǒng)了解何時無法根據(jù)上下文回答問題。 通過顯示現(xiàn)有模型（具有66％的準確性）更接近始終棄權(quán)（48.9％）而非人類準確性（89.5％）的基線，為NLU系統(tǒng)創(chuàng)建新挑戰(zhàn)。 貌似合理的答案確實可以作為NLU系統(tǒng)的有效干擾源。 AI社區(qū)的想法是什么？ 該論文被2018年計算語言學協(xié)會（ACL）公布為最佳短篇論文。 新的數(shù)據(jù)集增加了NLU領(lǐng)域的復(fù)雜性，實際上可以為這個研究領(lǐng)域產(chǎn)生了巨大的影響和作用力。 未來的研究領(lǐng)域是什么？ 開發(fā)“了解他們不知道的東西”的新模型，從而更好地理解自然語言。 潛在的商業(yè)應(yīng)用？ 在這個新數(shù)據(jù)集上訓練閱讀理解模型應(yīng)該可以改善他們在現(xiàn)實情況下的表現(xiàn)，而這些情景的答案往往無法直接獲得。 9.LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS高保真自然圖像合成的大規(guī)模GAN訓練，Andrew Brock，Jeff Donahue和Karen Simonyan（2018） https:///abs/1809.11096 原始摘要 盡管最近在生成圖像建模方面取得了進展，但是從像ImageNet這樣的復(fù)雜數(shù)據(jù)集中成功生成高分辨率，多樣化的樣本仍然是一個難以實現(xiàn)的目標。為此，我們以最大規(guī)模訓練了生成性對抗網(wǎng)絡(luò)，并研究了這種規(guī)模所特有的不穩(wěn)定性。我們發(fā)現(xiàn)將正交正則化應(yīng)用于生成器使得它適合于簡單的“截斷技巧”，允許通過截斷潛在空間來精確控制樣本保真度和多樣性之間的權(quán)衡。我們的修改導(dǎo)致模型在類條件圖像合成中達到了新的技術(shù)水平。當我們在ImageNet上以128×128分辨率進行訓練時，我們的模型（BigGAN）的初始得分（IS）為166.3，F(xiàn)rechet初始距離（FID）為9.6，比之前的最優(yōu)IS為52.52，F(xiàn)ID為18.65有了顯著的提升。 我們的總結(jié) DeepMind團隊發(fā)現(xiàn)，當前的技術(shù)足以從可用數(shù)據(jù)集（如ImageNet和JFT-300M）合成高分辨率，多樣化的圖像。特別地，它們表明，如果生成對抗網(wǎng)絡(luò)（GAN）以非常大的規(guī)模進行訓練，即使用兩倍到四倍的參數(shù)和八倍于先前實驗的批量大小，它們可以生成看起來非常逼真的圖像。這些大規(guī)模GAN（即BigGAN）是類條件圖像合成中最先進的新技術(shù)。 本文的核心思想是什么？ 隨著批量大小和參數(shù)數(shù)量的增加，GAN的性能會更好。 將正交正則化應(yīng)用于生成器使得模型響應(yīng)于特定技術(shù)（“截斷技巧”），其提供對樣本保真度和變化之間的權(quán)衡的控制。 什么是關(guān)鍵成就？ 證明GAN可以從縮放中獲益。 構(gòu)建模型，允許對樣本種類和保真度之間的權(quán)衡進行明確，細粒度的控制。 發(fā)現(xiàn)大規(guī)模GAN的不穩(wěn)定性并根據(jù)經(jīng)驗進行表征。 在ImageNet上以128×128分辨率訓練的BigGAN實現(xiàn)：
AI社區(qū)的想法是什么？
未來的研究領(lǐng)域是什么？
潛在的商業(yè)應(yīng)用？ 取代廣告和電子商務(wù)中昂貴的手工媒體創(chuàng)作。 10.BERT: PRE-TRAINING OF DEEP BIDIRECTIONAL TRANSFORMERS FOR LANGUAGE UNDERSTANDINGBERT：用于語言理解的深度雙向變換器的預(yù)訓練，由Jacob Devlin，Ming-Wei Chang，Kenton Lee和Kristina Toutanova著（2018） 原始摘要 我們引入了一種名為BERT的新語言表示模型，它代表轉(zhuǎn)換器的雙向編碼器表示。與最近的語言表示模型不同，BERT旨在通過聯(lián)合調(diào)節(jié)所有層中的左右上下文來預(yù)先訓練深度雙向表示。因此，預(yù)訓練的BERT表示可以通過一個額外的輸出層進行微調(diào)，以創(chuàng)建適用于廣泛任務(wù)的最先進模型，例如問答和語言推斷，而無需對特定任務(wù)的體系結(jié)構(gòu)進行大量修改。 BERT在概念上簡單且經(jīng)驗豐富。它獲得了11項自然語言處理任務(wù)的最新成果，包括將GLUE基準推至80.4％（絕對改進率7.6％），MultiNLI準確度達到86.7（絕對改進率5.6％）和SQuAD v1.1問題回答測試F1到93.2（絕對改進1.5％），超過了人類表現(xiàn)2.0％。 我們的總結(jié) 谷歌 AI 團隊提出了一個新的前沿自然語言處理模型 BERT。它的設(shè)計允許模型從每個單詞的左側(cè)和右側(cè)考慮上下文。在概念上簡單，BERT在11個NLP任務(wù)上獲得了新的最先進的結(jié)果，包括問題回答，命名實體識別和與一般語言理解相關(guān)的其他任務(wù)。 本文的核心思想是什么？ 通過隨機屏蔽一定比例的輸入令牌來訓練深度雙向模型，從而避免詞語間接“看到自己”的周期。 還通過構(gòu)建簡單的二進制分類任務(wù)來預(yù)訓練句子關(guān)系模型，以預(yù)測句子B是否緊跟在句子A之后，從而允許BERT更好地理解句子之間的關(guān)系。 訓練一個非常大的模型（24個Transformer塊，1024個隱藏，340M參數(shù)）和大量數(shù)據(jù)（33億語料庫）。 什么是關(guān)鍵成就？ 推進11項NLP任務(wù)的最新技術(shù)，包括：
AI社區(qū)的想法是什么？ BERT模型標志著NLP的新時代。 簡而言之，兩個 無監(jiān)督任務(wù)一起訓練（“填空”和“句子 B 是不是緊接句子 A”）對于很多 NLP 任務(wù)都取得了很好的結(jié)果。 語言模型的預(yù)訓練成為一種新標準。 未來的研究領(lǐng)域是什么？
潛在的商業(yè)應(yīng)用？ BERT可以幫助企業(yè)解決各種NLP問題，包括：
|
|
|
