 新智元報(bào)道 【新智元導(dǎo)讀】Meta的LLaMA模型開(kāi)源，讓文本大模型迎來(lái)了Stable Diffustion時(shí)刻。今天，斯坦福發(fā)布了一個(gè)由LLaMA 7B微調(diào)的模型Alpaca，訓(xùn)練3小時(shí)，性能比肩GPT-3.5。一覺(jué)醒來(lái)，斯坦福大模型Alpaca（草泥馬）火了。
沒(méi)錯(cuò)，Alpaca是由Meta的LLaMA 7B微調(diào)而來(lái)的全新模型，僅用了52k數(shù)據(jù)，性能約等于GPT-3.5。 關(guān)鍵是訓(xùn)練成本奇低，不到600美元。具體花費(fèi)如下： 在8個(gè)80GB A100上訓(xùn)練了3個(gè)小時(shí)，不到100美元； 生成數(shù)據(jù)使用OpenAI的API，500美元。
斯坦福大學(xué)計(jì)算機(jī)科學(xué)副教授Percy Liang稱(chēng)，
看到又有人在自家大模型上取得了新的成果，Yann LeCun瘋狂轉(zhuǎn)發(fā)（宣傳要到位
3小時(shí)微調(diào)70億參數(shù)，600美元搞定 話(huà)不多說(shuō)，先試用一波。 問(wèn)：告訴我一些關(guān)于羊駝的事情。 答：羊駝是來(lái)自南美洲的駱駝品種，與美洲駝和駱駝?dòng)嘘P(guān)。它們通常因其纖維而被飼養(yǎng)，用于制造奢侈品，如毛衣和毛毯。由于羊駝的溫柔和友好的天性，它們也是很受歡迎的寵物。  體驗(yàn)鏈接：https://crfm./alpaca/
對(duì)于斯坦福的團(tuán)隊(duì)來(lái)說(shuō)，想要在預(yù)算內(nèi)訓(xùn)練一個(gè)高質(zhì)量的指令遵循模型，就必須面臨2個(gè)重要的挑戰(zhàn)：要有一個(gè)強(qiáng)大的預(yù)訓(xùn)練語(yǔ)言模型，以及一個(gè)高質(zhì)量的指令遵循數(shù)據(jù)。 恰恰，提供給學(xué)術(shù)研究人員使用的LLaMA模型搞定了第一個(gè)問(wèn)題。 對(duì)于第二個(gè)挑戰(zhàn)，「Self-Instruct: Aligning Language Model with Self Generated Instructions」論文給了很好的啟發(fā)，即使用現(xiàn)有的強(qiáng)語(yǔ)言模型來(lái)自動(dòng)生成指令數(shù)據(jù)。 然而，LLaMA模型最大的弱點(diǎn)是缺乏指令微調(diào)。OpenAI最大的創(chuàng)新之一就是將指令調(diào)優(yōu)用在了GPT-3上。 對(duì)此，斯坦福使用了現(xiàn)有的大語(yǔ)言模型，來(lái)自動(dòng)生成遵循指令演示。
首先從自生成指令種子集中的175個(gè)人工編寫(xiě)的「指令-輸出」對(duì)開(kāi)始，然后，提示text-davinci-003使用種子集作為上下文示例來(lái)生成更多指令。 通過(guò)簡(jiǎn)化生成管道改進(jìn)了自生成指令的方法，這樣大大降低了成本。在數(shù)據(jù)生成過(guò)程中，產(chǎn)生了52K個(gè)獨(dú)特指令和相應(yīng)的輸出，使用OpenAI API的成本不到500美元。 有了這個(gè)指令遵循的數(shù)據(jù)集，研究人員利用Hugging Face的訓(xùn)練框架對(duì)LLaMA模型進(jìn)行微調(diào)，利用了完全分片數(shù)據(jù)并行（FSDP）和混合精度訓(xùn)練等技術(shù)。
另外，微調(diào)一個(gè)7B的LLaMA模型在8個(gè)80GB的A100上花了3個(gè)多小時(shí)，在大多數(shù)云計(jì)算供應(yīng)商那里的成本不到100美元。 約等于GPT-3.5 為了評(píng)估Alpaca，斯坦福研究人員對(duì)自生成指令評(píng)價(jià)集的輸入進(jìn)行了人工評(píng)估（由5位學(xué)生作者進(jìn)行）。 這個(gè)評(píng)價(jià)集是由自生成指令作者收集的，涵蓋了多樣化的面向用戶(hù)的指令，包括電子郵件寫(xiě)作、社交媒體和生產(chǎn)力工具等。 他們對(duì)GPT-3.5（text-davinci-003）和Alpaca 7B進(jìn)行了比較，發(fā)現(xiàn)這兩個(gè)模型的性能非常相似。Alpaca在與GPT-3.5的比較中，獲勝次數(shù)為90對(duì)89。 鑒于模型規(guī)模較小，且指令數(shù)據(jù)量不大，取得這個(gè)結(jié)果已經(jīng)是相當(dāng)驚人了。 除了利用這個(gè)靜態(tài)評(píng)估集，他們還對(duì)Alpaca模型進(jìn)行了交互式測(cè)試，發(fā)現(xiàn)Alpaca在各種輸入上的表現(xiàn)往往與GPT-3.5相似。 斯坦福用Alpaca進(jìn)行的演示： 演示一讓Alpaca來(lái)談?wù)勛约汉蚅LaMA的區(qū)別。
演示二讓Alpaca寫(xiě)了一封郵件，內(nèi)容簡(jiǎn)潔明了，格式也很標(biāo)準(zhǔn)。
上述例子可以看出，Alpaca的輸出結(jié)果一般都寫(xiě)得不錯(cuò)，而且答案通常比ChatGPT簡(jiǎn)短，體現(xiàn)了GPT-3.5較短輸出的風(fēng)格。 當(dāng)然了，Alpaca表現(xiàn)出語(yǔ)言模型常見(jiàn)的缺陷。 比如，將坦桑尼亞的首都說(shuō)成了達(dá)累斯薩拉姆。實(shí)則，1974年之后，多多馬是坦桑尼亞的新首都了，達(dá)累斯薩拉姆只是坦桑尼亞最大的城市。
撰寫(xiě)周詳?shù)恼撐恼獣r(shí)，Alpaca傳播了錯(cuò)誤的信息。
另外，Alpaca可能還存在許多與底層語(yǔ)言模型和指令微調(diào)數(shù)據(jù)相關(guān)的局限。然而，Alpaca為我們提供了一個(gè)相對(duì)輕量級(jí)的模型，它可以成為未來(lái)研究大模型重要缺陷的基礎(chǔ)。 目前，斯坦福僅公布了Alpaca的訓(xùn)練方法和數(shù)據(jù)，并打算在未來(lái)發(fā)布模型的權(quán)重。 但是，Alpaca是不能用于商業(yè)用途，只能用于學(xué)術(shù)研究。具體原因有三： 1. LLaMA是一個(gè)非商業(yè)許可的模型，Alpaca是基于該模型生成的； 2. 指令數(shù)據(jù)是基于OpenAI的text-davinci-003，其使用條款禁止開(kāi)發(fā)與OpenAI競(jìng)爭(zhēng)的模型； 3. 沒(méi)有設(shè)計(jì)足夠多的安全措施，所以Alpaca還沒(méi)有做好廣泛使用的準(zhǔn)備 除此之外，斯坦福研究人員總結(jié)了Alpaca未來(lái)研究會(huì)有三個(gè)方向。
大模型的Stable Diffusion 
One More Thing |
|
|
）。
