|
電話會議的主要內(nèi)容: DeepSeek的創(chuàng)新來自于多個模型優(yōu)化,包括專家混合(Mixture of Experts)、模型架構(gòu)(如多頭潛在注意力)、FP8的使用等。DeepSeek R1似乎不是一個獨立的基礎(chǔ)模型,而是可能建立在其他開源模型(如Lambda)的開發(fā)基礎(chǔ)上,隨后在專門的數(shù)據(jù)集上進(jìn)行訓(xùn)練,包括其他大型語言模型(LLM)的輸出。 DeepSeek的訓(xùn)練成本約為600萬美元并不能完全反映真實情況,因為這個成本沒有考慮其他間接費用、開發(fā)其他基礎(chǔ)模型的成本等。似乎MoE模型已經(jīng)被訓(xùn)練并優(yōu)化以應(yīng)對一些關(guān)鍵任務(wù),如編程和數(shù)學(xué),這使得它在這些任務(wù)上接近甚至超過OpenAI的性能。 這并不代表范式的轉(zhuǎn)變,而更像是LLM模型、算法和技術(shù)的持續(xù)創(chuàng)新。如果這些效率被廣泛實現(xiàn),將導(dǎo)致推理模型成本大幅下降,從而加速Agentic AI的發(fā)展。目前,專家認(rèn)為,Agentic AI可能在2025年仍然處于炒作階段,實際部署可能會推遲到2026年,原因在于企業(yè)對于授權(quán)和信任的需求。專家對AI模型未來的演進(jìn)持樂觀態(tài)度,認(rèn)為我們?nèi)蕴幱贏I發(fā)展的初期階段,類似于互聯(lián)網(wǎng)普及周期的1996年,而非1999年。 前沿模型的開發(fā)影響尚不明確。他一直認(rèn)為,LLM模型可能會迅速商品化,特別是在蓬勃發(fā)展的開源生態(tài)系統(tǒng)中。同時,他認(rèn)為大型云服務(wù)提供商(CSPs)將繼續(xù)追求前沿模型,作為區(qū)別化競爭的手段,并開辟生成式AI(如視頻、現(xiàn)實世界AI、物理AI等)新的領(lǐng)域。 AI資本支出和能源使用預(yù)算可能會保持強勁,但如果R1的效率在所有新模型中得以實現(xiàn),最終可能會對這些方面進(jìn)行重新思考。然而,計算需求可能依然會非常強勁,因為便宜的推理過程將推動更多AI的普及。專家認(rèn)為,500美元的推理成本可能會繼續(xù)下降,從而進(jìn)一步推動AI的普及和應(yīng)用。 專家認(rèn)為,對于中國的限制措施大多是徒勞的,且可能會使中國的更多AI發(fā)展對外界保持隱蔽。專家認(rèn)為,更多的開放合作和信息共享有利于整體AI生態(tài)系統(tǒng)的發(fā)展,并能避免潛在的陷阱。紀(jì)要私享圈 |
|
|