|
大模型時(shí)代一來(lái),AI框架扮演的角色愈加重要。 行業(yè)深諳此理,于是人工智能框架生態(tài)峰會(huì)2023為此召開(kāi)。 參會(huì)的成員都是產(chǎn)學(xué)研界耳熟能詳?shù)拿郑荷虾H斯ぶ悄苎芯吭?、中?guó)科學(xué)院自動(dòng)化研究所、上海白玉蘭開(kāi)源開(kāi)放研究院、OpenI啟智社區(qū)、華為、昇思MindSpore…… 他們齊聚上海的目的只有一個(gè),共建人工智能框架生態(tài),將中國(guó)人工智能產(chǎn)業(yè)推向一個(gè)新階段。
具體的動(dòng)作有:
總之,是要以AI框架生態(tài)為中心,讓產(chǎn)業(yè)“朋友圈”更牢固。 為什么以AI框架生態(tài)為核心?想要回答這一問(wèn)題,要從AI框架的定位和重要性說(shuō)起。 一直以來(lái),AI框架被視為AI發(fā)展中基建一般的存在。 縱向角度,AI框架在AI全棧體系中處于承上啟下的位置,承擔(dān)著AI技術(shù)生態(tài)中操作系統(tǒng)的角色,對(duì)于AI軟件生態(tài)構(gòu)建非常關(guān)鍵。 橫向角度,AI框架是AI學(xué)術(shù)創(chuàng)新與產(chǎn)業(yè)商業(yè)化的重要基礎(chǔ)軟件,對(duì)人工智能從理論走向?qū)嵺`、快速進(jìn)入場(chǎng)景化應(yīng)用時(shí)代,有著非常重要的意義。 對(duì)于開(kāi)發(fā)者而言,它能提升開(kāi)發(fā)能效、簡(jiǎn)化開(kāi)發(fā)流程,同時(shí)還提供豐富的功能和工具,加速AI應(yīng)用創(chuàng)新和推廣。 隨著大模型趨勢(shì)席卷而來(lái),AI領(lǐng)域內(nèi)的開(kāi)發(fā)創(chuàng)新工作更加如火如荼,那么AI框架作為核心開(kāi)發(fā)工具,就顯得尤為重要。 它的底層能力、功能豐富度、生態(tài)完善度,都會(huì)影響開(kāi)發(fā)效率,進(jìn)而影響新技術(shù)和應(yīng)用創(chuàng)新的速度。
在這幾方面中,生態(tài)構(gòu)建又顯得格外重要。因?yàn)樗鼘⒅苯佑绊懣蚣艿哪芰Α⒐δ?、以及產(chǎn)業(yè)化應(yīng)用等。 而AI框架生態(tài)的發(fā)展,離不開(kāi)政產(chǎn)學(xué)研用各界伙伴的大力支持。 一方面需要高校、科研機(jī)構(gòu)合作,探索人工智能行業(yè)前沿方向,豐富算子和模型,培養(yǎng)AI人才的同時(shí)持續(xù)豐富技術(shù)生態(tài)。 另一方面也需要與商業(yè)伙伴合作,將人工智能技術(shù)廣泛應(yīng)用到千行百業(yè),推進(jìn)全球智能化的發(fā)展。 由此也就不難理解,為什么要召開(kāi)人工智能框架生態(tài)峰會(huì),并且圍繞中國(guó)AI框架領(lǐng)軍代表昇思MindSpore,開(kāi)展一系列生態(tài)共建。 如成立昇思MindSpore開(kāi)源社區(qū)理事會(huì)(下文簡(jiǎn)稱昇思社區(qū)理事會(huì)),目標(biāo)就是面向產(chǎn)業(yè)、商業(yè)、生態(tài)等各方向吸納對(duì)社區(qū)有貢獻(xiàn)、有潛力的企業(yè),通過(guò)理事會(huì)加強(qiáng)核心伙伴粘性,助力伙伴商業(yè)生態(tài)成功。
啟動(dòng)上海昇思AI框架&大模型創(chuàng)新中心,則是抓住大模型趨勢(shì),快速拉起一個(gè)產(chǎn)業(yè)“朋友圈”,共同推動(dòng)國(guó)內(nèi)大模型趨勢(shì)創(chuàng)新不斷涌現(xiàn)。 當(dāng)然,行業(yè)內(nèi)會(huì)如此重視AI框架生態(tài),除了其身位特殊之外,更直接的原因或許還是因?yàn)椋嗄陙?lái)AI框架生態(tài)的建設(shè)已經(jīng)為產(chǎn)業(yè)發(fā)展帶來(lái)了切實(shí)好處。 昇思MindSpore正是代表之一。
昇思MindSpore為構(gòu)建生態(tài)做了哪些事?昇思MindSpore是華為在2020年開(kāi)源的全場(chǎng)景AI框架。 昇思MindSpore在技術(shù)層面,基于當(dāng)下產(chǎn)業(yè)的需求和挑戰(zhàn),提出了自動(dòng)并行、動(dòng)靜態(tài)圖結(jié)合、二階優(yōu)化、全場(chǎng)景部署、全棧協(xié)同加速幾大關(guān)鍵特性。 比如自動(dòng)并行可以降低切分?jǐn)?shù)據(jù)、切分模型等技術(shù)問(wèn)題門(mén)檻,提升開(kāi)發(fā)能力和效率;全場(chǎng)景協(xié)同支持智能匹配端邊云多樣設(shè)備;面向系統(tǒng)軟硬件co-design能讓昇思MindSpore做到整圖完整卸載,達(dá)到與通用GPU硬件對(duì)比的程度…… 由此,昇思MindSpore即便沒(méi)有老牌AI框架的先發(fā)優(yōu)勢(shì),但在解決超大規(guī)模模型訓(xùn)練、AI for Science等產(chǎn)業(yè)實(shí)際問(wèn)題上,已經(jīng)占據(jù)領(lǐng)先身位。
具體技術(shù)架構(gòu)上,昇思MindSpore共分為四層,分別是:
如今,基于昇思MindSpore的技術(shù)成果也相繼涌現(xiàn)。 比如今天剛剛正式對(duì)外發(fā)布的紫東.太初2.0。 它由中科院自動(dòng)化所牽頭,基于AI框架昇思MindSpore打造。 作為業(yè)界領(lǐng)先的全模態(tài)大模型,紫東.太初2.0可實(shí)現(xiàn)文本、圖片、語(yǔ)音、視頻、3D點(diǎn)云、傳感信號(hào)等不同模態(tài)的統(tǒng)一表征和學(xué)習(xí)。其3.8B模型已經(jīng)在昇思MindSpore社區(qū)開(kāi)源。 此外還有武漢.LuoJia、鵬程.神農(nóng)等產(chǎn)學(xué)研界成果,都是以昇思MindSpore為底座。據(jù)悉,共有400 模型、900 頂會(huì)論文基于昇思MindSpore技術(shù)生態(tài)實(shí)現(xiàn)。 由此可以看到,昇思MindSpore作為AI框架,不僅鏈接南北向生態(tài),同時(shí)也已構(gòu)建出一個(gè)貫穿產(chǎn)學(xué)研的生態(tài)圈。 通過(guò)不斷完善、繁榮自身生態(tài)圈,昇思MindSpore不僅成長(zhǎng)為國(guó)內(nèi)最活躍的開(kāi)源社區(qū)之一,還更進(jìn)一步助推產(chǎn)業(yè)技術(shù)創(chuàng)新、人才培養(yǎng)、應(yīng)用落地。 具體可以從技術(shù)生態(tài)、開(kāi)源生態(tài)和行業(yè)生態(tài)幾個(gè)方面看起。
技術(shù)生態(tài)方面,除了如上提到的算法模型方面的成績(jī),昇思打造了大模型開(kāi)源生態(tài)。 昇思大模型平臺(tái),向全球百萬(wàn)開(kāi)發(fā)者提供了包括紫東.太初、鵬程.神農(nóng)、武漢.LuoJia等大模型能力。 該平臺(tái)集大模型在線推理、算法選型、創(chuàng)意分享、產(chǎn)學(xué)研專區(qū)為一體,提供免費(fèi)課程資源、經(jīng)典樣例代碼、企業(yè)落地案例、垂直行業(yè)專區(qū)和多層級(jí)挑戰(zhàn)賽。 開(kāi)源生態(tài)方面,2022年,中國(guó)信息通信研究院發(fā)布《AI框架發(fā)展白皮書(shū)》,指出昇思MindSpore作為國(guó)內(nèi)優(yōu)質(zhì)AI框架代表,在Gitee千萬(wàn)個(gè)開(kāi)源項(xiàng)目中綜合排名第一,已是國(guó)內(nèi)開(kāi)源社區(qū)最活躍的AI框架。 目前共計(jì)有13000 名核心開(kāi)發(fā)者在昇思MindSpore社區(qū)做出貢獻(xiàn)。 昇思在海內(nèi)外30個(gè)地區(qū)成立本地研究小組MindSpore Study Group(簡(jiǎn)稱MSG),開(kāi)展MSG企業(yè)行、MSG高校行、MSG行研會(huì)等線上線下活動(dòng)。 同時(shí),昇思還加入Hugging Face社區(qū),賦能全球開(kāi)發(fā)者;每半年舉辦一次MindCon極客周,目前已引導(dǎo)3萬(wàn) 開(kāi)發(fā)者參與社區(qū)貢獻(xiàn);開(kāi)展從入門(mén)到精通的全場(chǎng)景AI實(shí)戰(zhàn)線上課程,與290 所高校展開(kāi)昇思MindSpore教學(xué)合作,設(shè)置初、中、高級(jí)別課程,轉(zhuǎn)型全新開(kāi)源創(chuàng)新實(shí)踐課程。 并且已經(jīng)形成清晰明確的高效開(kāi)發(fā)者成長(zhǎng)路徑圖,轉(zhuǎn)化核心技術(shù)貢獻(xiàn)者?,F(xiàn)已走進(jìn)290 所高校。 最后在行業(yè)生態(tài)建設(shè)上,昇思MindSpore目前已服務(wù)5500家企業(yè),涵蓋數(shù)字政府、金融、制造、交通、能源、終端等端邊云全場(chǎng)景行業(yè)。 總之,參考昇思MindSpore三年以來(lái)的發(fā)展可以感受到,在當(dāng)下發(fā)展階段內(nèi),一個(gè)AI框架能帶來(lái)的影響早已不局限于提升開(kāi)發(fā)者的效率和能力,通過(guò)構(gòu)建完善的生態(tài)圈,AI框架可以作為中心樞紐將人才、技術(shù)、資源、應(yīng)用場(chǎng)景等緊密聯(lián)結(jié),加速行業(yè)內(nèi)整體的開(kāi)發(fā)效率和能力,以此推動(dòng)產(chǎn)業(yè)向前發(fā)展。 AI框架生態(tài)該怎么做?那么,昇思MindSpore的發(fā)展,同樣也為AI開(kāi)源框架生態(tài)構(gòu)建提供一定思考。 簡(jiǎn)單總結(jié)有這樣2點(diǎn):
首先是AI框架的自身定位上,昇思遵循了產(chǎn)業(yè)導(dǎo)向原則。 在TensorFlow、PyTorch憑借先發(fā)優(yōu)勢(shì)占據(jù)市場(chǎng)主導(dǎo)位置的情況下,新興的AI框架想要在全球市場(chǎng)中占據(jù)一席之地,差異化競(jìng)爭(zhēng)是關(guān)鍵。 脫胎于產(chǎn)業(yè)界的昇思,自然從產(chǎn)業(yè)界入手,在工業(yè)化能力上形成差異化,盡可能滿足產(chǎn)業(yè)內(nèi)對(duì)開(kāi)發(fā)門(mén)檻、運(yùn)行效率、部署靈活的要求。 同時(shí)深入行業(yè)洞察趨勢(shì),在一些熱門(mén)領(lǐng)域內(nèi)形成競(jìng)爭(zhēng)優(yōu)勢(shì)。比如在大模型訓(xùn)練上,昇思已經(jīng)支持了業(yè)界最多的并行模式。 第二,開(kāi)源開(kāi)放。 昇思MindSpore開(kāi)源后,提出“立足中國(guó)、放眼世界”的目標(biāo),基于開(kāi)放、融合、共享的理念,持續(xù)推動(dòng)構(gòu)建“南向多芯和北向應(yīng)用生態(tài)”。 “南向”為AI芯片算力提供標(biāo)準(zhǔn)化技術(shù)生態(tài)接口和開(kāi)發(fā)工具,構(gòu)建自主開(kāi)源AI框架生態(tài)和人工智能算力多芯生態(tài); “北向”為開(kāi)發(fā)者和算法廠商開(kāi)展技術(shù)聯(lián)創(chuàng),圍繞場(chǎng)景創(chuàng)新重大需求開(kāi)展聯(lián)合攻關(guān)。 以昇思社區(qū)理事會(huì)為抓手,在大模型、科學(xué)智能等前沿技術(shù)領(lǐng)域持續(xù)推動(dòng)創(chuàng)新,構(gòu)筑面向未來(lái)的核心競(jìng)爭(zhēng)力,提取共性能力,沉淀框架和數(shù)據(jù)資產(chǎn)。昇思積極支持與南向芯片廠商的適配,目前已經(jīng)與20 芯片廠商開(kāi)展適配工作。 此外,他們也是國(guó)內(nèi)第一個(gè)采用開(kāi)放治理架構(gòu)的AI框架開(kāi)源社區(qū)。 在昇思MindSpore社區(qū),有來(lái)自全球18名技術(shù)專家組成的技術(shù)委員會(huì),他們通過(guò)公開(kāi)的討論,公開(kāi)的會(huì)議,把控整個(gè)社區(qū)的技術(shù)發(fā)展方向。 在技術(shù)委員會(huì)的指導(dǎo)之下,設(shè)立了特殊興趣小組(Special Interest Group),來(lái)負(fù)責(zé)各個(gè)模塊的開(kāi)發(fā);如果需要跨模塊協(xié)作,則成立對(duì)應(yīng)的工作組。 昇思還基于自身生態(tài)內(nèi)的力量,盡可能協(xié)同上下游、聯(lián)動(dòng)產(chǎn)學(xué)研力量,快速推動(dòng)社區(qū)規(guī)模發(fā)展。 據(jù)公開(kāi)數(shù)據(jù),昇思MindSpore首年下載量就突破了10萬(wàn),第二年時(shí)這一數(shù)字已經(jīng)提升到了102萬(wàn),現(xiàn)在總下載量已經(jīng)超過(guò)474萬(wàn)。 結(jié)合當(dāng)下趨勢(shì)來(lái)看,ChatGPT引爆大模型趨勢(shì)后,未來(lái)一段時(shí)間內(nèi)行業(yè)內(nèi)將保持高速發(fā)展,誰(shuí)跑得更快、誰(shuí)就更有優(yōu)勢(shì)。 而這種競(jìng)速并不只是單純地拼人才、拼資源,更大程度上還是拼基礎(chǔ)設(shè)施和生態(tài)。 AI框架始終被視為AI領(lǐng)域的根技術(shù),是模型的“土壤”。 如何讓這個(gè)“土壤”更加肥沃?開(kāi)源、開(kāi)放、共建。 《經(jīng)濟(jì)日?qǐng)?bào)》發(fā)文中也強(qiáng)調(diào)了算法開(kāi)源生態(tài)的重要性:要搶占人工智能大模型產(chǎn)業(yè)發(fā)展制高點(diǎn),必須加強(qiáng)戰(zhàn)略規(guī)劃和深度治理,推進(jìn)新型算力生態(tài)基礎(chǔ)設(shè)施建設(shè),打造穩(wěn)定可靠的算法開(kāi)源生態(tài)。 這也是為什么人工智能框架生態(tài)峰會(huì)2023要在此時(shí)此刻召開(kāi),核心目的就是為了吸引、呼吁更多人,一同共建中國(guó)AI框架生態(tài)。 而在新一輪技術(shù)周期的影響和帶動(dòng)下,中國(guó)AI框架生態(tài)會(huì)怎樣發(fā)展,也值得我們期待。 — 完 —
|
|
|