第一章人工智能時(shí)代到來(lái)

隨著歷史的推移，人類一直在努力地認(rèn)識(shí)、解讀并影響著周圍的世界。從最初用石頭和棍棒去捕食，到現(xiàn)在利用高級(jí)算法去解決復(fù)雜問(wèn)題，我們始終在學(xué)習(xí)和進(jìn)化?；厥走^(guò)去數(shù)千年的廣袤時(shí)光，我們可以清晰地感知到，科技一直是推動(dòng)人類發(fā)展和社會(huì)進(jìn)步的核心力量。

在石器時(shí)代，簡(jiǎn)陋石制工具誕生，是人類第一次有意識(shí)地作用于自然界，通過(guò)改變與環(huán)境的交互方式實(shí)現(xiàn)了更好的生存，這是人類文明史上的一次重大突破，代表了人類智慧的覺醒，標(biāo)志著人與自然關(guān)系的初步轉(zhuǎn)變。

在農(nóng)業(yè)文明時(shí)代，我們不再單純地狩獵和采集，通過(guò)開墾土地、制造農(nóng)具以及灌溉等方式，初步開始了對(duì)大自然的控制，人類的智慧逐漸升華，對(duì)自然界有了更為深刻的認(rèn)識(shí)和掌握，人類生活方式和文明觀念發(fā)生質(zhì)變。

在工業(yè)革命時(shí)代，以蒸汽機(jī)的發(fā)明和電力的應(yīng)用為標(biāo)志，人類智慧的運(yùn)用在更大范圍和更高層次上體現(xiàn)，實(shí)現(xiàn)了對(duì)自然力量的更好掌握，從自然中大規(guī)模地提取能量，驅(qū)動(dòng)各種機(jī)械，人類社會(huì)獲得了前所未有的發(fā)展動(dòng)能，生產(chǎn)要素發(fā)生了根本性重構(gòu)，生產(chǎn)力獲得大幅提升，時(shí)間和空間觀念被重新定義，人類全球化和快速進(jìn)步的章開啟。

在信息革命時(shí)代，計(jì)算機(jī)和互聯(lián)網(wǎng)進(jìn)一步改變了我們對(duì)世界的認(rèn)知方式，移動(dòng)通信則重塑了人與人之間的連接，打破了地域和時(shí)間的界限，加速了全球經(jīng)濟(jì)的發(fā)展和信息的傳播，極大地提升了人類對(duì)于復(fù)雜問(wèn)題的理解和解決能力，標(biāo)志著人類智慧在認(rèn)知層面的個(gè)巨大飛躍。   

而現(xiàn)在，我們正處于另一個(gè)歷史性的轉(zhuǎn)折點(diǎn)，正在經(jīng)歷并見證一個(gè)新的時(shí)代。AlphaGo 成為了第一個(gè)擊敗人類圍棋世界冠軍的計(jì)算機(jī)程序，在此之前，人們普遍認(rèn)為圍棋的復(fù)雜度超出了機(jī)器的理解范圍，但是 AlphaGo成功打破這一觀念，證明了人工智能的強(qiáng)大潛力，不僅推進(jìn)了圍棋研究，更為人們理解復(fù)雜系統(tǒng)提供了全新途徑。GraphCast作為一種先進(jìn)的天氣預(yù)測(cè)系統(tǒng)，利用圖神經(jīng)網(wǎng)絡(luò)技術(shù)，更加精確地預(yù)測(cè)了全球天氣系統(tǒng)的復(fù)雜變化，對(duì)于農(nóng)業(yè)、交通、災(zāi)害管理等領(lǐng)域具有重要的意義，能夠幫助人類更好地應(yīng)對(duì)極端氣候變化帶來(lái)的挑戰(zhàn)。Neuralink通過(guò)其開創(chuàng)性的腦機(jī)接口技術(shù)，在人腦與計(jì)算機(jī)系統(tǒng)之間建立連接，為人類提供了一個(gè)全新的認(rèn)知和溝通方式，不僅有望為醫(yī)療和通信領(lǐng)域帶來(lái)革命性變革，還預(yù)示著人類智慧與機(jī)器智能融合的未來(lái)，將全面擴(kuò)展人類的智能。以O(shè)penAI的 GPT系列模型為代表的大模型技術(shù)，因其出色的數(shù)據(jù)分析、自然語(yǔ)言處理和預(yù)測(cè)能力，能大幅提升各行各業(yè)的效率和創(chuàng)新性，從醫(yī)療診斷、營(yíng)銷管理、客戶服務(wù)到內(nèi)容創(chuàng)作，原有的工作流程和業(yè)務(wù)模式都因此而改變，更重要的是，大模型技術(shù)能有效地整合和分析大量復(fù)雜數(shù)據(jù)，提供深刻的洞見，已經(jīng)滲透到各行各業(yè)，成為高效生產(chǎn)力的助推器和產(chǎn)業(yè)變革的新引擎。從復(fù)雜系統(tǒng)的模擬，到跨學(xué)科技術(shù)的深度融合，再到知識(shí)邊界的擴(kuò)展，這一切都昭示著，人工智能正在引領(lǐng)我們進(jìn)入一個(gè)全新的革命時(shí)代。人工智能時(shí)代不僅繼承了信息革命的遺產(chǎn)，是所有先前技術(shù)革命的綜合和提升，還將人類智慧與計(jì)算能力結(jié)合得更為緊密，重新定義了“智慧”的含義。不再僅僅是人的智慧，機(jī)器的智慧也成為了推動(dòng)社會(huì)發(fā)展的關(guān)鍵因素。

從石器時(shí)代到現(xiàn)在，每一次技術(shù)革命都改變了人們與世界的交互方式。在石器時(shí)代，作為人類文明的起點(diǎn)，人類第一次使用工具主動(dòng)作用于自然界，讓我們看到，即使是最簡(jiǎn)單的工具，也有可能引發(fā)重大的社會(huì)和文化變革。進(jìn)入人工智能革命時(shí)代，我們同樣面臨-個(gè)交互方式的重大改變。人工智能大模型不只是技術(shù)的進(jìn)步，不僅僅是生產(chǎn)力的新引擎，它還囊括了互聯(lián)網(wǎng)世界的海量知識(shí)，是人類智慧的一個(gè)集大成者，反映了我們對(duì)于模仿、擴(kuò)展甚至超越人類認(rèn)知和決策能力的無(wú)限追求。正如石器時(shí)代的工具改變了人類與自然界的關(guān)系，大模型則有可能成為改變?nèi)伺c信息、人與機(jī)器、人與社會(huì)關(guān)系的新引擎，將可能重新塑造我們對(duì)世界的認(rèn)識(shí)和與之互動(dòng)的方式，也為人類打開了一扇通往未知世界的大門，提供了一個(gè)全新的方式來(lái)認(rèn)識(shí)和改造世界。   

1.1人工智能的發(fā)展歷程

人工智能(Artificial Intelligence)的發(fā)展歷程可以追溯到上世紀(jì) 40-50年代。在 AI-詞尚未出現(xiàn)前，物理學(xué)家和數(shù)學(xué)家們就在嘗試如何利用邏輯推理來(lái)模擬人類智能和利用控制理論來(lái)對(duì)物理實(shí)體進(jìn)行操縱，這兩條路線誕生了人工智能最初兩大方向:符號(hào)主義(Symbolicism)和行為主義(Actionism)。1950年，英國(guó)數(shù)學(xué)家艾倫·圖靈(AlanTuring)提出著名的圖靈測(cè)試，旨在評(píng)估機(jī)器是否能夠表現(xiàn)出與人類相似的智能。圖靈測(cè)試成為衡量人工智能進(jìn)展的重要標(biāo)準(zhǔn)之一。1956年達(dá)特茅斯會(huì)議召開，大會(huì)正式提出了工智能”一詞，討論了如何使用計(jì)算機(jī)模擬人類智能的問(wèn)題，標(biāo)志著AI學(xué)科的正式誕生。1957年弗蘭克·羅森布拉特(FrankRosenblat)于提出了感知機(jī)，這是一種早期的人工神經(jīng)網(wǎng)絡(luò)模型，模擬了人腦神經(jīng)元的工作原理，使得機(jī)器能夠從數(shù)據(jù)中學(xué)習(xí)，并具備非常有限的判別能力。感知機(jī)是人工智能第三大方向連接主義(Connectionism)的最初形態(tài)，至此人工智能領(lǐng)域的三大流派均以各自的理念開始展開一場(chǎng)跨越大半個(gè)世紀(jì)的宏大征途。

第一次浪潮:在人工智能的早期發(fā)展中，符號(hào)主義中邏輯推理和專家系統(tǒng)等技術(shù)在啟發(fā)式推理等任務(wù)上取得了一定的成功。符號(hào)主義的研究工作在20世紀(jì)80年代初達(dá)到高潮，誕生了專家系統(tǒng)理論。但是符號(hào)主義路線也面臨著知識(shí)表示和推理能力不足的挑戰(zhàn)。隨著時(shí)間的推移，連接主義和行為主義的發(fā)展掀起了統(tǒng)計(jì)機(jī)器學(xué)習(xí)、機(jī)器人控制等新的技術(shù)浪潮，人工智能的研究進(jìn)入了新的階段。   

第二次浪潮:從20世紀(jì)80年代開始，人工智能的研究者們開始強(qiáng)調(diào)用統(tǒng)計(jì)機(jī)器學(xué)習(xí)(連接主義路線)來(lái)實(shí)現(xiàn)智能?；?957年就開始的對(duì)感知機(jī)的探索經(jīng)驗(yàn)之上，1986年杰佛里·辛頓(Geofrey Hinton)提出了反向傳播算法，這是這一時(shí)期的重要理論突破之該算法使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為可能。同時(shí)，支持向量機(jī)(SVM)也在這個(gè)時(shí)期開始-。得到廣泛應(yīng)用，標(biāo)志著統(tǒng)計(jì)機(jī)器學(xué)習(xí)成為人工智能研究的主流。支持向量機(jī)在處理復(fù)雜的非線性問(wèn)題時(shí)表現(xiàn)相對(duì)出色，在圖像識(shí)別、文本分類和生物信息學(xué)等領(lǐng)域取得了重要的成果，甚至具備了一定的實(shí)用價(jià)值。人工智能中連接主義路線真正開始從理論走向?qū)嵺`。然而，統(tǒng)計(jì)機(jī)器學(xué)習(xí)的發(fā)展也面臨一些挑戰(zhàn)，如維數(shù)災(zāi)難和過(guò)擬合等，其泛化能力不足，不能適應(yīng)互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代。

第三次浪潮:隨著對(duì)神經(jīng)網(wǎng)絡(luò)/感知機(jī)研究的深入及硬件技術(shù)等的持續(xù)提升，2006年深度學(xué)習(xí)的出現(xiàn)在人工智能領(lǐng)域掀起了一場(chǎng)新的革命。深度學(xué)習(xí)的核心思想是模仿人類大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)多層神經(jīng)元之間的連接和學(xué)習(xí)來(lái)實(shí)現(xiàn)智能化任務(wù)。通過(guò)大量的數(shù)據(jù)和逐層的特征提取，深度學(xué)習(xí)模型可以自動(dòng)地學(xué)習(xí)和發(fā)現(xiàn)復(fù)雜模式和規(guī)律。2012年，辛頓等人結(jié)合 GPU硬件的能力設(shè)計(jì)出著名的 AlexNet神經(jīng)網(wǎng)絡(luò)架構(gòu)，經(jīng)過(guò)在當(dāng)時(shí)剛發(fā)布不久的lmageNet大規(guī)模數(shù)據(jù)集上訓(xùn)練，應(yīng)用于計(jì)算機(jī)視覺任務(wù)上，取得了令人驚嘆的性能優(yōu)勢(shì)，展現(xiàn)了深度學(xué)習(xí)的強(qiáng)大。人工智能有了“數(shù)據(jù)、算法、算力”三駕馬車的拉動(dòng)，開始加速前行。2016年 AlphaGo橫空出世，其融合了連接主義和行為主義算法的思想，利用深度強(qiáng)化學(xué)習(xí)成功優(yōu)化了圍棋策略，戰(zhàn)勝圍棋世界冠軍李世石，展示了人工智能在復(fù)雜領(lǐng)域中的超越人類的能力。   

新一代技術(shù):2017年，Google提出基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Transformer，能夠高效學(xué)習(xí)和處理序列數(shù)據(jù)，在自然語(yǔ)言處理領(lǐng)域引起了巨大的影響。2020年，OpenAI基于 Transformer 訓(xùn)練了 1750億參數(shù)的 GPT-3 大語(yǔ)言模型，在文本生成和語(yǔ)言理解方面展現(xiàn)了極強(qiáng)的表達(dá)能力和泛化能力。接著，2022年底，OpenAI基于GPT-3.5大模型推出ChatGPT聊天服務(wù)，上線2個(gè)月，月活過(guò)1億。2023年，2023年，OpenAI相繼推出GPT4 語(yǔ)言大模型和 GPT-4V/t 多模態(tài)大模型，標(biāo)志著人類科技邁向通用人工智能成為可能。我國(guó)在人工智能領(lǐng)域，人才技術(shù)、算力數(shù)據(jù)、產(chǎn)業(yè)配套等方面都正在如火如茶地發(fā)展。大模型領(lǐng)域，近兩年已有推出超過(guò)百余個(gè)大模型，華為、百度、科大訊飛等分別推出了盤古、文心、星火等大模型，整體生態(tài)呈現(xiàn)百花齊放之勢(shì)。

1.2 ?？低暤娜斯ぶ悄苤?/p>

?？低暢闪⒂?2001年，從研發(fā)視頻壓縮板卡起步，歷經(jīng)二十余年的發(fā)展，一步步突破“視頻監(jiān)控”、“綜合安防”的業(yè)務(wù)邊界，現(xiàn)在將業(yè)務(wù)領(lǐng)域定位為“智能物聯(lián)AIoT”在這個(gè)過(guò)程中，人工智能技術(shù)一直是海康威視的核心技術(shù)之一。早在 2006年，面對(duì)行業(yè)日益增長(zhǎng)的視頻分析智能化需求，?？低暰徒M建了算法團(tuán)隊(duì)，開始了人工智能算法的研究，并發(fā)布了一系列行業(yè)智能產(chǎn)品，包括商業(yè)的客流統(tǒng)計(jì)、交通的車牌識(shí)別、金融的 ATM 防護(hù)等產(chǎn)品。從這年開始，?？低曉谌斯ぶ悄茴I(lǐng)域不斷加大投入，持續(xù)跟蹤和實(shí)踐學(xué)界業(yè)界的人工智能技術(shù)研究。   

2012年，隨著深度學(xué)習(xí)技術(shù)的進(jìn)一步突破，海康威視抓住機(jī)會(huì)，快速布局，研發(fā)了基于深度學(xué)習(xí)的人臉識(shí)別、車牌識(shí)別、視頻結(jié)構(gòu)化、行為分析等技術(shù)，率先將深度學(xué)習(xí)技術(shù)落地于行業(yè)應(yīng)用中。到2015年，?？低曉谕袠I(yè)率先推出了基于GPU 和深度學(xué)習(xí)技術(shù)的視頻結(jié)構(gòu)化服務(wù)器和車輛圖片結(jié)構(gòu)化服務(wù)器，憑借對(duì)AI在視頻領(lǐng)域的應(yīng)用經(jīng)驗(yàn)及產(chǎn)品集成能力，將搭載人工智能技術(shù)的智能化產(chǎn)品快速落地應(yīng)用，引領(lǐng)了智能安防乃至智能物聯(lián)產(chǎn)業(yè)的發(fā)展。

2016年，?？低曆芯吭簣F(tuán)隊(duì)在ImageNet大規(guī)模圖像識(shí)別競(jìng)賽中奪得場(chǎng)景分類第名，并在此后多次奪得 PASCALVOC、KITTI、Momentsin Time 等三十余項(xiàng)國(guó)際學(xué)術(shù)競(jìng)賽的冠軍。與此同時(shí)，在產(chǎn)品端，越來(lái)越多基于人工智能技術(shù)的產(chǎn)品被不斷推出，如海康超腦系列 NVR、?？瞪癫吨悄芙煌ㄏ盗挟a(chǎn)品、人臉?lè)治龇?wù)器系列產(chǎn)品等。2015、2016約兩年時(shí)間，海康威視形成了全系列的智能產(chǎn)品家族并持續(xù)不斷擴(kuò)展智能產(chǎn)品體系

隨著人工智能技術(shù)不斷進(jìn)步，市場(chǎng)參與者廣泛涌入，AI產(chǎn)業(yè)落地成為焦點(diǎn)。海康威視除了在技術(shù)、產(chǎn)品端持續(xù)發(fā)力，也搭建了人工智能產(chǎn)業(yè)落地體系。2017年，海康威視發(fā)布AICloud 架構(gòu)，融入了“云邊融合”的理念，由“邊緣節(jié)點(diǎn)、邊緣域、云中心”三層架構(gòu)組成，拓展出將傳統(tǒng)信息化、設(shè)備設(shè)施物聯(lián)、場(chǎng)景智能物聯(lián)融于一體的數(shù)字化解決方案，為 AI落地應(yīng)用提供了有益的行業(yè)實(shí)踐。

?？低暶鎸?duì)的行業(yè)需求一直都呈現(xiàn)碎片化、場(chǎng)景化、個(gè)性化的特征。為了更好滿足各行各業(yè)用戶多種多樣的 AI應(yīng)用需求，2018年開始，海康威視推出了 AI開放平臺(tái)，致力于幫助零算法基礎(chǔ)的客戶開發(fā)自己行業(yè)的智能算法,讓各行業(yè)從業(yè)者擁有專屬智能硬件產(chǎn)品和解決方案。2019年8月，科技部授予?？低旳I開放平臺(tái)“視頻感知”國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)的稱號(hào)，發(fā)揮?？低曉诟兄悄芎虯I應(yīng)用方面的優(yōu)勢(shì)，促進(jìn)視頻感知技術(shù)與產(chǎn)業(yè)應(yīng)用深度融合。隨著人工智能與產(chǎn)業(yè)融合加深，AI開放平臺(tái)已經(jīng)成為了新型基礎(chǔ)設(shè)施的重要組成部分。在?？低曀诘闹悄芪锫?lián)領(lǐng)域，碎片化 AI需求日益增長(zhǎng)的同時(shí)，?？低曇苍诓粩嗌?jí)AI開放平臺(tái)，在全面感知、認(rèn)知計(jì)算、大模型基座等領(lǐng)域拓展 AI開放平臺(tái)的能力，并向外界開放賦能。   

不只發(fā)力 AI技術(shù)、產(chǎn)品，?？低曔€在同步強(qiáng)化工程化能力。自 2019年開始，?？低暢掷m(xù)完善AI工程化服務(wù)體系，組建專業(yè)團(tuán)隊(duì)，為用戶提供一系列智能方案的落地保障，并通過(guò)培訓(xùn)合作伙伴等方式，共同開拓AI在各領(lǐng)域場(chǎng)景的應(yīng)用。2022年，海康威視AI工程化服務(wù)助力打造了一系列智能模型，覆蓋作業(yè)合規(guī)、輔助自動(dòng)化、倉(cāng)儲(chǔ)管理、物料盤點(diǎn)、門店零售等通用性業(yè)務(wù)場(chǎng)景，幫助用戶有效實(shí)現(xiàn)隱患排查、效率提升等業(yè)務(wù)管理目標(biāo)。隨著AI應(yīng)用場(chǎng)景不斷涌現(xiàn)，截至2023年6月，AI開放平臺(tái)的企業(yè)用戶數(shù)從8.000余家快速增加到 20.000 余家。

2021年新年伊始，?？低曊絾?dòng)了大規(guī)模預(yù)訓(xùn)練模型相關(guān)的研發(fā)工作。隨著?？低暣竽Ｐ拖嚓P(guān)技術(shù)的產(chǎn)業(yè)應(yīng)用鋪開，千行百業(yè)將享受到大模型帶來(lái)的技術(shù)紅利。

這篇技術(shù)白皮書立足?？低晫?duì)于人工智能和大模型發(fā)展的認(rèn)知和實(shí)踐，探討如何在物聯(lián)網(wǎng)世界中更好應(yīng)用大模型技術(shù)，期望依托人工智能和大模型技術(shù)，以創(chuàng)新的智能物聯(lián)應(yīng)用建設(shè)便捷、高效、安心的智能世界，助力人人享有美好未來(lái).

第二章觀瀾大模型體系

海康威視觀瀾大模型的名字源自《孟子·盡心上》，所謂“觀水有術(shù)，必觀其瀾”“觀瀾”寓意盡心知命，追本溯源，了解事物的根本。觀瀾大模型源于產(chǎn)業(yè)，用于產(chǎn)業(yè)，期望通過(guò)強(qiáng)大的智能基礎(chǔ)能力，洞察萬(wàn)物的狀態(tài)和規(guī)律，幫助物理世界和數(shù)字世界實(shí)現(xiàn)更好地鏈接，推動(dòng)社會(huì)、產(chǎn)業(yè)和生活的智能化發(fā)展。

2.1人工智能落地應(yīng)用面臨的挑戰(zhàn)

在正式介紹觀瀾大模型架構(gòu)之前，不妨讓我們先回到技術(shù)大時(shí)代與產(chǎn)業(yè)大轉(zhuǎn)型交匯的十字路口，向內(nèi)審視一下人工智能在行業(yè)應(yīng)用中的問(wèn)題。   

智能產(chǎn)業(yè)發(fā)展至今，業(yè)界普遍認(rèn)為“數(shù)據(jù)、算法、算力”構(gòu)成了人工智能的三大要素。這三大要素共同推動(dòng)了人工智能第三次浪潮的蓬勃發(fā)展，根據(jù)IDC統(tǒng)計(jì)數(shù)據(jù)顯示，預(yù)計(jì)2026年，中國(guó)人工智能軟件及應(yīng)用市場(chǎng)規(guī)模將會(huì)達(dá)到211億美元，各行業(yè)的需求正大力推進(jìn) AI的發(fā)展，將推動(dòng)市場(chǎng)的持續(xù)增長(zhǎng)。

然而，在人工智能賦能各行各業(yè)的過(guò)程中，這三大要素均遭遇了一系列的挑戰(zhàn):數(shù)據(jù)的依賴性:深度學(xué)習(xí)以大數(shù)據(jù)為驅(qū)動(dòng)是當(dāng)前人工智能行業(yè)的共識(shí)。在行業(yè)應(yīng)用中，下游業(yè)務(wù)啟動(dòng)前的數(shù)據(jù)采集往往是比較困難的，同時(shí)傳統(tǒng)監(jiān)督式深度學(xué)習(xí)還需要預(yù)先對(duì)數(shù)據(jù)進(jìn)行精細(xì)標(biāo)定，以上兩項(xiàng)會(huì)帶來(lái)高昂的數(shù)據(jù)成本。

傳統(tǒng)深度學(xué)習(xí)的局限性:深度學(xué)習(xí)算法優(yōu)秀的性能已被市場(chǎng)所接受，但隨著行業(yè)應(yīng)用的深入，場(chǎng)景變得多元化、復(fù)雜化，算法領(lǐng)域面臨以下幾個(gè)問(wèn)題:

泛化能力不足。例如，一個(gè)僅使用白天采集的車輛數(shù)據(jù)訓(xùn)練出來(lái)的檢測(cè)模型，在夜晚使用時(shí)性能就會(huì)大打折扣。傳統(tǒng)的深度學(xué)習(xí)往往難以兼顧這些場(chǎng)景差異性，導(dǎo)致不得不為每一個(gè)場(chǎng)景量身定制模型。

傳統(tǒng)結(jié)構(gòu)出現(xiàn)性能天花板。傳統(tǒng)深度學(xué)習(xí)結(jié)構(gòu)，如CNN、RNN、LSTM等，關(guān)注于感知輸入信號(hào)的局部信息，對(duì)知識(shí)的容量有限，數(shù)據(jù)規(guī)模和模態(tài)種類持續(xù)增加帶來(lái)的邊際效益下降。

缺乏推理與認(rèn)知能力。傳統(tǒng)深度學(xué)習(xí)以監(jiān)督學(xué)習(xí)方法為主，其基本原理是訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)擬合監(jiān)督標(biāo)簽，無(wú)法形成邏輯認(rèn)知。對(duì)于沒(méi)有見過(guò)的新任務(wù)或復(fù)雜的業(yè)務(wù)邏輯均需要重標(biāo)重訓(xùn)或手工排程。

算力的成本問(wèn)題:模型的訓(xùn)練和部署往往需要大量的存儲(chǔ)和計(jì)算資源，這也帶來(lái)了巨大的成本壓力。對(duì)于許多希望利用 AI技術(shù)的企業(yè)來(lái)說(shuō)，這樣的成本仍是一大制約。

面對(duì)以上各種挑戰(zhàn)和不足，海康威視大模型技術(shù)能夠有效突破人工智能產(chǎn)業(yè)落地過(guò)程中面對(duì)的瓶頸。海康威視豐富的的多維感知能力能夠幫助行業(yè)客戶獲取更全面、更精細(xì)的業(yè)務(wù)數(shù)據(jù)，同時(shí)大模型通過(guò)自監(jiān)督學(xué)習(xí)可在無(wú)標(biāo)注數(shù)據(jù)中學(xué)習(xí)獲取大量“知識(shí)”，可有效緩解數(shù)據(jù)依賴問(wèn)題;預(yù)訓(xùn)練過(guò)程本身能夠大幅增加人工智能的小樣本學(xué)習(xí)能力和泛化能力;通過(guò)感知能力與語(yǔ)言能力的融合，使得大模型具備了強(qiáng)大的理解能力和認(rèn)知推理能力。我們認(rèn)為，大模型的這些優(yōu)點(diǎn)，將進(jìn)一步推動(dòng)人工智能技術(shù)在產(chǎn)業(yè)數(shù)字化進(jìn)程中深入落地應(yīng)用。   

目前，?？低暯?jīng)過(guò)近三年的努力，已經(jīng)構(gòu)建了一套完整的觀瀾大模型技術(shù)體系，同時(shí)在多維感知、模型精簡(jiǎn)、大規(guī)模平臺(tái)軟件等領(lǐng)域也積累了充分的技術(shù)能力，由此構(gòu)建的產(chǎn)品及解決方案，將能夠幫助各行各業(yè)的用戶快速落地智能應(yīng)用，提升自身競(jìng)爭(zhēng)力。

2.2 觀瀾大模型架構(gòu)

觀瀾大模型整體分為三級(jí)架構(gòu)，分別為基礎(chǔ)大模型、行業(yè)大模型和任務(wù)模型基礎(chǔ)大模型:基礎(chǔ)大模型吸收了海量數(shù)據(jù)的知識(shí)，具有參數(shù)量大、高可泛化、性能優(yōu)異等特點(diǎn)。根據(jù)輸入模態(tài)的不同，基礎(chǔ)大模型可分為視覺大模型、音頻大模型、語(yǔ)言大模型、多模態(tài)大模型等?；诤？低曉谥悄芪锫?lián)領(lǐng)域的積累和優(yōu)勢(shì)，我們還開發(fā)了光纖大模型、X光大模型等物聯(lián)感知領(lǐng)域的基礎(chǔ)大模型，提升物聯(lián)空間的智能感知能力。

行業(yè)大模型:行業(yè)大模型是在基礎(chǔ)大模型的基礎(chǔ)上，利用行業(yè)數(shù)據(jù)進(jìn)一步預(yù)訓(xùn)練和微調(diào)而成，在針對(duì)性行業(yè)領(lǐng)域內(nèi)具有專家級(jí)別的能力，進(jìn)行適當(dāng)?shù)膲嚎s加速后可在云中心和邊緣側(cè)進(jìn)行推理應(yīng)用。?？低暚F(xiàn)有行業(yè)大模型包括電力大模型、公路大模型、煤礦大模型、水利大模型、零售大模型、軌道大模型、工業(yè)制造大模型、城管大模型等。   

任務(wù)模型:任務(wù)模型專注于某個(gè)具體的場(chǎng)景或業(yè)務(wù)，是大模型能力落地的重要方式。任務(wù)模型的形態(tài)多種多樣，根據(jù)用戶不同的需求，基于行業(yè)大模型進(jìn)行針對(duì)性的優(yōu)化工作，使得模型可以在云上部署(較大的任務(wù)模型)或邊端部署(較小的任務(wù)模型)，實(shí)現(xiàn)云邊端一體方案，在各級(jí)平臺(tái)上為客戶提供高性價(jià)比模型方案。?？低暤奶厣蝿?wù)模型包括表計(jì)巡檢、皮帶巡檢、商品陳列檢測(cè)、門店巡檢、生產(chǎn)運(yùn)行異常檢測(cè)、交通事件檢測(cè)、收費(fèi)車型識(shí)別、路面病害識(shí)別、水面漂浮物識(shí)別、施工機(jī)械識(shí)別、市容秩序巡查、垃圾分類檢測(cè)等。

2.3 觀瀾基礎(chǔ)大模型家族

2.3.1視覺大模型

計(jì)算機(jī)視覺是深度學(xué)習(xí)技術(shù)發(fā)展的核心領(lǐng)域之一，視覺數(shù)據(jù)在物聯(lián)網(wǎng)空間中占到大約80%的數(shù)據(jù)量。在實(shí)際應(yīng)用場(chǎng)景中，傳統(tǒng)深度學(xué)習(xí)模型往往存在數(shù)據(jù)依賴和場(chǎng)景泛化等難題，需要多次采集現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行迭代優(yōu)化，實(shí)施成本高且周期長(zhǎng)，泛化能力依然局限于數(shù)據(jù)覆蓋的場(chǎng)景。

預(yù)訓(xùn)練技術(shù)是提升模型場(chǎng)景泛化能力，降低下游任務(wù)數(shù)據(jù)依賴的核心手段。深度學(xué)習(xí)技術(shù)誕生以來(lái)，ImageNetCOC0 數(shù)據(jù)集預(yù)訓(xùn)練+下游任務(wù)微調(diào)一直是深度學(xué)習(xí)技術(shù)應(yīng)用的主流范式。這是由于預(yù)訓(xùn)練時(shí)學(xué)到了豐富的可遷移特征，能夠被不同類型的下游任務(wù)廣泛復(fù)用。   

隨著任務(wù)越來(lái)越復(fù)雜，場(chǎng)景越來(lái)越豐富，百萬(wàn)級(jí)規(guī)模預(yù)訓(xùn)練數(shù)據(jù)集的模型性能已經(jīng)難以滿足用戶需求。同時(shí)，受自然語(yǔ)言處理領(lǐng)域大語(yǔ)言模型進(jìn)展的啟發(fā)，探索合適的視覺大模型預(yù)訓(xùn)練算法，通過(guò)進(jìn)一步放大視覺模型容量、訓(xùn)練數(shù)據(jù)規(guī)模來(lái)獲得更強(qiáng)的視覺能力成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。

自2021年以來(lái)，工業(yè)界、學(xué)術(shù)界在視覺大模型領(lǐng)域取得了顯著的進(jìn)展，預(yù)訓(xùn)練數(shù)據(jù)集的規(guī)模達(dá)到百億、模型訓(xùn)練參數(shù)達(dá)到百億。目前已經(jīng)驗(yàn)證成功的視覺模型預(yù)訓(xùn)練方式有三種:有監(jiān)督預(yù)訓(xùn)練、多模態(tài)預(yù)訓(xùn)練和自監(jiān)督預(yù)訓(xùn)練。有監(jiān)督預(yù)訓(xùn)練的代表性工作是ViT-22B，其使用Google內(nèi)部構(gòu)建的多標(biāo)簽圖像分類數(shù)據(jù)集JFT-4B進(jìn)行有監(jiān)督預(yù)訓(xùn)練，其優(yōu)勢(shì)在于學(xué)習(xí)效率高，是傳統(tǒng)預(yù)訓(xùn)練方式的直接擴(kuò)展，缺點(diǎn)在于對(duì)標(biāo)簽強(qiáng)依賴，而有標(biāo)簽數(shù)據(jù)集的構(gòu)建成本非常高。多模態(tài)預(yù)訓(xùn)練的代表性工作是CLIP，其使用互聯(lián)網(wǎng)上爬取的4億圖文數(shù)據(jù)對(duì)，利用圖文對(duì)比學(xué)習(xí)的方式進(jìn)行預(yù)訓(xùn)練，其優(yōu)勢(shì)在于利用與圖像匹配的文本作為監(jiān)督信號(hào)進(jìn)行學(xué)習(xí)，降低了對(duì)標(biāo)簽的依賴，同時(shí)極大豐富了用于預(yù)訓(xùn)練的視覺概念數(shù)量。自監(jiān)督預(yù)訓(xùn)練的代表性工作是MAE，其使用無(wú)標(biāo)簽圖像數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，不需要任何人工標(biāo)定的監(jiān)督信息，最大程度上降低了對(duì)標(biāo)簽的依賴。依靠超大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的視覺大模型，編碼海量的視覺知識(shí)，能夠非常好地解決場(chǎng)景泛化問(wèn)題，為通用視覺模型鋪平了道路。

?？低曌?2021年初開始投入視覺大模型的研發(fā)，視覺大模型方案吸收了自監(jiān)督預(yù)訓(xùn)練和多模態(tài)預(yù)訓(xùn)練兩種方式的優(yōu)點(diǎn)，從數(shù)據(jù)治理、模型結(jié)構(gòu)、預(yù)訓(xùn)練算法、分布式訓(xùn)練算法等維度進(jìn)行創(chuàng)新，能夠以更小的算力成本、更高的樣本效率獲得業(yè)內(nèi)領(lǐng)先的預(yù)訓(xùn)練性能

數(shù)據(jù)治理:互聯(lián)網(wǎng)的公開數(shù)據(jù)存在數(shù)據(jù)噪聲、數(shù)據(jù)重復(fù)、長(zhǎng)尾分布、語(yǔ)義截?cái)嗟纫幌盗薪蒂|(zhì)問(wèn)題，會(huì)嚴(yán)重影響最終模型的性能，并帶來(lái)算力的極大浪費(fèi)。?？低曉谝曈X大模型探索過(guò)程中，通過(guò)去重去噪、概念均衡、語(yǔ)義擴(kuò)充等方式，形成了一套完善的自動(dòng)化數(shù)據(jù)治理流程，顯著提升了數(shù)據(jù)質(zhì)量，最終保留了數(shù)十億高質(zhì)量樣本數(shù)據(jù)。實(shí)驗(yàn)表明，僅使用原始數(shù)據(jù)規(guī)模 20%的高質(zhì)量數(shù)據(jù)，相比全量數(shù)據(jù)獲得了超過(guò)8%的性能提升。模型結(jié)構(gòu):大模型的訓(xùn)練穩(wěn)定性問(wèn)題是超大規(guī)模預(yù)訓(xùn)練的核心難點(diǎn)。海康威視將NLP領(lǐng)域的模型結(jié)構(gòu)和訓(xùn)練技術(shù)引入到視覺模型中，能夠顯著改善模型的激活流和梯度流穩(wěn)定性，并獲得更高的泛化性能，從模型結(jié)構(gòu)設(shè)計(jì)的角度提升了大模型的訓(xùn)練穩(wěn)定性。   

預(yù)訓(xùn)練算法:在預(yù)訓(xùn)練算法方面，?？低曌匝辛私y(tǒng)一模態(tài)學(xué)習(xí)方案，通過(guò)自監(jiān)督預(yù)訓(xùn)練挖掘視覺信號(hào)的結(jié)構(gòu)信息，通過(guò)多模態(tài)預(yù)訓(xùn)練挖掘視覺信號(hào)的語(yǔ)義信息，同時(shí)基于統(tǒng)一解碼器引入細(xì)粒度監(jiān)督信息，形成圖像級(jí)、區(qū)域級(jí)和像素級(jí)的高質(zhì)量視覺表征，同時(shí)包含細(xì)粒度識(shí)別、精細(xì)定位、OCR 等豐富的能力。

目前觀瀾視覺大模型已經(jīng)在開放平臺(tái)、云眸、視頻結(jié)構(gòu)化、周界等各類平臺(tái)和產(chǎn)品中得到廣泛應(yīng)用，并產(chǎn)生了顯著的收益。

在內(nèi)部構(gòu)造的多行業(yè)最多 200張訓(xùn)練樣本的泛化任務(wù)上，觀瀾視覺大模型在同場(chǎng)景上的性能上限和跨場(chǎng)景上的泛化性能都有明顯提升:其中同場(chǎng)景測(cè)試集性能相對(duì)提升達(dá)18.9%，跨場(chǎng)景測(cè)試集性能相對(duì)提升達(dá)63.8%，體現(xiàn)了大模型的跨場(chǎng)景泛化通用性，業(yè)務(wù)的逐場(chǎng)景定制需求大幅減少。   

再例如對(duì)于跨場(chǎng)景泛化性仍然不滿足工業(yè)應(yīng)用紅線的業(yè)務(wù)，可以通過(guò)提供少量該場(chǎng)景下的標(biāo)定樣本進(jìn)行微調(diào)的方式，快速提升大模型在該場(chǎng)景的性能。下圖展示了10個(gè)任務(wù)上小模型全量樣本(4萬(wàn)張以上數(shù)據(jù)量)訓(xùn)練和大模型小樣本訓(xùn)練的平均性能對(duì)比。受益于超大規(guī)模預(yù)訓(xùn)練過(guò)程中學(xué)習(xí)的豐富的可遷移知識(shí)，視覺大模型相比業(yè)務(wù)小模型，僅需要原來(lái) 10%以內(nèi)的數(shù)據(jù)，就可以在跨場(chǎng)景情況下超過(guò)小模型使用全量數(shù)據(jù)的性能，從而顯著降低了模型定制的成本。2.3.2音頻大模型

音頻是深度學(xué)習(xí)技術(shù)發(fā)展的核心領(lǐng)域之一，在實(shí)際應(yīng)用場(chǎng)景中，基于深度學(xué)習(xí)的算法訓(xùn)練對(duì)業(yè)務(wù)場(chǎng)景數(shù)據(jù)依賴性高，帶來(lái)訓(xùn)練周期長(zhǎng)，標(biāo)定成本高，模型泛化性不足的問(wèn)題。2019年以來(lái)，預(yù)訓(xùn)練技術(shù)在音頻智能領(lǐng)域蓬勃發(fā)展，其中自監(jiān)督預(yù)訓(xùn)練技術(shù)不依賴海量音頻標(biāo)注數(shù)據(jù)，極大降低了訓(xùn)練門檻。預(yù)訓(xùn)練大模型+下游任務(wù)微調(diào)技術(shù)，在語(yǔ)音識(shí)別、音頻分類等技術(shù)領(lǐng)域廣泛應(yīng)用，并取得超過(guò)傳統(tǒng)深度學(xué)習(xí)模型性能。2021年微軟發(fā)布的語(yǔ)音預(yù)訓(xùn)練模型 WavLM 在 SUPERB 所有 13 項(xiàng)語(yǔ)音任務(wù)測(cè)評(píng)中超過(guò)先前所有模型，在多個(gè)語(yǔ)音任務(wù)中取得最佳性能。2022年后，工業(yè)界、學(xué)術(shù)界在音頻大模型領(lǐng)域取得了顯著進(jìn)展音頻大模型訓(xùn)練數(shù)據(jù)規(guī)模達(dá)千萬(wàn)小時(shí)，模型參數(shù)達(dá)十億級(jí)，典型模型如 OpenAI發(fā)布的Whisper，Google 發(fā)布的 USM 等。   

音頻大模型的優(yōu)勢(shì)是，可以支持不同類型語(yǔ)言、不同類型任務(wù)，并具備較好泛化能力。隨著音頻大模型的發(fā)展，單一模型多語(yǔ)言識(shí)別能力提升明顯，比如Whisper 支持近百種語(yǔ)言識(shí)別;音頻大模型往往支持多個(gè)語(yǔ)音任務(wù)，包含語(yǔ)音識(shí)別、語(yǔ)音翻譯、情感識(shí)別、語(yǔ)音合成、音頻分類等，典型模型如 AudioPaLM、LAURAGPT等，能很好地解決因任務(wù)特性不同導(dǎo)致模型結(jié)構(gòu)不統(tǒng)一的問(wèn)題;音頻大模型提供強(qiáng)大的音頻信息抽取能力，依托大語(yǔ)言模型強(qiáng)大的推理能力，能更好解決復(fù)雜場(chǎng)景開放式音頻理解問(wèn)題，成為當(dāng)前重要的發(fā)展方向。

?？低曌?2022年初開始投入音頻大模型的研發(fā)，觀瀾音頻大模型設(shè)計(jì)參數(shù)十億級(jí)，訓(xùn)練數(shù)據(jù)達(dá)百萬(wàn)小時(shí)，構(gòu)建了一套完整的數(shù)據(jù)清洗、治理和標(biāo)定流程，采用自監(jiān)督預(yù)訓(xùn)練方式和基于 Transformer 的 Encoder-Decoder 網(wǎng)絡(luò)架構(gòu)，通過(guò)分布式方式優(yōu)化訓(xùn)練速度，模型訓(xùn)練成本節(jié)約 30%。自主訓(xùn)練的音頻大模型，在英文識(shí)別、中英文自由說(shuō)識(shí)別場(chǎng)景取得顯著的性能提升。此外，?？低暬谝纛l大模型和高質(zhì)量工業(yè)場(chǎng)景數(shù)據(jù)做SFT訓(xùn)練，發(fā)布了工業(yè)場(chǎng)景行業(yè)大模型，專注音頻檢測(cè)分類領(lǐng)域，目前在電力、能源等設(shè)備異常檢測(cè)場(chǎng)景落地應(yīng)用。2.3.3語(yǔ)言大模型    

人類語(yǔ)言(又稱自然語(yǔ)言)具有歧義性、抽象性、語(yǔ)義組合性和進(jìn)化性等特點(diǎn)，自然語(yǔ)言理解被譽(yù)為“人工智能皇冠上的明珠”，理解語(yǔ)言能夠幫助機(jī)器掌握知識(shí)和推理等認(rèn)知能力。

自 2018年開始，為解決深度學(xué)習(xí)型需要大量標(biāo)注數(shù)據(jù)的問(wèn)題，自然語(yǔ)言理解全面轉(zhuǎn)向基于預(yù)訓(xùn)練模型的方法，其突出特點(diǎn)是充分利用大模型、大數(shù)據(jù)和大計(jì)算以求更好效果。但當(dāng)時(shí)的預(yù)訓(xùn)練模型并不能真正克服深度學(xué)習(xí)模型魯棒性差、推理能力缺失的問(wèn)題，在深層次語(yǔ)義理解和生成上與人類認(rèn)知水平還相去甚遠(yuǎn)，直到 ChatGPT 出現(xiàn)，使人們看到了解決自然語(yǔ)言處理這一認(rèn)知智能核心問(wèn)題的一條可能的路徑。

GPT 系列模型區(qū)別于以往的預(yù)訓(xùn)練模型，其特性主要體現(xiàn)四個(gè)方面:知識(shí)壓縮、涌現(xiàn)、推理能力以及對(duì)齊。其中壓縮能力體現(xiàn)在語(yǔ)言大模型通過(guò)對(duì)海量文本的學(xué)習(xí)，實(shí)現(xiàn)對(duì)知識(shí)的壓縮和整合:涌現(xiàn)則是模型達(dá)到一定規(guī)模后，涌現(xiàn)出預(yù)料之外的能力，模型泛化性大幅增強(qiáng)，數(shù)據(jù)的邊際效應(yīng)擴(kuò)大。GPT系列模型實(shí)現(xiàn)與人類意圖與價(jià)值觀的對(duì)齊，并通過(guò)思維鏈可以釋放復(fù)雜推理能力，實(shí)現(xiàn)智能能力的階躍。

觀瀾語(yǔ)言大模型的訓(xùn)練主要分為三個(gè)步驟:預(yù)訓(xùn)練、有監(jiān)督微調(diào)、基于人類反饋的強(qiáng)化學(xué)習(xí)。         
預(yù)訓(xùn)練，教給模型知識(shí)。從海量?jī)?yōu)質(zhì)數(shù)據(jù)中抽取出短語(yǔ)(詞組或一句話)，要求語(yǔ)言模型學(xué)會(huì)預(yù)測(cè)接下來(lái)的一個(gè)詞。這種訓(xùn)練模式結(jié)合參數(shù)規(guī)模巨大的 Transfommer 模型，幫助模型積累廣泛的知識(shí)。海康威視構(gòu)建以數(shù)據(jù)質(zhì)量為核心的數(shù)據(jù)治理系統(tǒng)，積累數(shù)萬(wàn)億token數(shù)量的優(yōu)質(zhì)文本數(shù)據(jù)，覆蓋自然科學(xué)、計(jì)算機(jī)、社會(huì)文化、經(jīng)濟(jì)和教育等多個(gè)領(lǐng)域，具備行業(yè)一流水平。觀瀾語(yǔ)言大模型針對(duì)特定行業(yè)進(jìn)行重點(diǎn)優(yōu)化，在通用模型的基礎(chǔ)上進(jìn)行持續(xù)預(yù)訓(xùn)練，為基礎(chǔ)模型注入更專業(yè)的行業(yè)知識(shí)。?？低曌匝写竽Ｐ颓Эú⑿杏?xùn)練框架在 GPU有效利用率上達(dá)到58%，具備一流的行業(yè)競(jìng)爭(zhēng)力。   

有監(jiān)督微調(diào)，教會(huì)模型理解意圖。監(jiān)督微調(diào)階段，數(shù)據(jù)的難度與多樣性是關(guān)鍵，?？低暰邆渖詈竦男袠I(yè)經(jīng)驗(yàn)，包括行業(yè)需求、行業(yè)數(shù)據(jù)以及行業(yè)專家等資源，為微調(diào)語(yǔ)言大模型提供肥沃的土壤。有監(jiān)督微調(diào)利用行業(yè)專家設(shè)計(jì)的多樣行業(yè)任務(wù)，讓模型統(tǒng)一以問(wèn)答方式來(lái)學(xué)習(xí)完成。問(wèn)答任務(wù)直接可以用“給上文、補(bǔ)下文”方式實(shí)現(xiàn)，還可以在上文中加上提示。以翻譯為例，除了告訴模型需要翻譯的內(nèi)容外，還要指示模型翻譯成哪種目標(biāo)語(yǔ)言。這一步提示學(xué)習(xí)完成之后，模型即已博覽群書而胸有成竹，又能領(lǐng)會(huì)意圖而對(duì)答如流，已處于基本可用的狀態(tài)。目前基于觀瀾語(yǔ)言大模型發(fā)展的行業(yè)級(jí)大模型已經(jīng)在水利、客服、辦公等領(lǐng)域進(jìn)行落地應(yīng)用。

強(qiáng)化學(xué)習(xí)，教會(huì)模型反饋擇優(yōu)。語(yǔ)言大模型可能會(huì)生成帶有偏見、歧視或者令人不適的回答。對(duì)于同一個(gè)問(wèn)題，模型能夠生成多個(gè)不同的回答。?？低晱挠杏眯院桶踩越嵌瘸霭l(fā)，提升了回答質(zhì)量排序的一致性，以此訓(xùn)練得到更加穩(wěn)定有效的獎(jiǎng)勵(lì)模型，然后采用強(qiáng)化學(xué)習(xí)算法進(jìn)一步調(diào)整語(yǔ)言大模型，使其輸出更符合人們期望的回答，達(dá)到與人們期望對(duì)齊的效果。?？低曉谧匝姓Z(yǔ)言大模型過(guò)程中，始終將安全可靠作為重要標(biāo)準(zhǔn)，在事實(shí)性回答、安全內(nèi)容生成方面，經(jīng)過(guò)強(qiáng)化學(xué)習(xí)后的模型顯著超過(guò)提示精調(diào)的模型。   

2.3.4多模態(tài)大模型

觀瀾多模態(tài)大模型在視覺、音頻、文本三大基礎(chǔ)模態(tài)之外，還關(guān)聯(lián)了其它多源異構(gòu)的模態(tài)信息，包括但不限于激光雷達(dá)信號(hào)、毫米波雷達(dá)信號(hào)、光纖信號(hào)、X光信號(hào)等。在統(tǒng)一的嵌入空間中，模型通過(guò)對(duì)兩類或兩類以上不同來(lái)源的信號(hào)模態(tài)的融合學(xué)習(xí)，衍生出用于解決各種基礎(chǔ)問(wèn)題的多模態(tài)模型。接下來(lái)我們將舉例介紹兩種觀瀾多模態(tài)大模型技術(shù)。圖文多模態(tài)大模型:圖文多模態(tài)大模型是在大語(yǔ)言模型的基礎(chǔ)上，使用圖文多模態(tài)數(shù)據(jù)進(jìn)行持續(xù)預(yù)訓(xùn)練，獲得視覺感知和視覺認(rèn)知能力，同時(shí)保持在文本任務(wù)上的性能。傳統(tǒng)的視覺感知模型聚焦于完成從像素到語(yǔ)義的映射，在對(duì)視覺信號(hào)的解構(gòu)過(guò)程中無(wú)法很好地結(jié)合人類在各個(gè)領(lǐng)域積累的知識(shí)。同時(shí)，僅基于視覺表觀信息的泛化能力容易受到開放世界中對(duì)抗性樣本的干擾，導(dǎo)致模型魯棒性不足。圖文多模態(tài)大模型在大語(yǔ)言模型積累的豐富世界知識(shí)基礎(chǔ)上，將像素、語(yǔ)義、知識(shí)三要索緊密融合，不僅具有很強(qiáng)的視覺認(rèn)知能力，同時(shí)也能獲得更魯棒的視覺感知能力。受益于圖文多模態(tài)大模型強(qiáng)大的感知能力和跨任務(wù)泛化能力，視覺智能業(yè)務(wù)的應(yīng)用門檻將被顯著降低:用戶只需要提供圖像，并根據(jù)自身的業(yè)務(wù)需求調(diào)整輸入的指令，模型即能夠根據(jù)指令實(shí)現(xiàn)對(duì)圖像的理解，利用感知到的信息端到端地完成用戶的需求。   

海康威視對(duì)于圖文多模態(tài)大模型的投入較早，積累較多。有豐富的多模態(tài)訓(xùn)練數(shù)據(jù)，并完成了相關(guān)能力的驗(yàn)證，成功觀察到圖文多模態(tài)大模型的縮放定律和部分視覺認(rèn)知方面的能力。

雷視多模態(tài)大模型:在智能交通領(lǐng)域，?？低暲煤撩撞ɡ走_(dá)和高清攝像機(jī)，積累了數(shù)百萬(wàn)段雷視感知片段，并構(gòu)建了同時(shí)感知空間物理信息與圖像語(yǔ)義信息的雷視融合大模型。該模型具備超遠(yuǎn)距離的感知能力和超過(guò) 95%的高精度車流軌跡探測(cè)能力，已在雷視電警、雷視車檢器等數(shù)十款交通產(chǎn)品中廣泛應(yīng)用。相較于視覺或雷達(dá)單一模態(tài)的模型，雷視多模態(tài)大模型通過(guò)提取多維信號(hào)中的有效信息，挖掘不同模態(tài)信息間的潛在關(guān)系，增強(qiáng)了對(duì)物理世界的全面理解。雷視多模態(tài)大模型分別利用圖像編碼器和點(diǎn)云編碼器對(duì)多幀圖像、雷達(dá)點(diǎn)云提取特征，再通過(guò)融合解碼器將多幀圖像特征和點(diǎn)云特征融合，獲得目標(biāo)的語(yǔ)義信息與物理信息，從而輸出圖像像素坐標(biāo)、物理空間坐標(biāo)、速度、類型和軌跡等。

為了充分發(fā)揮大模型的優(yōu)勢(shì)，?？低暦謩e打造了路端和車端部署的真值系統(tǒng)，可在真實(shí)生產(chǎn)環(huán)境中持續(xù)積累高精度、高質(zhì)量的點(diǎn)云數(shù)據(jù)。與此同時(shí)，?？低曉谠贫藰?gòu)建起一套面向四維數(shù)據(jù)的自動(dòng)化標(biāo)注流程，可以為雷視大模型源源不斷地提供真實(shí)、海量的多模態(tài)數(shù)據(jù)。在極大提高真值精度的同時(shí)，大幅降低標(biāo)注成本，從而形成了端云協(xié)同發(fā)展的高速飛輪。   

此外，不滿足于單一雷視設(shè)備的應(yīng)用，?？低曔€基于組網(wǎng)的多雷視設(shè)備，構(gòu)建了覆蓋完整路口路段的多模態(tài)、多設(shè)備、跨時(shí)段的路網(wǎng)感知大模型，有效降低單一視角引起的遮擋、透視、局部過(guò)曝/過(guò)暗等不利環(huán)境因素影響，進(jìn)一步提高全域感知能力和系統(tǒng)魯棒性，可以在新一代交通數(shù)字孿生系統(tǒng)中提供核心的感知能力。

2.3.5 預(yù)測(cè)大模型

預(yù)測(cè)大模型基于海量物聯(lián)數(shù)據(jù)，學(xué)習(xí)多樣的回歸、分類模式，能夠?yàn)槠髽I(yè)生產(chǎn)、交通、能源、自然資源等各個(gè)領(lǐng)域提供精準(zhǔn)的狀態(tài)預(yù)測(cè)、異常檢測(cè)和決策支持。

伴隨著IoT設(shè)備的快速增長(zhǎng)和感知處理能力的發(fā)展,海量的物聯(lián)數(shù)據(jù)能夠以結(jié)構(gòu)化的形式存儲(chǔ)起來(lái),并與業(yè)務(wù)系統(tǒng)的表格數(shù)據(jù)逐步融合,形成多維序列數(shù)據(jù)。該類數(shù)據(jù)具有順序性、季節(jié)性、趨勢(shì)性、突變性，以及多序列關(guān)聯(lián)等特點(diǎn)，其本質(zhì)上反映的是變量隨時(shí)間、空間不斷變化的趨勢(shì)和規(guī)律。預(yù)測(cè)大模型通過(guò)深入理解回歸、分類的本質(zhì)，挖掘數(shù)據(jù)中的潛在模式和規(guī)律，構(gòu)建物聯(lián)背景下通用的預(yù)測(cè)能力，持續(xù)提升數(shù)據(jù)價(jià)值。

預(yù)測(cè)大模型基于 Transformer 的 Encoder-Decoder 網(wǎng)絡(luò)架構(gòu)，利用自回歸、序列重構(gòu)和對(duì)比學(xué)習(xí)等技術(shù)進(jìn)行大模型的預(yù)訓(xùn)練。針對(duì)不同領(lǐng)域多維序列數(shù)據(jù)量綱類型、序列長(zhǎng)度、采集頻率等差異巨大的難題，設(shè)計(jì)數(shù)據(jù)對(duì)齊方法，使預(yù)測(cè)大模型更好地適應(yīng)不同領(lǐng)域的序列數(shù)據(jù)。設(shè)計(jì)多種數(shù)據(jù)增強(qiáng)的方式，使預(yù)測(cè)大模型能夠?qū)W習(xí)到不同的序列分布情況和變化模式。預(yù)測(cè)大模型利用少量類別、數(shù)值等標(biāo)簽信息進(jìn)行有監(jiān)督的微調(diào)，在多種預(yù)測(cè)任務(wù)上實(shí)現(xiàn)有效泛化。?？翟谥腔劢煌ā⒅悄苤圃斓榷鄠€(gè)場(chǎng)景中持續(xù)打磨預(yù)測(cè)大模型，呈現(xiàn)出良好的應(yīng)用前景。   

2.3.6光纖大模型

光纖傳感利用光纖為傳感介質(zhì)，利用光波特性探測(cè)進(jìn)行信息獲取，具備4大優(yōu)勢(shì)，特別適合于特殊環(huán)境下的信息獲取。光纖傳感大致可以分為兩類，一類是以光纖干涉結(jié)構(gòu)和光纖光柵為主要代表的“點(diǎn)式”光纖傳感，已在航空航天、海洋水聲、橋梁大壩大型建筑的健康監(jiān)測(cè)領(lǐng)域得到廣泛應(yīng)用;另一類是分布式光纖，利用連續(xù)分布式散射效應(yīng)，可以像神經(jīng)系統(tǒng)一樣準(zhǔn)確測(cè)量光纖任意位置的參量在時(shí)間和空間的信息分布，具有獨(dú)一無(wú)二的信息獲取能力，克服了點(diǎn)式傳感技術(shù)難以進(jìn)行空間連續(xù)監(jiān)測(cè)的缺陷。

海康威視圍繞光纖傳感布局，通過(guò)光纖傳感可以捕捉到溫度、振動(dòng)、聲音等數(shù)據(jù)，具備良好的環(huán)境適應(yīng)性。預(yù)訓(xùn)練大模型能夠抽取多維信號(hào)的統(tǒng)一特征表示，提高模型的泛化

能力，減少對(duì)大量標(biāo)注數(shù)據(jù)的依賴。?？低晸碛薪f(wàn)條高質(zhì)量光纖數(shù)據(jù)，通過(guò)異常過(guò)濾、缺失值補(bǔ)全、無(wú)監(jiān)督去噪等方式，構(gòu)建了一套完善的數(shù)據(jù)清洗流程，開發(fā)了自動(dòng)化數(shù)據(jù)清洗工具，顯著提升數(shù)據(jù)質(zhì)量。觀瀾光纖大模型采用基于 Transformer 網(wǎng)絡(luò)的編碼-解碼器結(jié)構(gòu)，編碼器負(fù)責(zé)信號(hào)理解，捕捉時(shí)序信號(hào)的上下文依賴，形成事件級(jí)、片段級(jí)的高質(zhì)量信號(hào)表征;解碼器引入細(xì)粒度監(jiān)督信息，負(fù)責(zé)時(shí)序信號(hào)生成，通過(guò)自監(jiān)督預(yù)訓(xùn)練挖掘多維信號(hào)的結(jié)構(gòu)信息，具備音頻事件檢測(cè)、定位等能力。   

目前觀瀾光纖大模型僅需傳統(tǒng)深度學(xué)習(xí)模型10%的數(shù)據(jù)量，就可以快速完成場(chǎng)景適配和部署，在多個(gè)內(nèi)部測(cè)試集上平均準(zhǔn)確率提升超13%，并在鋼鐵、煤炭、電力等行業(yè)中落地應(yīng)用。

2.4 觀瀾大模型實(shí)踐優(yōu)勢(shì)

2.4.1全面的感知能力，獲取豐富的模態(tài)數(shù)據(jù)

全面的感知能力是物理世界通往數(shù)字世界的橋梁。?？低晿?gòu)建了包括可見光、熱成像、雷達(dá)、X光等電磁波，聲波、超聲波等機(jī)械波，以及多種物理傳感技術(shù)的全面感知體系，助力打造了具備多維感知能力的大模型。例如在光纖傳感領(lǐng)域，觀瀾光纖大模型基于千萬(wàn)級(jí)高質(zhì)量光纖傳感數(shù)據(jù)，實(shí)現(xiàn)工業(yè)設(shè)備異常問(wèn)題高精度檢測(cè)和智能診斷;在雷達(dá)傳感領(lǐng)域，觀瀾雷視大模型融合了雷達(dá)和攝像機(jī)的感知能力，具備全天候、超遠(yuǎn)距離的車輛和車流軌跡探測(cè)能力。   

海康威視在智能物聯(lián)領(lǐng)域具有 20多年的積累，為了滿足更多行業(yè)用戶的智能化需求,我們面向交通、電力、鋼鐵、煤炭、安檢等諸多垂直行業(yè)，結(jié)合高質(zhì)量的領(lǐng)域數(shù)據(jù)和領(lǐng)域知識(shí)，打造行業(yè)大模型。?？低曉诤Ａ繑?shù)據(jù)上進(jìn)行了大規(guī)模預(yù)訓(xùn)練，生產(chǎn)基礎(chǔ)大模型，吸收通用知識(shí)，再加入行業(yè)數(shù)據(jù)進(jìn)行微調(diào)生產(chǎn)行業(yè)大模型，在保留了基礎(chǔ)大模型的高泛化能力基礎(chǔ)上具備了專業(yè)的行業(yè)能力?！邦A(yù)訓(xùn)練基礎(chǔ)大模型+行業(yè)微調(diào)”的開發(fā)范式大大提高了 AI模型開發(fā)的效率和跨場(chǎng)景泛化能力，構(gòu)建了領(lǐng)先的行業(yè)應(yīng)用能力。例如在周界防范業(yè)務(wù)中，以觀瀾視覺大模型作為基座，利用高效微調(diào)技術(shù)生產(chǎn)行業(yè)模型，整體誤報(bào)率降低了 95%。

觀瀾大模型針對(duì)?？低曍S富的云邊端產(chǎn)品線，構(gòu)建了包括模型精簡(jiǎn)、蒸餾在內(nèi)的完整的硬件部署技術(shù)體系。自研模型精簡(jiǎn)技術(shù)，同結(jié)構(gòu)大模型壓縮后部署對(duì)比16精度部署，可實(shí)現(xiàn)資源占用15倍以上高效壓縮，實(shí)際推理加速達(dá)到10倍以上。自研蒸餾技術(shù)，可實(shí)現(xiàn)大模型向端邊緣小模型的有效知識(shí)遷移，該技術(shù)在AI開放平臺(tái)中上線，可將小模型與大模型的性能差異平均縮小 50%以上。以面向企事業(yè)用戶場(chǎng)景的部署為例，海康威視提供邊緣、云端及云邊融合三種大模型部署方案，以滿足不同行業(yè)和場(chǎng)景中用戶對(duì)于推理模式、系統(tǒng)規(guī)模等多樣化需求。同時(shí)，?？低曁峁┬袠I(yè)應(yīng)用平臺(tái)和云眸的開放接口，便于企業(yè)或合作伙伴的集成應(yīng)用。

2.4.3.1邊緣部署，滿足高實(shí)時(shí)性的場(chǎng)景應(yīng)用    

邊緣部署是一種將大模型及小模型部署在邊緣端設(shè)備(如智能分析服務(wù)器、智能NVR等)的不同性能的GPU或其他AI處理器上，并利用這些設(shè)備的計(jì)算資源進(jìn)行推理的方式。這種方式具有以下優(yōu)勢(shì):

首先，針對(duì)部分邊緣端智能設(shè)備計(jì)算資源有限，無(wú)法直接部署大模型的問(wèn)題，?？低曂ㄟ^(guò)蒸餾技術(shù)手段，將大模型的知識(shí)部分遷移到小模型上，這使得小模型能夠順利部署至此類智能設(shè)備上，降低了大模型的使用門檻。

其次，由于數(shù)據(jù)無(wú)需傳輸?shù)皆贫?，因此可以保護(hù)用戶敏感信息，有效保障數(shù)據(jù)的安全

性。

最后，由于大模型及小模型直接部署在邊緣設(shè)備上，可以有效克服網(wǎng)絡(luò)傳輸延遲和帶寬的限制，實(shí)現(xiàn)快速響應(yīng)和高效處理。

邊緣推理尤其適用于數(shù)據(jù)敏感性、實(shí)時(shí)性要求高的應(yīng)用場(chǎng)景，已經(jīng)在制造、能源、電力、煤礦等行業(yè)得到廣泛應(yīng)用，并取得良好的應(yīng)用效果，

2.4.3.2云端部署，降低智能應(yīng)用的推理成本

云端部署是一種將大模型部署在?？翟祈?AI推理集群中，借助云計(jì)算平臺(tái)的強(qiáng)大計(jì)算能力完成處理數(shù)據(jù)和計(jì)算任務(wù)的方法。這種技術(shù)的優(yōu)勢(shì)在于利用云計(jì)算平臺(tái)的規(guī)模效應(yīng)和資源共享，從而降低推理成本。   

在云端部署方案中，高清攝像機(jī)用于抓拍現(xiàn)場(chǎng)圖片，這些圖片隨后被上傳至部署大模型的云眸上，利用云計(jì)算平臺(tái)的強(qiáng)大計(jì)算資源，可以對(duì)這些圖片進(jìn)行智能化分析。云端部署適用于數(shù)據(jù)敏感性和實(shí)時(shí)性要求較低的聯(lián)網(wǎng)場(chǎng)景。

2.4.3.3云邊融合，提供場(chǎng)景智能的更多選擇云邊融合方案整合邊緣端和云中心的部署的特點(diǎn)，并充分發(fā)揮?？低暤漠a(chǎn)品優(yōu)勢(shì)和云端 Saas 應(yīng)用能力。

首先，通過(guò)利用設(shè)備端小模型的實(shí)時(shí)視頻流分析能力，可以提高目標(biāo)檢測(cè)的準(zhǔn)確率;同時(shí)，借助云端大模型進(jìn)行二次分析過(guò)濾，可以降低誤報(bào)率，滿足用戶對(duì)識(shí)別對(duì)象的高檢出率和低誤報(bào)率的雙重要求，并提供持續(xù)的視頻分析能力。

其次，借助云端 AI算法編排能力，可以減輕邊緣端設(shè)備的性能壓力，使其能夠適應(yīng)更多的應(yīng)用場(chǎng)景;同時(shí)，云端編排邏輯部署便捷，無(wú)需對(duì)設(shè)備進(jìn)行固件升級(jí)，進(jìn)一步簡(jiǎn)化系統(tǒng)維護(hù)和升級(jí)的流程。

最后，通過(guò)與第三方業(yè)務(wù)數(shù)據(jù)和平臺(tái)己有模塊的業(yè)務(wù)聯(lián)動(dòng)，云端AI邏輯引擎能夠響應(yīng)更多的業(yè)務(wù)需求，為企業(yè)提供更加靈活、高效的解決方案。

云邊融合具備低延時(shí)、高實(shí)時(shí)、經(jīng)濟(jì)性等特點(diǎn)，能夠滿足連鎖、制造、電力、煤礦、商業(yè)、教育教學(xué)、建筑等眾多行業(yè)的智能化應(yīng)用需求，為場(chǎng)景智能應(yīng)用提供更多的選擇。無(wú)論是云端部署模式還是云邊融合部署模式，SaaS服務(wù)平臺(tái)都是其中的核心應(yīng)用。云眸是?？低曌匝械?SaaS 云服務(wù)管理平臺(tái)，始終以用戶需求為核心理念，深度挖掘業(yè)務(wù)需求，致力于成為“大連鎖”場(chǎng)景的運(yùn)營(yíng)管理專家。為了實(shí)現(xiàn)這一目標(biāo)，云眸提供豐富的物聯(lián)場(chǎng)景應(yīng)用，并在連鎖行業(yè)中得到廣泛應(yīng)用。截至2023年底，?？翟祈呀?jīng)成功接入超過(guò)490萬(wàn)路終端設(shè)備，每日接口調(diào)用次數(shù)接近1億次。同時(shí)，?？翟七€為超過(guò)1000萬(wàn)戶社區(qū)業(yè)主、1050 萬(wàn)師生家長(zhǎng)、45 萬(wàn)家物流網(wǎng)點(diǎn)以及37萬(wàn)家連鎖門店提供服務(wù)。   

2.4.4 完善的工程化能力，賦能大模型快速應(yīng)用

隨著碎片化 AI需求的日益增長(zhǎng)，自2019年開始，?？低暢掷m(xù)完善從業(yè)務(wù)調(diào)研、方案設(shè)計(jì)、算法實(shí)現(xiàn)到實(shí)施交付全過(guò)程覆蓋的AI工程化服務(wù)體系，為用戶提供一系列智能方案的落地保障，并面向合作伙伴開展賦能。其中，如何更快速地響應(yīng)定制化算法實(shí)現(xiàn)需求，縮短落地周期是 AI工程化的“關(guān)鍵因子”，為此，?？低晿?gòu)建了 AI開放平臺(tái)。

平臺(tái)構(gòu)建了數(shù)據(jù)采集，數(shù)據(jù)標(biāo)注、模型訓(xùn)練、硬件適配，設(shè)備推理、業(yè)務(wù)應(yīng)用的AI落地全流程能力，致力于幫助零基礎(chǔ)用戶開發(fā)自己行業(yè)的智能算法、幫助廣大 AI從業(yè)者擁有智能硬件產(chǎn)品和解決方案，助力產(chǎn)業(yè)智能化轉(zhuǎn)型升級(jí)。   

2.4.4.1海康威視 AI開放平臺(tái)技術(shù)架構(gòu)?？低?AI開放平臺(tái)以觀瀾大模型為技術(shù)底座，通過(guò)高性能基礎(chǔ)設(shè)施和完善的服務(wù)能力為文撐，賦能千行百業(yè)。

2.4.4.2 大模型推理能力開放?？低?AI開放平臺(tái)面向工商企業(yè)、住宅建筑、醫(yī)療衛(wèi)生、智慧交通等數(shù)十種行業(yè)，開放了50+的場(chǎng)景 AI推理能力，用戶可直接在平臺(tái)上體驗(yàn)和下載使用，實(shí)現(xiàn)了大模型能力的“開箱即用”這些任務(wù)模型不僅保留了基礎(chǔ)大模型的高泛化能力，在行業(yè)數(shù)據(jù)的融合下，在特定場(chǎng)景表現(xiàn)出更加專精的能力。如平臺(tái)開放的工地安全穿戴識(shí)別算法，大模型的效果對(duì)比傳統(tǒng)小模型有著十分明顯的提升。同時(shí)，部分用戶在行業(yè)場(chǎng)景下兼具一些個(gè)性化的需求，AI開放平臺(tái)也提供了模型迭代的功能，用戶可在已有的任務(wù)模型的基礎(chǔ)上，添加少部分的場(chǎng)景數(shù)據(jù)，通過(guò)迭代訓(xùn)練獲取更加符合自身業(yè)務(wù)場(chǎng)景的迭代模型，來(lái)應(yīng)對(duì)更加復(fù)雜的個(gè)性化需求。   

2.4.4.3基于大模型的自定義算法訓(xùn)練

除行業(yè)性需求外，相當(dāng)一部分客戶還有著完全個(gè)性化的業(yè)務(wù)需求，此類需求有著“千人千面”的特征，每個(gè)業(yè)務(wù)場(chǎng)景都需要根據(jù)具體需求定制生成AI算法。因此，?？低旳I開放平臺(tái)提供了基于大模型的自定義算法訓(xùn)練能力，平臺(tái)預(yù)置了16種建模場(chǎng)景，基于觀瀾大模型的技術(shù)底座，以“預(yù)訓(xùn)練大模型+場(chǎng)景微調(diào)”的訓(xùn)練模式，AI開放平臺(tái)的訓(xùn)練啟動(dòng)數(shù)據(jù)量可降低 90%以上，并且平均算法精度也提升了50%以上。這意味著用戶只需少量的樣本輸入，即可生成高精度的算法模型，在降低AI落地成本的同時(shí)，也提升了AI應(yīng)用的效果和效率。如通過(guò)平臺(tái)自定義訓(xùn)練出的各類場(chǎng)景識(shí)別算法，在效果上有極為顯著的提升。2.4.4.4多樣的訓(xùn)練模式    

超高精度訓(xùn)練模式:基于觀瀾預(yù)訓(xùn)練基礎(chǔ)大模型，結(jié)合用戶場(chǎng)景數(shù)據(jù)共同訓(xùn)練得到的超高精度的大模型，最大程度地保留了大模型高泛化能力。并目，通過(guò)?？低曌匝兴丬浻矃f(xié)同優(yōu)化方案，超高精度的大模型已支持近十款國(guó)產(chǎn)高性能芯片。蒸餾訓(xùn)練模式:通過(guò)自研的蒸餾技術(shù)的高級(jí)訓(xùn)練方式，實(shí)現(xiàn)大模型向端邊緣小模型的有效知識(shí)遷移，將大模型良好的精度水平和強(qiáng)大的泛化能力，快速遷移到小模型中。在資源消耗跟傳統(tǒng)模型一致的前提下，將小模型與大模型的性能差異平均縮小50%以上。通過(guò)?？低暢掷m(xù)的芯片適配和深度優(yōu)化，蒸餾模型已支持海康威視大部分邊端推理設(shè)備第三章觀大模型內(nèi)部實(shí)踐    

作為行業(yè)內(nèi)最早一批布局AI的科技企業(yè)，?？低暭仁切袠I(yè)智能化解決方案的提供者,也是實(shí)踐者。海康威視持續(xù)運(yùn)用自主研發(fā)的AI技術(shù)推進(jìn)公司不同環(huán)節(jié)的智能化升級(jí),并將自身的經(jīng)驗(yàn)以產(chǎn)品化的方式輸出，幫助更多行業(yè)數(shù)字化轉(zhuǎn)型。

?？低曀幍闹悄芪锫?lián)行業(yè)，應(yīng)用需求高度碎片化、場(chǎng)景化，如何在滿足個(gè)性化需求、形成場(chǎng)景化解決方案的同時(shí)，更規(guī)?；?、快速地響應(yīng)客戶需求，是對(duì)所有行業(yè)參與者的挑戰(zhàn)。要管理?？低曔@樣一個(gè)業(yè)務(wù)遍布全球、客戶需求高度碎片化的科技公司，可以說(shuō)是一項(xiàng)復(fù)雜的“系統(tǒng)工程”

為了將這個(gè)復(fù)雜的體系高效運(yùn)營(yíng)起來(lái)，二十余年來(lái)，公司努力在研發(fā)、制造、營(yíng)銷等經(jīng)營(yíng)管理的各個(gè)方面，持續(xù)提升自己的能力。如今，觀瀾大模型的構(gòu)建，帶來(lái)了新思路新路徑。近年來(lái)，?？低暢掷m(xù)對(duì)內(nèi)探索場(chǎng)景與實(shí)踐，把自身作為大模型落地應(yīng)用的“試驗(yàn)田”，已將觀瀾大模型應(yīng)用于公司的不同業(yè)務(wù)環(huán)節(jié)中，提升經(jīng)營(yíng)管理綜合能力，為向客戶持續(xù)提供優(yōu)質(zhì)的產(chǎn)品和服務(wù),構(gòu)建了更堅(jiān)實(shí)的技術(shù)保障。以下重點(diǎn)就觀瀾大模型在?？低暤漠a(chǎn)品研發(fā)、生產(chǎn)制造兩大環(huán)節(jié)的應(yīng)用情況做進(jìn)一步介紹。

3.1觀瀾大模型助力產(chǎn)品持續(xù)創(chuàng)新

?？低晱纳a(chǎn)視頻壓縮板卡起步，不斷將通用技術(shù)(硬件技術(shù)、工藝材料、嵌入式軟件、系統(tǒng)級(jí)軟件開發(fā)、大數(shù)據(jù)技術(shù)、網(wǎng)絡(luò)安全等)與場(chǎng)景化應(yīng)用技術(shù)進(jìn)行組合、融合和集合，以實(shí)現(xiàn)產(chǎn)品創(chuàng)新，形成了從探測(cè)器、模組、設(shè)備到系統(tǒng)的完整產(chǎn)品體系。目前公司在售硬件產(chǎn)品型號(hào)已超過(guò)3萬(wàn)個(gè)，軟件產(chǎn)品200多款。當(dāng)前，觀瀾大模型的能力已深入融合到?？低暤漠a(chǎn)品創(chuàng)新和實(shí)際應(yīng)用當(dāng)中，拓展模型能力邊界，提升智能產(chǎn)品性能，加快 AI落地部署應(yīng)用。   

3.1.1 提升產(chǎn)品性能，增強(qiáng)產(chǎn)品競(jìng)爭(zhēng)力

?？低曉诋a(chǎn)品研發(fā)中，利用大模型小樣本學(xué)習(xí)能力強(qiáng)、泛化能力強(qiáng)、性能上限高等特點(diǎn)，不斷推出準(zhǔn)確率、檢出率更佳的算法，幫助提升產(chǎn)品性能，增強(qiáng)競(jìng)爭(zhēng)力。

以應(yīng)用范圍最廣泛的視覺 AI為例，觀瀾視覺大模型在數(shù)據(jù)治理、模型結(jié)構(gòu)、預(yù)訓(xùn)練算法等方面進(jìn)行了深入研究，相比傳統(tǒng)小模型，大大提高了感興趣目標(biāo)的檢出率和檢準(zhǔn)率，降低誤報(bào)，在?？低旳I開放平臺(tái)、海康云眸等平臺(tái)中廣泛部署。在?？低晝?nèi)部構(gòu)建的多個(gè)跨行業(yè)的泛化任務(wù)上，大模型帶來(lái)的平均性能提升超過(guò)50%，可支持響應(yīng)更多復(fù)雜的業(yè)務(wù)需求 ，在智慧城市管理、智慧社區(qū)管理、自然資源保護(hù)等場(chǎng)景中取得廣泛應(yīng)用。與此同時(shí)，觀瀾大模型進(jìn)一步提升了?？低暜a(chǎn)品體系的智能感知能力，為不斷開發(fā)新品、豐富智能物聯(lián)產(chǎn)品矩陣提供了技術(shù)支撐。例如，在雷視產(chǎn)品的研發(fā)中，?？低晿?gòu)建了具備同時(shí)感知空間物理信息與目標(biāo)語(yǔ)義信息的雷視多模態(tài)大模型，讓雷視產(chǎn)品得以突破晝夜以及雨霧環(huán)境下的性能極限，并實(shí)現(xiàn)規(guī)?；漠a(chǎn)品落地。?？低曆邪l(fā)的“超遠(yuǎn)距離雷達(dá)+多日長(zhǎng)短焦視頻”雷視一體機(jī)，具備超遠(yuǎn)距離車輛和車流軌跡高精度探測(cè)能力，并形成了系列產(chǎn)品方案。雷視融合產(chǎn)品在檢測(cè)距離上的突破，可大幅降低數(shù)字化道路的建設(shè)成本，提升交通擁堵治理、交通安全保障、車路協(xié)同的能力。3.1.2提升落地部署能力，加速AI工程化進(jìn)程    

千行百業(yè)對(duì) AI的需求海量而碎片化，沒(méi)有標(biāo)準(zhǔn)化通用的解決方案，每個(gè)細(xì)分場(chǎng)景的需求滿足往往都需要定制化的開發(fā)，而在傳統(tǒng)深度學(xué)習(xí)算法開發(fā)過(guò)程中，存在數(shù)據(jù)采集困難、算法泛化性能差等問(wèn)題，算法開發(fā)周期往往以季度計(jì)，無(wú)法滿足AI快速落地的需求。?？低暬谟^瀾大模型打造了“預(yù)訓(xùn)練大模型+場(chǎng)景微調(diào)”的算法開發(fā)范式，可顯著降低對(duì)場(chǎng)景訓(xùn)練樣本的依賴，并大幅縮短從數(shù)據(jù)收集到算法部署的全過(guò)程，使開發(fā)效率更

高、落地周期更短、跨場(chǎng)景泛化能力更強(qiáng)，高效地支撐行業(yè)應(yīng)用。首先，觀瀾大模型可降低90%的訓(xùn)練啟動(dòng)數(shù)據(jù)量，有效緩解數(shù)據(jù)采集難的問(wèn)題;其次，針對(duì)這部分訓(xùn)練數(shù)據(jù)，還可應(yīng)用觀瀾大模型的智能標(biāo)注能力，只需要對(duì)智能標(biāo)注后的數(shù)據(jù)進(jìn)行復(fù)核，即可發(fā)起訓(xùn)練，進(jìn)一步縮短了開發(fā)過(guò)程中的數(shù)據(jù)標(biāo)注周期;最后，場(chǎng)景微調(diào)的模式無(wú)需從頭開始訓(xùn)練，即可獲得滿足不同場(chǎng)景需求的模型，大大降低了訓(xùn)練時(shí)長(zhǎng)同時(shí)，基于預(yù)訓(xùn)練大模型訓(xùn)練出的任務(wù)模型，具備更高的泛化能力和推理認(rèn)知能力，可兼顧不同場(chǎng)景的差異性，并保持較高的識(shí)別精度。這意味著一款開發(fā)出來(lái)的AI產(chǎn)品在不同場(chǎng)景可長(zhǎng)期保持良好的識(shí)別效果，可避免頻繁的重標(biāo)重訓(xùn)，降低模型迭代次數(shù)與成本。相較于以往動(dòng)輒幾個(gè)月的產(chǎn)品交付工期，基于觀瀾大模型進(jìn)行開發(fā)，可使開發(fā)周期縮短約80%。   

以?？低曂瞥龅墓饫w傳感產(chǎn)品為例，光纖信號(hào)處理和解調(diào)難度高，如何在這些復(fù)雜的信號(hào)中準(zhǔn)確識(shí)別微小的信號(hào)變化，如何通過(guò)信號(hào)變化準(zhǔn)確反演外界真實(shí)場(chǎng)景，實(shí)現(xiàn)高準(zhǔn)確度的異常診斷，是研發(fā)人員需要重點(diǎn)攻克的難題

常規(guī)的信號(hào)解調(diào)和處理方案，信噪比低，整體效果較差，需要大量的模型校準(zhǔn)調(diào)優(yōu)工作，研發(fā)過(guò)程漫長(zhǎng)。而結(jié)合基于千萬(wàn)級(jí)光纖傳感數(shù)據(jù)的光纖大模型后，可以降低產(chǎn)品對(duì)信號(hào)解調(diào)質(zhì)量的要求。同時(shí)，在應(yīng)用落地階段，可有效降低用戶數(shù)據(jù)量要求，數(shù)據(jù)采集工作量降低 90%。此外，光纖大模型融合了多種復(fù)雜場(chǎng)景下的特征信息，單一模型可兼顧不同場(chǎng)景差異性，實(shí)現(xiàn)用戶現(xiàn)場(chǎng)快速部署。3.1.3總結(jié)與價(jià)值

大模型的積累與發(fā)展，為?？低暤漠a(chǎn)品創(chuàng)新打開了新空間。基于觀瀾大模型，海康威視將持續(xù)錘煉產(chǎn)品的研發(fā)、落地能力。在大模型的加持下，更多引領(lǐng)行業(yè)的新產(chǎn)品將不斷被研發(fā)面市，更快速地產(chǎn)品迭代將不斷滿足用戶的發(fā)展需求，比以往更高效便捷的 AI落地部署將加速行業(yè)智能化變革。這些因創(chuàng)新而生的智能物聯(lián)產(chǎn)品，將深入到千行百業(yè)成為AI生產(chǎn)力工具，助推數(shù)字化轉(zhuǎn)型的發(fā)展浪潮:

3.2觀瀾大模型助力生產(chǎn)制造提質(zhì)增效    

?？低曋悄苤圃旎?以下簡(jiǎn)稱制造基地)承擔(dān)著公司面向全球的產(chǎn)品制造與交付，由于智能物聯(lián)市場(chǎng)高度碎片化，制造基地生產(chǎn)的產(chǎn)品種類達(dá)數(shù)千種、型號(hào)數(shù)萬(wàn)種、訂單定配置比例高達(dá) 75%，形成了“小批量、多批次、大規(guī)模定制化”的生產(chǎn)制造模式。這種生產(chǎn)模式能更好地滿足客戶個(gè)性化的定制需求，但也出現(xiàn)了產(chǎn)品訂單小而零散、產(chǎn)線頻繁切換等情況，對(duì)組織生產(chǎn)、管控產(chǎn)品質(zhì)量、控制成本等都帶來(lái)了管理挑戰(zhàn)。統(tǒng)計(jì)數(shù)據(jù)顯示，?？低曇惶齑蠹s需生產(chǎn)10000個(gè)訂單，但每個(gè)訂單平均僅 40臺(tái)左右。由于這種生產(chǎn)模式對(duì)企業(yè)生產(chǎn)、管理提出的嚴(yán)格要求，只有不斷提升制造基地的柔性化、智能化水平才能更好滿足市場(chǎng)需求。

多年來(lái)，制造基地逐步構(gòu)建了全流程有效協(xié)同、敏捷精益的大規(guī)模定制智能制造新模式，保障了高可靠性、高可用性、高可控性的產(chǎn)品交付。為不斷提升自身智能制造能力，制造基地利用觀瀾大模型的能力，落地了面向生產(chǎn)的全鏈路解決方案，為從業(yè)人員提供智能、精準(zhǔn)、快速的新工具和新方法，提升了生產(chǎn)交付效率和客戶滿意度。3.2.1計(jì)劃排程:精準(zhǔn)制定計(jì)劃，提升生產(chǎn)效率和資源利用率

在生產(chǎn)計(jì)劃制定過(guò)程中，針對(duì)海康威視多品種、小批量的業(yè)務(wù)模式，傳統(tǒng)的計(jì)劃作業(yè)方式往往難以有效應(yīng)對(duì)迅速變化的市場(chǎng)需求。引入觀瀾大模型的預(yù)測(cè)能力后，通過(guò)綜合考量產(chǎn)品的歷史需求和變化趨勢(shì)、內(nèi)外部不同產(chǎn)品之間的影響關(guān)系以及不同區(qū)域的需求差異等多維度的影響要素，對(duì)各種物料需求進(jìn)行更精確的短中長(zhǎng)期預(yù)測(cè)?；谠擃A(yù)測(cè)結(jié)果，并結(jié)合行業(yè)最佳實(shí)踐提取形成的工業(yè)機(jī)理模型，對(duì)生產(chǎn)要素進(jìn)行全面分析和深度優(yōu)化，實(shí)現(xiàn)大計(jì)劃的有效制定、備貨計(jì)劃的實(shí)時(shí)調(diào)整、原材料的采購(gòu)優(yōu)化、產(chǎn)能計(jì)劃的動(dòng)態(tài)調(diào)整、區(qū)域倉(cāng)物料的選型和調(diào)撥，最終制定出較為完善的排程方案和生產(chǎn)計(jì)劃。   

基于實(shí)際生產(chǎn)數(shù)據(jù)分析和交互迭代，大模型能夠生成排程方案并持續(xù)優(yōu)化預(yù)測(cè)效果，其中交付達(dá)成率提高近10%，訂單合單率提升近10%，進(jìn)一步提高桐廬基地的生產(chǎn)效率和資源利用率，更好滿足市場(chǎng)需求，實(shí)現(xiàn)更高的生產(chǎn)效益。

3.2.2控制執(zhí)行:輔助生產(chǎn)執(zhí)行，提升執(zhí)行效率，降低人員工作強(qiáng)度

在生產(chǎn)執(zhí)行過(guò)程中，存在大量的控制動(dòng)作，如何保證控制動(dòng)作及時(shí)精準(zhǔn)地執(zhí)行，實(shí)現(xiàn)生產(chǎn)連續(xù)，是業(yè)內(nèi)持續(xù)探索的重點(diǎn)。?？低曉谥圃旎匾胗^瀾大模型，對(duì)生產(chǎn)執(zhí)行過(guò)程中的物料、產(chǎn)品種類和位置等信息有效識(shí)別，輔助生產(chǎn)自動(dòng)執(zhí)行，提升了生產(chǎn)效率和執(zhí)行準(zhǔn)確率。

在生產(chǎn)裝配環(huán)節(jié)，針對(duì)產(chǎn)品自動(dòng)點(diǎn)膠，通過(guò)對(duì)產(chǎn)品種類進(jìn)行有效識(shí)別，并自動(dòng)匹配控制程序和執(zhí)行預(yù)案，精準(zhǔn)引導(dǎo)點(diǎn)膠裝置對(duì)產(chǎn)品進(jìn)行自動(dòng)精確點(diǎn)膠，減少人工干預(yù)工作量，保障產(chǎn)品質(zhì)量的一致性，進(jìn)而提升良品率。

在生產(chǎn)測(cè)試環(huán)節(jié)，為了保障測(cè)試的穩(wěn)定性，基于觀大模型的技術(shù)融合應(yīng)用，使產(chǎn)品的整個(gè)測(cè)試過(guò)程實(shí)現(xiàn)全部由測(cè)試系統(tǒng)自動(dòng)測(cè)試完成，極大地提升了產(chǎn)品測(cè)試質(zhì)量，保障產(chǎn)品質(zhì)量的一致性和穩(wěn)定性。

3.2.3檢測(cè)計(jì)量:輔助工藝檢測(cè)、產(chǎn)品質(zhì)檢，提升產(chǎn)品質(zhì)量    

在生產(chǎn)執(zhí)行過(guò)程中，設(shè)備和人員是核心參與者，如何實(shí)現(xiàn)生產(chǎn)過(guò)程防呆防錯(cuò)和物料齊套性一直是生產(chǎn)質(zhì)量和生產(chǎn)效率的關(guān)鍵因素，同時(shí)也直接關(guān)系到客戶滿意度。

為了解決該問(wèn)題，制造基地通過(guò)觀瀾人模型與工業(yè)信息化系統(tǒng)的緊密結(jié)合，制造基地在裝配過(guò)程合規(guī)性和包裝過(guò)程一致性等環(huán)節(jié)實(shí)現(xiàn)智能檢測(cè)和計(jì)量，構(gòu)建AI防呆防錯(cuò)體系，提升生產(chǎn)質(zhì)量。

在裝配環(huán)節(jié)中，系統(tǒng)具備精確的識(shí)別能力，一旦發(fā)現(xiàn)零部件出現(xiàn)錯(cuò)裝或漏裝現(xiàn)象，能夠及時(shí)發(fā)出提醒，顯著增強(qiáng)生產(chǎn)流程的準(zhǔn)確性，進(jìn)一步降低生產(chǎn)成木，提升整體生產(chǎn)效益

隨著制造基地自動(dòng)化水平的不斷提升，自動(dòng)化設(shè)備已成為企業(yè)的核心資產(chǎn)。其中人機(jī)交互的安全已成為影響安全生產(chǎn)的重要因素，如何保障設(shè)備穩(wěn)定運(yùn)行和人員的安全成為重點(diǎn)研究課題。   

制造基地通過(guò)觀瀾大模型，配合多維感知技術(shù)，在設(shè)備運(yùn)行過(guò)程中對(duì)生產(chǎn)參與者的不安全因素進(jìn)行有效識(shí)別與管理。例如，對(duì)設(shè)備上的機(jī)械表計(jì)進(jìn)行A讀數(shù)，有效識(shí)別設(shè)備的壓力、液位、指示狀態(tài)等多類型異常，并實(shí)時(shí)預(yù)警提醒:對(duì)設(shè)備運(yùn)行過(guò)程中人員的誤入可有效識(shí)別和預(yù)警，智能聯(lián)動(dòng)控制設(shè)備停止運(yùn)行，保障設(shè)備和人員安全，進(jìn)一步保障生產(chǎn)的連續(xù)性。3.2.5總結(jié)與價(jià)值

依托觀瀾大模型的核心能力，制造基地實(shí)現(xiàn)了生產(chǎn)制造過(guò)程的全流程智能化管控輔助，涵蓋銷售、計(jì)劃排程、生產(chǎn)執(zhí)行、倉(cāng)儲(chǔ)物流、發(fā)貨運(yùn)輸和售后服務(wù)全環(huán)節(jié)，推進(jìn)了?？低曋悄苤圃鞌?shù)字孿生體系建設(shè)，助力打造敏捷、柔性、精益的制造體系，持續(xù)提升精益生產(chǎn)和智能制造水平。

目前，制造基地積累了大量智能制造產(chǎn)業(yè)經(jīng)驗(yàn)，已成為全球智能物聯(lián)領(lǐng)域頗具規(guī)模高度自動(dòng)化的產(chǎn)品制造中心，成功入選工信部2021年度智能制造示范工廠揭榜單位，也是浙江省首批認(rèn)定的“未來(lái)工廠”，并被評(píng)為行業(yè)引領(lǐng)型“頭雁工廠”

隨著市場(chǎng)不斷細(xì)分，越來(lái)越多的制造企業(yè)在走向類似的個(gè)性化、定制化的制造模式，通過(guò)智能化解決方案來(lái)實(shí)現(xiàn)制造全鏈路的提質(zhì)增效成為越來(lái)越普遍的選擇。?？低暤闹悄苤圃炷芰Σ粌H應(yīng)用于自身，也在以解決方案的形式為眾多行業(yè)的智慧園區(qū)、智能工廠建設(shè)提供支撐，?？低曀e極探索的智能化路徑與經(jīng)驗(yàn)，也將慢慢惠及越來(lái)越多的制造企業(yè)。   

第四章觀型行業(yè)實(shí)踐

?？低曉诖竽Ｐ徒ㄔO(shè)上進(jìn)行了大量的投入和積累，大模型相關(guān)能力不僅應(yīng)用在自身的產(chǎn)品研發(fā)、生產(chǎn)制造等數(shù)字化轉(zhuǎn)型升級(jí)過(guò)程中，也通過(guò)解決方案落地在千行百業(yè)中。

各行各業(yè)的行業(yè)特點(diǎn)、業(yè)務(wù)運(yùn)營(yíng)模式不盡相同，當(dāng)前大模型應(yīng)用依然是行業(yè)場(chǎng)景需求驅(qū)動(dòng)。?？低曉诜?wù)眾多行業(yè)智能化升級(jí)時(shí)積累了諸多行業(yè)實(shí)踐經(jīng)驗(yàn)，接下來(lái)，將選取一些典型行業(yè)和典型場(chǎng)景做進(jìn)一步的重點(diǎn)介紹。

4.1智慧連鎖

連鎖經(jīng)營(yíng)已成為品牌企業(yè)主要的商業(yè)模式之一，涵蓋多種社會(huì)零售業(yè)態(tài)，如餐飲、醫(yī)藥保健、商超、便利店、汽車4S店等。隨著居民消費(fèi)能力的提升，品牌企業(yè)不斷擴(kuò)大規(guī)模，連鎖門店數(shù)量逐漸增加，連鎖化率持續(xù)上升。

在品牌連鎖化率上升的情況下，門店數(shù)量增加給連鎖企業(yè)帶來(lái)保持品牌和服務(wù)一致性等挑戰(zhàn)。盡管AI的應(yīng)用能提供一定幫助，但實(shí)際應(yīng)用中仍存在阻礙。當(dāng)前，大模型技術(shù)應(yīng)用為連鎖企業(yè)帶來(lái)了機(jī)遇。大模型具有更強(qiáng)的泛化能力、更高的準(zhǔn)確性和可靠性，正在助力連鎖企業(yè)優(yōu)化業(yè)務(wù)流程、實(shí)現(xiàn)高效的運(yùn)營(yíng)管理，以達(dá)成更好的業(yè)務(wù)表現(xiàn)。4.1.1 安全合規(guī)

門店安全合規(guī)是連鎖企業(yè)的“生命線”。以往需要大量人力，逐一排查資產(chǎn)安全、合規(guī)經(jīng)營(yíng)、食品安全等多方面的問(wèn)題，面臨人力成本高、監(jiān)管低效等挑戰(zhàn)。   

運(yùn)用觀瀾大模型，可以實(shí)現(xiàn)對(duì)門店安全隱患、操作不規(guī)范等異常事件高精度識(shí)別，輔助工作人員更加智能高效地守護(hù)門店安全。

例如在餐飲企業(yè)后廚場(chǎng)景，AI技術(shù)可識(shí)別鼠患、員工防護(hù)用品佩戴情況、吸煙、垃圾桶未加蓋等衛(wèi)生隱患，并自動(dòng)預(yù)警，有效提醒員工規(guī)范作業(yè)，減少食安隱患，守護(hù)食品安全。而在連鎖門店收銀場(chǎng)景，采用云邊方案，可以實(shí)現(xiàn)違規(guī)飛單管理。

統(tǒng)一管理成千上百家連鎖門店，保證服務(wù)的高水準(zhǔn)，是品牌長(zhǎng)青的關(guān)鍵因素。依靠傳統(tǒng)人工巡店，工作量巨大、成本高，且無(wú)法確保問(wèn)題發(fā)現(xiàn)的及時(shí)性和整改的有效性。

海康威視運(yùn)用大模型技術(shù)，通過(guò)線上智能巡店的方式，實(shí)時(shí)分析和處理門店商品、環(huán)境、陳設(shè)等運(yùn)營(yíng)規(guī)范的相關(guān)圖像、視頻等數(shù)據(jù)，自動(dòng)、高效地識(shí)別出不符合運(yùn)營(yíng)規(guī)范的項(xiàng)目，及時(shí)發(fā)出整改通知，實(shí)現(xiàn)流程閉環(huán)可追溯，助力連鎖企業(yè)優(yōu)化日常巡店效率。

在助力門店智慧運(yùn)營(yíng)管理上，觀瀾大模型也能帶來(lái)顯著改變。比如在水果連鎖企業(yè)早期曾嘗試使用線下傳統(tǒng)訓(xùn)練平臺(tái)來(lái)訓(xùn)練工服、水果種類、數(shù)量、陳列和飽和度檢測(cè)等傳統(tǒng)算法模型，然而，在實(shí)際應(yīng)用過(guò)程中，出現(xiàn)一些問(wèn)題:首先，算法訓(xùn)練周期長(zhǎng)，每次優(yōu)化算法都需要重新標(biāo)注大量的圖片素材，既耗時(shí)又耗力，導(dǎo)致對(duì)算法落地的信心逐漸下隆:其次，由于門店眾多且水果種類繁多，即使經(jīng)過(guò)多次算法選代，仍然無(wú)法在更多門店的驗(yàn)證環(huán)節(jié)達(dá)到預(yù)期的準(zhǔn)確度;最后，傳統(tǒng)算法模型的準(zhǔn)確率存在上限，即使優(yōu)化10余次版本后，準(zhǔn)確率也只能達(dá)到82%，很難再進(jìn)一步提高?；谟^瀾大模型，這些過(guò)去難以克服的問(wèn)題，得到有效解決和改善。首先，運(yùn)用大模型技術(shù)，利用少量素材(每次100張圖片)，快速迭代算法模型;其次，利用云邊協(xié)同部署方案，將穿戴檢測(cè)(工服識(shí)別)，水果檢測(cè)(品類、數(shù)量、飽和度)等感知數(shù)據(jù)與多維度業(yè)務(wù)數(shù)據(jù)融合，有效提升結(jié)果的準(zhǔn)確性。這種主動(dòng)發(fā)現(xiàn)問(wèn)題并及時(shí)發(fā)出告警的智慧式，為企業(yè)提升內(nèi)部管理、協(xié)同效率提供有力的智能化手段。   

4.2智能制造

制造業(yè)作為國(guó)家經(jīng)濟(jì)文柱，其高質(zhì)量發(fā)展對(duì)于經(jīng)濟(jì)持續(xù)增長(zhǎng)至關(guān)重要。當(dāng)前，我國(guó)制造業(yè)發(fā)展正從追求規(guī)模速度轉(zhuǎn)向追求質(zhì)量效益，并在新一輪技術(shù)革命和產(chǎn)業(yè)變革的推動(dòng)下，向綠色化、智能化、服務(wù)化和定制化發(fā)展。工信部等多部門印發(fā)《“十四五”智能制造發(fā)展規(guī)劃》:到 2025年，規(guī)模以上制造業(yè)企業(yè)大部分實(shí)現(xiàn)數(shù)字化、網(wǎng)絡(luò)化，重點(diǎn)行業(yè)骨干企業(yè)初步應(yīng)用智能化;到2035年，規(guī)模以上制造業(yè)企業(yè)全面普及數(shù)字化、網(wǎng)絡(luò)化，重點(diǎn)行業(yè)骨干企業(yè)基本實(shí)現(xiàn)智能化。

在產(chǎn)業(yè)端，目前制造業(yè)與智能技術(shù)融合進(jìn)一步加深，在“研產(chǎn)供銷服”全流程落地智能應(yīng)用。提升制造業(yè)數(shù)字化、智能化水平，實(shí)現(xiàn)降本、增效、提質(zhì)，正在成為眾多制造企業(yè)不約而同的選擇?；诤？低暥嗄暝谥圃鞓I(yè)的業(yè)務(wù)積累和技術(shù)應(yīng)用趨勢(shì)判斷，觀瀾大模型可應(yīng)用于制造業(yè)全生命周期的各個(gè)階段，并聚焦于質(zhì)量管控、設(shè)備管理以及生產(chǎn)排程等主要場(chǎng)景，提高生產(chǎn)效率和質(zhì)量，降低生產(chǎn)成本，提升企業(yè)的核心競(jìng)爭(zhēng)力。4.2.1 質(zhì)量管控    

質(zhì)量是制造的基本要求。因此，質(zhì)量管控智能化的核心是聚焦完善質(zhì)量監(jiān)督流程，加強(qiáng)質(zhì)量管理能力。在生產(chǎn)過(guò)程中，因人為操作不規(guī)范和設(shè)備異常等原因，常出現(xiàn)錯(cuò)誤導(dǎo)致物料浪費(fèi)、生產(chǎn)返工、產(chǎn)品缺陷、經(jīng)濟(jì)損失等，甚至可能引發(fā)安全事故和人員傷亡。這些問(wèn)題凸顯了全流程質(zhì)量監(jiān)督和高效現(xiàn)場(chǎng)管理的重要性。在離散型制造中，生產(chǎn)過(guò)程可以被細(xì)分為裝配、檢測(cè)和包裝三個(gè)主要環(huán)節(jié)。觀瀾大模型在這些環(huán)節(jié)中都能發(fā)揮重要作用:在裝配環(huán)節(jié)，通過(guò)對(duì)產(chǎn)線圖像進(jìn)行采集和智能分析，可以識(shí)別各個(gè)零部件的錯(cuò)裝和漏裝;在檢測(cè)環(huán)節(jié)，對(duì)操作音視頻數(shù)據(jù)進(jìn)行分析，可以判別操作動(dòng)作的合規(guī)性，降低人為失誤率;在包裝環(huán)節(jié)，可以依托智能識(shí)別分析技術(shù)，對(duì)產(chǎn)品的外觀完整性和配件錯(cuò)放和漏放進(jìn)行判別。打通現(xiàn)場(chǎng)提醒系統(tǒng)和與生產(chǎn)執(zhí)行系統(tǒng)后，可以實(shí)現(xiàn)產(chǎn)線的智能聯(lián)動(dòng)，對(duì)缺陷產(chǎn)品智能攔截，通過(guò)智能防呆防錯(cuò)保障生產(chǎn)節(jié)拍、生產(chǎn)質(zhì)量和生產(chǎn)效率，降低缺陷分析、誤工、返工等成本，減少客訴。同時(shí)，大模型對(duì)數(shù)據(jù)要求降低，泛化能力增強(qiáng)，不同企業(yè)類似環(huán)節(jié)的智能化方案可以快速部署，也具備更高的準(zhǔn)確性和靈活性，可以應(yīng)用到更廣泛的制造場(chǎng)景中。4.2.2設(shè)備管理

隨著自動(dòng)化水平提升，制造企業(yè)對(duì)設(shè)備設(shè)施投入不斷增加，設(shè)備管理將成為企業(yè)管理的重中之重。設(shè)備分為輔助設(shè)備和直接生產(chǎn)設(shè)備兩大類，其運(yùn)行狀態(tài)影響生產(chǎn)效率和成本，因此保障設(shè)備設(shè)施穩(wěn)定運(yùn)行是保障連續(xù)性生產(chǎn)的基礎(chǔ)和前提。傳統(tǒng)設(shè)備管理主要依托人工經(jīng)驗(yàn)，定期巡檢維修，主觀性強(qiáng)，一旦出現(xiàn)意外情況，會(huì)對(duì)生產(chǎn)造成不可估量的影響，既影響企業(yè)運(yùn)營(yíng)管理效率，也增加運(yùn)營(yíng)成本。   

在這種情況下，基于智能多維感知產(chǎn)品和智能系統(tǒng)，可以實(shí)時(shí)監(jiān)測(cè)設(shè)備狀態(tài)并預(yù)警彌補(bǔ)人工巡檢的不足。同時(shí)基于對(duì)多種設(shè)備歷史運(yùn)行數(shù)據(jù)、關(guān)聯(lián)情況、運(yùn)行狀態(tài)的智能分析，可以預(yù)測(cè)設(shè)備故障，提示企業(yè)進(jìn)行設(shè)備維修保養(yǎng)，最大程度規(guī)避設(shè)備異常，保障生產(chǎn)連續(xù)性。其中，大模型技術(shù)能夠協(xié)助傳感器或平臺(tái)快速判別真實(shí)故障，提升準(zhǔn)確性。

4.2.3生產(chǎn)排程

制定生產(chǎn)計(jì)劃是制造的核心環(huán)節(jié)，高效排程能夠在滿足市場(chǎng)需求和供應(yīng)鏈運(yùn)轉(zhuǎn)中取得更好平衡，提升企業(yè)運(yùn)營(yíng)效率。特別是在生產(chǎn)環(huán)節(jié)越來(lái)越復(fù)雜、客戶需求越來(lái)越多樣化的當(dāng)下，傳統(tǒng)生產(chǎn)計(jì)劃編制方式難以應(yīng)對(duì)生產(chǎn)過(guò)程的快速變化和多樣化需求，對(duì)生產(chǎn)效率、產(chǎn)品質(zhì)量、交付效率等造成連鎖影響。

大模型技術(shù)應(yīng)用后，可以借助海量數(shù)據(jù)和算法模型對(duì)生產(chǎn)過(guò)程進(jìn)行全面分析和優(yōu)化，給企業(yè)提供生產(chǎn)流程、供應(yīng)鏈優(yōu)化等環(huán)節(jié)的決策支持。利用大模型等A1技術(shù)，可以綜合分析訂單數(shù)量、庫(kù)存狀況、人力資源以及設(shè)備利用率等多種因素，以確定更優(yōu)的生產(chǎn)計(jì)劃和排程方案，實(shí)現(xiàn)生產(chǎn)過(guò)程自動(dòng)化和智能化，達(dá)到更佳的生產(chǎn)效率和資源利用率。

第五章總結(jié)與展望

從刀耕火種，到工業(yè)革命、信息革命，再到當(dāng)今的智能社會(huì)，人類的文明與技術(shù)進(jìn)步環(huán)環(huán)相扣。近十年來(lái)，人工智能技術(shù)持續(xù)推動(dòng)人類社會(huì)發(fā)展，各行各業(yè)掀起了智能化升級(jí)的浪潮。未來(lái)，大模型技術(shù)的持續(xù)創(chuàng)新與突破將助力人工智能的大規(guī)?？蓮?fù)制落地。

大模型能力將呈跳躍式發(fā)展。未來(lái)的大模型不僅能夠理解和處理不同的信息模態(tài)，如文本、語(yǔ)音、圖像、視頻等，還能夠進(jìn)行高層次的推理、規(guī)劃和執(zhí)行，在各種領(lǐng)域和任務(wù)中表現(xiàn)出接近通用人工智能的能力。這樣的人工智能技術(shù)將對(duì)人類社會(huì)和經(jīng)濟(jì)產(chǎn)生深遠(yuǎn)的影響。   

高質(zhì)量的領(lǐng)域數(shù)據(jù)和領(lǐng)域知識(shí)在構(gòu)建大模型應(yīng)用中仍將發(fā)揮重要的作用。一方面，領(lǐng)域數(shù)據(jù)集構(gòu)造使用了豐富而有代表性的訓(xùn)練樣本，在通用知識(shí)的基礎(chǔ)上，給模型注入特定場(chǎng)景的領(lǐng)域知識(shí)來(lái)提升其專業(yè)能力，以適配各行業(yè)任務(wù)中高精度與高泛化性的要求;另一方面，高質(zhì)量的數(shù)據(jù)篩選和清洗，能使數(shù)據(jù)規(guī)模大幅降低的同時(shí)有效保障系統(tǒng)的準(zhǔn)確性和可靠性。

大模型部署向端側(cè)化發(fā)展，大小模型協(xié)同工作。未來(lái)，大型與小型的協(xié)同將成為一個(gè)重要趨勢(shì)。大模型將負(fù)責(zé)提供高級(jí)能力和知識(shí)，而小模型則專注于處理特定任務(wù)，形成端邊云協(xié)同的解決方案，為個(gè)人和企業(yè)提供更加可靠、低成本、安全、個(gè)性化的 AI服務(wù)。

未來(lái)的人工智能將是由不同的子模型和一個(gè)或多個(gè)調(diào)度模型組成的智能 Agent 系統(tǒng)。智能 Agent 系統(tǒng)將管理各種模型，按照其擅長(zhǎng)的領(lǐng)域進(jìn)行劃分，并根據(jù)環(huán)境和任務(wù)的不同合理調(diào)度它們的執(zhí)行順序和資源分配。這種組合模型的機(jī)制將為人工智能領(lǐng)域帶來(lái)一種新的強(qiáng)大能力，可以實(shí)現(xiàn)更高層次的智能決策和優(yōu)化，能夠更加高效地利用系統(tǒng)的資源，并靈活地適應(yīng)工作負(fù)載的變化。培養(yǎng)和發(fā)展Algent的智能能力，是人工智能發(fā)展的一個(gè)重要趨勢(shì)，將帶來(lái)更廣泛的應(yīng)用領(lǐng)域和更高水平的智能技術(shù)。然而，我們還必須清醒地認(rèn)識(shí)到，人工智能的落地之路任重道遠(yuǎn)。從時(shí)間維度上看，人工智能對(duì)不同行業(yè)的賦能是有時(shí)間層次的。在準(zhǔn)確性要求較低的行業(yè)和場(chǎng)景，將較早實(shí)現(xiàn)應(yīng)用:而對(duì)準(zhǔn)確度要求更高的應(yīng)用和行業(yè)，還需要進(jìn)一步的調(diào)試和探索時(shí)間。面對(duì)現(xiàn)實(shí)世界中的各類復(fù)雜問(wèn)題，智能化轉(zhuǎn)型升級(jí)依然需要從規(guī)劃到實(shí)施的長(zhǎng)期投入，甚至是重塑業(yè)務(wù)流程，各行各業(yè)仍需進(jìn)一步的探索與實(shí)踐。

挖掘場(chǎng)景創(chuàng)新的潛力。在行業(yè)智能化的過(guò)程中，除了數(shù)據(jù)、算法、算力之外，還需要重點(diǎn)把握的一個(gè)關(guān)鍵因素是場(chǎng)景。當(dāng)前，隨著AI在不同行業(yè)的拓展，由場(chǎng)景碎片化帶來(lái)的需求個(gè)性化對(duì) AI落地提出了挑戰(zhàn)。但“硬幣”的另一面是，這些碎片化而海量的應(yīng)用場(chǎng)景，正是 AI不斷取得長(zhǎng)足發(fā)展、具備超大規(guī)模市場(chǎng)的一大優(yōu)勢(shì)。把技術(shù)用于場(chǎng)景，在場(chǎng)景中打磨技術(shù)并產(chǎn)品化，通過(guò)“技術(shù)-場(chǎng)景-技術(shù)-場(chǎng)景”循序迭代、積累經(jīng)驗(yàn)。以場(chǎng)景為驅(qū)動(dòng)的創(chuàng)新，已成為人工智能技術(shù)升級(jí)、產(chǎn)業(yè)增長(zhǎng)的關(guān)鍵驅(qū)動(dòng)力之    

提升全面的 AI工程化能力。AI落地的“最后一公里”中，工程化能力尤為重要。如果把 AI模型比作為汽車發(fā)動(dòng)機(jī)，那么AI工程化就是使發(fā)動(dòng)機(jī)能成為一臺(tái)完整的汽車并可自如行駛的工程化過(guò)程。不同的場(chǎng)景需求和交付具有很大的差異化，AI工程化要完善的是從業(yè)務(wù)調(diào)研、方案設(shè)計(jì)、算法實(shí)現(xiàn)到實(shí)施交付的全流程能力，并跳出單一的人工智能技術(shù)，實(shí)現(xiàn)從單點(diǎn)技術(shù)到跨技術(shù)的協(xié)同，從單一學(xué)科向多學(xué)科的交叉融合，形成綜合的技術(shù)應(yīng)用能力。加強(qiáng)產(chǎn)業(yè)鏈的生態(tài)協(xié)同。生態(tài)共建是促進(jìn)AI發(fā)展的有效路徑，產(chǎn)業(yè)界上下游共同探索，可為 AI應(yīng)用的“百花齊放”提供肥沃的土壤。政府、企業(yè)和社會(huì)還需共同從政策支持、人才培養(yǎng)、技術(shù)研發(fā)、數(shù)據(jù)共享、國(guó)際合作和創(chuàng)新環(huán)境等方面入手，攜手打通人工智能的“創(chuàng)新路”

發(fā)展安全可信的 AI。高度自動(dòng)化的人工智能系統(tǒng)已經(jīng)成為許多領(lǐng)域的核心應(yīng)用。這些系統(tǒng)能夠自主地學(xué)習(xí)、決策和執(zhí)行任務(wù)，同時(shí)也面臨著諸多安全威脅和風(fēng)險(xiǎn)。例如通過(guò)植入后門以在特定情景下產(chǎn)生預(yù)設(shè)反應(yīng)，大量的個(gè)人數(shù)據(jù)和敏感信息嵌在系統(tǒng)中容易泄漏，系統(tǒng)的決策和行為帶來(lái)偏見問(wèn)題和倫理問(wèn)題等。我們需要推動(dòng)技術(shù)向善，更加負(fù)責(zé)任地、以人為本地發(fā)展AI應(yīng)用，積極探索和制定相應(yīng)的標(biāo)準(zhǔn)規(guī)范，確保人工智能的發(fā)展符合人類的價(jià)值觀和倫理標(biāo)準(zhǔn)。只有具備高可信度的安全機(jī)制，高度自動(dòng)化的人工智能系統(tǒng)才能夠真正發(fā)揮其潛力，成為人類社會(huì)進(jìn)步和發(fā)展的有力工具?，F(xiàn)代管理學(xué)之父德魯克說(shuō)，預(yù)測(cè)未來(lái)最好的辦法就是創(chuàng)造它。人工智能的時(shí)代車輪滾滾向前，我們已經(jīng)可以預(yù)見，智能化的應(yīng)用，將如雨后春筍般生長(zhǎng);智能化的未來(lái)，將是片星辰大海。作為人工智能產(chǎn)業(yè)森林中的“一棵樹”，?？低晫?jiān)定不移地發(fā)展新技術(shù)、探索新應(yīng)用，以自身的技術(shù)實(shí)力、產(chǎn)品方案、行業(yè)實(shí)踐經(jīng)驗(yàn)、工程化能力等全方位的積累，助力千行百業(yè)加速智能化落地，共創(chuàng)更美好的智能世界。