美國國防部高級研究計劃局（DARPA）于2021年3月3日啟動“感知賦能的任務(wù)指導(dǎo)” (Perceptually-enabled Task Guidance，PTG) 項目，旨在開發(fā)能夠幫助軍事人員完成復(fù)雜任務(wù)、擴展技能和減少錯誤的人工智能虛擬助手。

PTG項目分為兩大研究領(lǐng)域，一是基礎(chǔ)研究，解決一系列互聯(lián)問題：知識轉(zhuǎn)移、感知綁定、感知注意、用戶建模等。知識轉(zhuǎn)移是指PTG虛擬助手從為人類準備的指令中自動獲取任務(wù)知識，包括清單、圖解手冊和培訓(xùn)視頻。感知綁定是指助手根據(jù)對對象、動作、聲音、文字的感知輸入，與用于向用戶描述和建模任務(wù)的術(shù)語相匹配，以便觀察可以映射至任務(wù)知識。感知注意是指助手在忽略無關(guān)刺激的同時，必須注意與當前任務(wù)相關(guān)的感知輸入。它們還需要能響應(yīng)意外但相關(guān)的事件，這些事件可能會改變用戶的目標或建議新任務(wù)。用戶建模是指助手必須能夠確定與用戶共享多少信息以及何時共享。這需要開發(fā)和整合用戶所知的認知模型、用戶當前行為的物理模型及其注意力和情緒狀態(tài)模型。二是關(guān)注這些基礎(chǔ)研究成果在軍事相關(guān)用戶案例場景中的綜合應(yīng)用。DARPA目前主要聚焦三個應(yīng)用領(lǐng)域：戰(zhàn)場醫(yī)療（如未經(jīng)訓(xùn)練的人員在戰(zhàn)場上幫助醫(yī)務(wù)人員）、機械維修（保障軍事裝備正常運行）和輔助駕駛（尤其是直升機）。

研發(fā)合作方面，DARPA已與多個團隊簽署項目相關(guān)合同。2021年12月，DARPA授予紐約大學(xué)坦登工程學(xué)院VIDA中心主任Claudio T. Silva教授領(lǐng)導(dǎo)的研究小組500萬美金合同，用于開發(fā)人工智能虛擬助手。2022年2月，DARPA與諾斯羅普·格魯曼公司簽訂合同，為UH-60黑鷹直升機飛行員開發(fā)人工智能助手原型，該原型將嵌入AR耳機中，幫助飛行員執(zhí)行預(yù)期和意外的任務(wù)。雷神情報與航天公司也參與了DARPA戰(zhàn)場醫(yī)療AI助手的研發(fā)。技術(shù)應(yīng)用方面，與Siri、Alexa或Google智能助理不同，PTG助手通過結(jié)合傳感器（麥克風和頭戴式攝像頭）和增強現(xiàn)實（AR）耳機來了解用戶的所見所聞，并通過AI生成指令來指導(dǎo)用戶。此外，PTG項目使用微軟Hololens 2增強現(xiàn)實系統(tǒng)作為硬件平臺測試平臺。

本視頻是DARPA信息創(chuàng)新辦公室項目經(jīng)理布魯斯·德雷珀對PTG項目進展的最新介紹。PTG項目正在麻省理工學(xué)院林肯實驗室的主持下進行。研發(fā)團隊包含紐約大學(xué)、加州大學(xué)、諾斯羅普·格魯曼公司等機構(gòu)的研究人員，他們來自可視化、人機交互、計算機視覺、自然語言處理等多個方向。他們在麻省理工學(xué)院的Hacker Reactor展示虛擬助手的第一個版本。不過，團隊并沒有展示助手如何輔助駕駛直升機，而是展示其如何幫助人們按食譜烹飪。布魯斯·德雷珀表示，之所以選擇烹飪作為演示樣例，是因為它是作為一項可以通過多種方式完成的復(fù)雜體力勞動。他還指出，目前軍方也希望了解該技術(shù)的發(fā)展趨勢。研究人員還表示，PTG最終會在醫(yī)療培訓(xùn)、評估醫(yī)生和其他醫(yī)療保健服務(wù)方面發(fā)揮作用。