昨日，傳來醫(yī)療AI界萬眾翹首期盼的消息。

“人工智能類醫(yī)療器械注冊申報公益培訓”悄然在北京開幕，整個會議僅持續(xù)一下午，卻隱含了醫(yī)療AI領域所共同關注的三類器械審批信息，里程碑式的勝利就此展開？

在本次會上，藥監(jiān)局細致入微的分析了影響醫(yī)療人工智能器械審批的每一個過程，細化到對每個指標進行了詳盡的講解，這是一場名副其實的“AI醫(yī)療注冊申報培訓”。

同時，會上介紹，截至2018年11月底，藥監(jiān)局收到創(chuàng)新特別審批申請1054項，192項同意按照特別程序審批。51項創(chuàng)新醫(yī)療器械已通過特別程序獲準上市。遺憾的是，會上并未透露AI相關產品過審的信息。

據相關人士透露，國家藥品監(jiān)督管理局已經理清了AI審批全流程的思路，審批通道已于12月中旬開放，然而，高標準下，還無一企業(yè)進行AI三類器械產品申報。不過，標準出臺后，一切只是時間問題。

在此，動脈網記者對整個會議的內容進行了梳理，嘗試幫助醫(yī)療AI的從業(yè)人員理清藥監(jiān)局審批的思路與要點，其內容包括主要包括以下四個方面：

一、審批流程；

二、審批要點解讀；

三、肺結節(jié)、糖網病變的臨床試驗設計及問題思考；

四、申報材料等其他信息。

第一部分：審批總體思維、原則及流程

醫(yī)療器械注冊是一項行政許可制度，是食品藥品監(jiān)督管理部門根據醫(yī)療器械注冊申請人的申請，依照法定程序，對其擬上市醫(yī)療器械的安全性、有效性研究及其結果進行系統(tǒng)評價，以決定是否統(tǒng)一其申請的過程。

從總體思維上看，醫(yī)療器械申報以分類管理為基礎，以風險高低為依據，確定醫(yī)療器械注冊與備案的具體要求，其具體的申報流程如下圖所示：

國家藥品監(jiān)督管理局醫(yī)療器械審批流程圖

第二部分：審批要點解讀

審批要點解讀是本次會議的核心，本次會議系統(tǒng)性的講解了醫(yī)療AI產品在審批過程中所面臨數據庫、數據安全、軟件更新、產品適用、云計算服務等問題，涵蓋了人工智能的產品的每一個要素，研究人員甚至可以根據這一套指標設立明確的評分。

1、適用范圍

按照適用范圍，AI產品可通過下屬三個因素進行分類：

深度學習輔助決策醫(yī)療器械軟件：

包括醫(yī)療器械數據、深度學習、輔助決策、醫(yī)療器械軟件。

軟件類型：

可分為AI獨立軟件（本身即為醫(yī)療器械的AI軟件）

AI軟件組件（醫(yī)療器械內含的AI軟件）。

軟件用途：

輔助決策；

輔助篩查、識別、診斷、治療等-非輔助決策；

前處理、流程優(yōu)化、常規(guī)后處理。

2、風險考量

風險考量即是對AI產品在使用過程中的風險進行評價，以達到抑制風險，提高AI產品可靠性的目的。主要包括以下兩大類因素的考量。

1. 臨床使用風險

假陽性：誤診，過度醫(yī)療風險。

假陰性：漏診，快速進展疾病風險。

進口軟件：中外差異(人種、流行病學、臨床診療準則)。

2. 風險管理活動

要素：預期用途(目標疾病、臨床用途、重要程度、緊迫程度)、使用場景(患者人群目標用戶、使用場所、臨床流程)、核心功能(處理對象、功能類型)。

措施：設計、防護、警示。

要求：貫穿于軟件全生命周期過程。

3、需求分析

需求分析以臨床需求與使用風險為導向，結合預期用途、使用場景和核心功能，綜合考慮法規(guī)、標準、用戶、產品、數據、功能、性能、接口、用戶界面、網絡安全等需求。在此情況下，企業(yè)需重點關注：

1. 數據收集：目標疾病流行病學特征,如疾病構成(分型、分級、分期)、人群分布(健康狀態(tài)、性別、年齡)、統(tǒng)計指標(患病率、治愈率)、并發(fā)癥與類似疾病等。

2. 算法性能：假陽性與假陰性指標、重復性與再現性、魯棒性/健壯性。

3. 臨床使用限制：臨床禁用、慎用等場景

4、軟件確認

軟件確認即以提供客觀證據認定軟件滿足用戶需求和預期目的，包括軟件確認測試(用戶測試)、臨床評價(若適用)、評審等系列活動。

臨床評價是此類軟件進行確認的主要方式，主要包括兩個原則。

1. 軟件指導原則：基于臨床試驗的臨床評價資料，即軟件的臨床試驗資料或與軟件核心算法具有實質等同性的同品種產品臨床試驗資料。

2. 進口軟件：評估中外差異，若存在顯著差異應在中國開展臨床試驗；而使用境外臨床試驗數據應當滿足相應指導原則要求。

5、臨床試驗

臨床試驗需基于軟件的預期用途、使用場景和核心功能,按照診斷試驗進行臨床試驗設計，其核心要點包括以下四項：

1. 試驗設計：建議優(yōu)先選擇同品種產品或臨床參考標佳進行非劣效對照設計，次之可選擇用戶結合軟件聯(lián)合決策與用戶單獨決策進行優(yōu)效對照設計；非劣效或優(yōu)效界值的確定應有充分臨床依據。

2. 觀察指標：以敏感性、特異性、ROC/AUC為主要指標 ，亦可選擇時間效率等指標作為評價指標

3. 入排標準：基于目標疾病的流行病學特征

4. 來源機構：異于訓練數據主要來源機構,地域分布盡可能廣泛，機構數量需盡可能多。

6、回顧性研究

為鼓勵創(chuàng)新并降低臨床試驗成本，臨床試驗可使用回顧性數據，但應在設計時考慮并嚴格控制偏倚問題，原則上應當包含多個不同地域臨床機構(非訓練數據主要來源機構)的同期數據。

使用原則(基于風險)，軟件安全性級別判定詳見軟件指導原則：

• 對于高風險軟件:臨床預試驗或臨床試驗補充。

• 對于中風險次件:臨床預試驗或替代臨床試驗。

7、軟件更新基本原則

軟件更新應當考慮對軟件安全性和有效性的影響(正面和負面)，注意軟件更新是導致軟件召回的主要原因之一。

監(jiān)管部門將對以下程度的更新進行監(jiān)管：

重大軟件更新：許可事項變更。

輕微軟件更新：質量體系控制,無需申請注冊變更。

軟件版本命名規(guī)則：

明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新應當列舉全部典型情況，應涵蓋算法驅動型、數據驅動型軟件更新。

8、重大軟件更新要點

常見更新類型包括算法驅動型更新與數據驅動型更新，算法驅動型更新包括軟件所用算法、算法結構、算法流程、所用框架、輸入與輸出等發(fā)生改變；數據驅動型指僅由訓練數據量增加加而促使軟件更新

對于重大軟件更新，判定需遵循以下原則：

1. 算法驅動型軟件更新通常屬于重大軟件更新。

2. 數據驅動型軟件更新若導致算法評估結果發(fā)生顯著性改變(與前次注冊相比)則屬于重大軟件更新。

3. 其他類型重大軟件更新的判定準則詳見軟件指導原則、網絡安全指導原則

9、驗證與確認

無論何種軟件更新，均應按照質量管理體系要求，開展與軟件更新類型、內容和程度相適宜的驗證與確認活動。而算法驅動型和數據驅動型軟件更新均應開展算法性能再評估、臨床再評價。

其中，臨床再評價(基于風險)包括：

高風險軟件：適用范圍變更應當開展臨床試驗,其他情況原則上可使用回顧性研究。

中低風險軟件：可使用回顧性研究。

10、適用范圍擴展

根據要求，全部AI軟件功能均應開展需求分析、數據收集(若適用)、算法設計、 軟件確認；每項AI軟件功能應獨立開展需求分析、 數據收集(若適用)、算法設計、軟件確認。

對于深度學習非輔助決策軟件則需遵循以下步驟：

1. 前處理：算法性能評估、臨床評價。

2. 流程優(yōu)化：算法性能評估。

3. 常規(guī)后處理:算法性能評估,必要時臨床評價。

11、第三方數據庫

第三方數據庫視為回顧性研究一種特殊形式，可用于算法性能評估，但未必能夠完全滿足軟件確認的要求。

第三方數據庫類型包括測評數據庫與非測評數據庫。評測數據庫可用于軟件確認，非測評數據庫（如公開數據庫）不可用于軟件確認 。

12、評測數據庫

測評數據庫需滿足網絡與數據安全、可擴展性等因素。具體要求如下：

權威性：數據標注應由相應權威臨床機構負責。

科學性：樣本量、樣本分布應符合統(tǒng)計學要求。

規(guī)范性：數據治理應建立質控程序并可追溯。

多樣性：數據應來源于多個臨床機構。

封閉性：應封閉管理,且樣本總量遠大于單次測試量。

動態(tài)性：應定期更換一定比例數據。

13、網絡與數據安全過程控制

無論企業(yè)上市前還是上市后，除考慮軟件自身網絡安全能力建設外，企業(yè)還應當在軟件全生命周期過程中考慮網絡與數據安全過程控制要求,

基本考量指標包括：脫敏數據轉移、封閉與開放網絡環(huán)境、數據接口兼容性、數據備份與恢復。

14、云計算服務與移動計算終端

云計算服務應明確服務模式、部署模式、核心功能、數據接口、網絡安全能力和服務(質量)協(xié)議。

移動計算終端需結合終端的類型、特點和使用風險明確性能指標要求。詳見移動器械指導原則、網絡安全指導原則

15、適用范圍

AI獨立軟件的適用范圍包括以下場景：

1. 明確預期用途、使用場景和核心功能。

2. 包括但不限于處理對象、目標疾病、臨床用途、患者人群、目標用戶、使用場所、數據采集設備要求(若適用)、臨床使用限制(若適用)。

AI軟件組件的適用范圍可參照Al獨立軟件要求，并在產品適用范圍中予以體現。

16、研究資料

研究資料包括軟件描述文檔、網絡安全描述文檔、軟件版本命名規(guī)則.

軟件描述文檔要求核心算法部分應當結合本審評要點提供相應算法研究資料，以及測試集、公開數據庫、測評數據庫、回顧性研究、臨床試驗的算法性能評估結果比較分析資料。

研究資料其他資料應當提供網絡與數據安全過程控制研究資料、第三方數據庫(測評、公開)的基本信息(如名稱、創(chuàng)建者、數據量、數據分布)和使用情況(如使用量、數據分布、比重、資質)。

17、說明書

輔助決策軟件應明確軟件的適用范圍、臨床使用限制、注意事項、用戶培訓、數據采集設備要求、數據采集操作規(guī)范、輸入與輸出、算法性能評估總結(測試集基本信息、評估指標與結果)、臨床評價總結(臨床數據基本信息、評價指標與結果)等信息

深度學習輔助決策軟件除上述內容外還應當補充算法訓練總結信息(訓練集基本信息、訓練指標售與結果)。

第三部分（上）：肺結節(jié)臨床試驗設計及問題思考

“肺結節(jié)的臨床試驗設計與問題思考”這一議題的內容由四川大學華西醫(yī)院劉倫旭主任制作。肺結節(jié)一直在醫(yī)療人工智能領域處于核心研究方向，其審批標準的探討已經持續(xù)了接近一年之久。然而人工智能的審批本就是一個極其復雜且極其嚴謹的問題。劉倫旭主任在會上總結肺病外科診治臨床問題，嘗試構架完善的研究設計。

基于胸外科領域目前存在的若干實際臨床問題，研究人員應從手術指征判斷、手術方式選擇和術后預后預測模型三方面構建胸外科肺癌診治智能化系統(tǒng)。

手術指征判定包括：

1. 肺結節(jié)智能定位和定性識別；

2. 縱隔窗淋巴結智能定位與定性識別；

3. GGO圖像特征提取與腺癌形成各時期相關性分析；

4. 多原發(fā)癌和肺內轉移影像譜特征鑒定和鑒別。

手術方式選擇：

1. 基于圖像分割和三維重建的肺段可視化及小結節(jié)定位手術方式選擇  

2. 基于神經網絡的淋巴結轉移精準預測

3. 基于胸部影像譜頂測小結節(jié)STAS和微乳頭成分

術后預后預測：

1. 基干神經網絡的術后并發(fā)癥預測模型構建

2. 基于多種數據類型的肺癌術后復發(fā)轉移模式、預后預測模型構建

3. 基于影像類數據驅動基因突變和免疫檢查變化

4. 未知（因PPT缺失）

基于神經網絡的術后并發(fā)定預測模型構建，官方調研了8465例接受了手術治療的肺癌患者，其中1453例發(fā)生術后并發(fā)癥。

在這其中隨機選取250例術后發(fā)生并發(fā)癥患者，并選取250例未發(fā)生患者作為測試集;剩余7965例數據作為訓練集， 在訓練集上訓練神經網絡模型。

經過數據整理，模型的動態(tài)識別模型效能為88.0%，識別率為81.2%，查全率為73.2%，查準率為87.14%。這是現階段人工智能產品在臨床中實現的理想數據。

第三部分（下）：糖尿病視網膜病變AI輔助診斷臨床試驗設計中的問題及思考

“糖尿病視網膜病變AI輔助診斷臨床試驗設計中的問題及思考”由四川大學華西醫(yī)院劉倫旭主任講解。會上總共提到了三種糖網AI臨床試驗的方法，這里收錄了其中兩種：

1. 以產品有效性為參考，在實際中，AI產品應滿足“AI>醫(yī)生”，若強調AI對醫(yī)生的輔助作用，則滿足“醫(yī)生+AI>醫(yī)生”。

從理論上這是一個很好的臨床評價方法，但實際評價結果與醫(yī)生水平有很大關系。在目前臨床試驗下，公司多選取三甲醫(yī)院來做，這導致AI輔助作用被弱化。而基層醫(yī)院的醫(yī)生水平參差不齊,很難設一個統(tǒng)的標準，所以Al主要的應用場景是在基層醫(yī)院/體檢中心的輔助篩查和輔助診斷。

2. 以單組目標值作為參考，主要觀察AI產品性能與其聲稱的性能是否一致；是否FDA已經批準的IDX-DR產品采用的臨床試驗方法。與有效性相比,這種方法受人為因素的干擾較小，具有比較好的客觀性。

在這一類AI產品中，企業(yè)必須嚴格進行數據控制，同時考慮諸多不同的場景，如考慮輔助篩查、輔助診斷、隨診分析的流程差異；三甲醫(yī)院、基層醫(yī)院、體檢中心等場景差異；不同場景和機型下的圖片質量差異；是否需輔助轉診:需要不需要轉診等。

第四部分：受理前咨詢、申報材料等其他信息

受理前咨詢全稱為醫(yī)療器械注冊受理前技術問題咨詢，其范圍主要包括醫(yī)療器械注冊申報前的相關問題，不包含技術審評過程中的相關問題。

受理前咨詢申請每周五下午1:00至4:00，地點為北京市西城區(qū)宣武門西大街大成廣場行政受理服務大廳。

境內申請人攜帶:申請人出具的涵蓋相關委托內容的委托書、個人有效身份證件、醫(yī)療器械技術審評中心咨詢登記表。

境外申請人攜帶:境外申請人指定境內企業(yè)法人作為代理人的委托書、境內代理人出具的涵蓋相關委托內容的委托書、個人有效身份證件、醫(yī)療器械技術審評中心咨詢登記表。

申請人(與申請表蓋章單位一致)對委托辦事人員及所辦事項的委托書(見關于辦理受理和領取批件等行政許可事項的公告(第169號)(附件D)，辦事人員需攜帶身份證明原件、復印件及注冊申報資料。

總結

關于AI類醫(yī)療器械創(chuàng)新申請目前還沒有太多的審查經驗。會上藥監(jiān)局提到了以下幾點建議：

1. 規(guī)范的醫(yī)療器械產品名稱;

2. 有明確的軟件預期用途、使用場景、核心功能、運行環(huán)境;

3. 使用的數據應來自臨床機構。且說明來源機構及采集要求;

4. 提供算法設計的相關資料。包括算法選擇及訓練;

5. 提供真實臨床數據的軟件驗證資料;

6. 能夠支持產品具有顯著臨床應用價值的數據資料。

由于審批條件較多，對于當前的許多人工智能企業(yè)而言，其中的部分條款可能相對較為苛刻，企業(yè)仍在準備相關材料，據幾家人工智能頭部企業(yè)透露，本次申請過程存在細節(jié)多、標準高的特點，他們正在提交資料申請備案，但由于沒有先例，對后續(xù)結果沒法進行其他判斷。

當然，嚴格的把關凸顯了我國發(fā)展AI的決心，這樣落地的產品必然是能經得起醫(yī)院、醫(yī)生、患者考量的產品。同時，有了審批標準化的指引，企業(yè)也有了為之奮斗的明確目標，剩下的，不過只是時間問題。