|
“ AI雖好但是很有可能導(dǎo)致安全隱患，充分的臨床試驗(yàn)是非常有必要的！”
一項(xiàng)發(fā)表在《柳葉刀》(TheLancet)雜志上的研究顯示，一種用于檢測(cè)髖關(guān)節(jié)骨折的人工智能算法的表現(xiàn)優(yōu)于人類放射科醫(yī)生，但研究人員在進(jìn)一步測(cè)試后發(fā)現(xiàn)了一些錯(cuò)誤，這些錯(cuò)誤會(huì)妨礙該軟件的安全使用，因此在效率與安全如何平衡成為了人工智能在醫(yī)學(xué)領(lǐng)域運(yùn)用的最重要鴻溝。 01 — 具體細(xì)節(jié)！ 研究人員評(píng)估了一種深度學(xué)習(xí)模型，該模型旨在通過急診病人的正位X光片發(fā)現(xiàn)股骨近端骨折，該模型是根據(jù)澳大利亞皇家阿德萊德醫(yī)院的數(shù)據(jù)進(jìn)行訓(xùn)練的。他們將該模型的準(zhǔn)確性與同樣來自阿德萊德皇家醫(yī)院的數(shù)據(jù)集上的5名放射科醫(yī)生進(jìn)行了比較，然后利用美國(guó)斯坦福大學(xué)醫(yī)學(xué)中心的成像結(jié)果進(jìn)行了外部驗(yàn)證研究，最后，他們進(jìn)行了算法審計(jì)，以發(fā)現(xiàn)任何不尋常的錯(cuò)誤。
在皇家阿德萊德研究中，評(píng)估人工智能模型性能的受試者工作特征曲線(AUC)下面積為0.994，而放射科醫(yī)生的AUC為0.969。使用Stanford數(shù)據(jù)集，模型性能的AUC為0.980。然而，研究人員發(fā)現(xiàn)，如果沒有額外的準(zhǔn)備，外部驗(yàn)證仍然不能在新的環(huán)境中使用。
該研究的作者寫道:“盡管人工智能系統(tǒng)(AUC)的鑒別性能似乎在外部驗(yàn)證中得以維持，但在預(yù)先指定的操作點(diǎn)(從95.5到75.0)的靈敏度下降，將使系統(tǒng)在新的環(huán)境中無(wú)法在臨床上使用?！薄氨M管這種轉(zhuǎn)變可以通過選擇一個(gè)新的操作點(diǎn)來緩解，正如我們?cè)谑潞蠓治鲋邪l(fā)現(xiàn)的類似的敏感性和特異性(特異性的較小下降反映了區(qū)別表現(xiàn)的較小下降)， 這需要一個(gè)本地化過程來確定新環(huán)境中的新操作點(diǎn)?！?/p>
雖然該模型總體表現(xiàn)良好，但研究也指出，它偶爾會(huì)出現(xiàn)非人類錯(cuò)誤，或人類放射科醫(yī)生不會(huì)犯的意外錯(cuò)誤。作者寫道:“盡管該模型在股骨近端骨折檢測(cè)的任務(wù)中表現(xiàn)非常好，但在人們認(rèn)為簡(jiǎn)單易懂的情況下，該模型似乎容易犯意想不到的錯(cuò)誤。”
02 — 該文章對(duì)整個(gè)AI醫(yī)學(xué)應(yīng)用市場(chǎng)的影響！ 研究人員表示，該研究強(qiáng)調(diào)了在實(shí)施人工智能模型之前進(jìn)行嚴(yán)格測(cè)試的重要性?！霸撃Ｐ驮谕獠框?yàn)證中表現(xiàn)優(yōu)于放射科醫(yī)生的測(cè)試并保持了性能，但在進(jìn)一步測(cè)試中顯示出一些意想不到的局限性。對(duì)人工智能模型進(jìn)行全面的臨床前評(píng)估，包括算法審計(jì)，即使在高性能的人工智能系統(tǒng)中，也可以發(fā)現(xiàn)意想不的、潛在的有害行為，這可以為未來的臨床測(cè)試和部署決策提供信息?！?/p>
許多公司正在使用人工智能分析成像結(jié)果。上個(gè)月，Aidoc獲得了FDA 510(k)的兩項(xiàng)許可，用于標(biāo)記和分類潛在的氣胸和腦動(dòng)脈瘤。該領(lǐng)域的另一家公司quure。在獲得美國(guó)食品和藥物管理局(FDA)批準(zhǔn)后不久，該公司的一款工具就獲得了4000萬(wàn)美元的融資，該工具可以幫助提供商根據(jù)胸部x光片植入呼吸管。盡管支持者認(rèn)為人工智能可以改善結(jié)果并降低成本，但研究表明，用于訓(xùn)練這些模型的許多數(shù)據(jù)集來自美國(guó)和中國(guó)，這可能會(huì)限制它們?cè)谄渌麌?guó)家的用途。偏見也是醫(yī)療提供者和研究人員的一大擔(dān)憂，因?yàn)樗锌赡芗觿⌒l(wèi)生不平等。 |
|
|
