|
顯微鏡有著悠久的歷史，1590年由荷蘭的詹森父子所首創(chuàng)，是人類最偉大的發(fā)明之一，是人類進(jìn)入原子時代的標(biāo)志。顯微鏡作為科研和醫(yī)療領(lǐng)域重要的分析儀器，隨著科學(xué)進(jìn)步，對顯微鏡性能要求提高。而人工智能（AI）的引入，可幫助顯微鏡看的更清晰，更快的處理更多的數(shù)據(jù)，更實(shí)時、精確、自動化等。近年來，有很多企業(yè)、科研機(jī)構(gòu)和高校投入大量精力，致力于AI應(yīng)用于顯微鏡研究。當(dāng)前，顯微鏡智能化技術(shù)發(fā)展迅速。本文將從顯微鏡基本概述，AI應(yīng)用于顯微鏡研究進(jìn)展，智能顯微鏡研究企業(yè)及機(jī)構(gòu)，未來機(jī)遇與挑戰(zhàn)等幾個方面進(jìn)行綜述。顯微鏡泛指將微小不可見或難見物品之影像放大，而能被肉眼或其他成像儀器觀察的工具。日常用語中之顯微鏡多指光學(xué)顯微鏡，放大倍率、清晰度（聚焦）、分辨率為顯微鏡重要因素。顯微鏡的類型有許多。最常見的是光學(xué)顯微鏡、電子顯微鏡、掃描探針顯微鏡等。光學(xué)顯微鏡：一種利用光學(xué)透鏡產(chǎn)生影像放大效應(yīng)的顯微鏡，分辨率大約為一微米，可以看到細(xì)胞大小的物品。主要有熒光顯微鏡、偏光顯微鏡等、相襯顯微鏡等。2014年10月8日，諾貝爾化學(xué)獎頒給了艾Eric Betzig，William Moerner和Stefan Hell，獎勵其發(fā)展超分辨熒光顯微鏡，帶領(lǐng)光學(xué)顯微鏡進(jìn)入納米級尺度中。 
電子顯微鏡：使用電子來展示物件的內(nèi)部或表面的顯微鏡，可觀察到單一原子。主要包括透射電子顯微鏡（TEM）、掃描電子顯微鏡（SEM）、場發(fā)射掃描電子顯微鏡、掃描透射電子顯微鏡等類型。1986年，恩斯特·魯斯卡因研制第一臺透視電子顯微鏡獲得諾貝爾物理學(xué)獎。2017年，雅克·杜博歇、約阿希姆·弗蘭克、理查德·亨德森因研制用于溶液內(nèi)生物分子的高分辨率結(jié)構(gòu)測定的低溫電子顯微鏡獲得諾貝爾化學(xué)獎。 掃描探針顯微鏡（SPM）：是機(jī)械式地用探針在樣本上掃描移動以探測樣本影像的顯微鏡，其分辨率主要取決于探針的大?。ㄍǔＴ诩{米的范圍）。主要類型有：掃描隧道顯微鏡(STM)、 原子力顯微鏡（AFM)等。 光誘導(dǎo)顯微鏡（PiFM） 是一種相對較新的掃描探針顯微鏡技術(shù)。將 AFM 與紅外激光相結(jié)合，以誘導(dǎo)偶極子進(jìn)行化學(xué)成像。具有高分辨率化學(xué)圖像（空間分辨率<10 nm）和高分辨率光譜（分辨率<1cm-1）。通過AFM檢測這種誘導(dǎo)力，不僅可以觀察AFM圖像，還可以在納米級高精度、高分辨率地觀察化學(xué)成像。顯微鏡具有廣泛的用途。一般應(yīng)用于生物、醫(yī)藥、微觀粒子等觀測。具體到：物質(zhì)成分分析；分子、中子、原子等分析；細(xì)胞、基因、細(xì)菌、病毒等分析；電子器件檢測等等。AI應(yīng)用于顯微鏡最新研究進(jìn)展多少年來，人們?yōu)樘岣唢@微鏡的分辨能力和清晰度等付出了艱辛的勞動。隨著計算機(jī)技術(shù)和工具的不斷進(jìn)步，相關(guān)理論和方法不斷改進(jìn)，加上原材料性能的提高，工藝和檢測手段的不斷完善，觀察方法的創(chuàng)新，使顯微鏡的成像質(zhì)量提高，處理數(shù)據(jù)速度加快，更加自動化、智能化。圖示：智能顯微鏡與傳統(tǒng)顯微鏡性能對比。（來源：騰訊 AI Lab） 噪聲是圖像中非真實(shí)信號的總和，照明度越弱，圖像噪聲越大。這可以解釋為什么夜間用手機(jī)拍照會有顆粒感，更不用說用于保護(hù)脆弱的樣品的微光顯微照片。生物學(xué)家站在計算機(jī)的肩膀上，對圖像不斷校驗(yàn)并選擇正確的降噪方法。為了將圖像噪聲最小化，研究人員長期以來一直采用降噪算法，最早是一種由計算機(jī)科學(xué)家開發(fā)的數(shù)學(xué)過程，然后進(jìn)入了深度學(xué)習(xí)時代， 通過將圖像傳遞給計算機(jī)并允許它們制定出最佳的降噪方案，研究人員看到了令人驚嘆的結(jié)果。瑞典烏普薩拉大學(xué)國家SciLifeLab生物圖像信息學(xué)設(shè)施負(fù)責(zé)人Carolina W?hlby使用一種稱為Top-Hat的算法來清除熒光顯微照片和其他圖像中的背景噪聲。Top-Hat執(zhí)行一種數(shù)學(xué)轉(zhuǎn)換，以從圖像中去除過亮或過暗的元素。研究人員表示：在許多情況下，類似的方法的確非常有效。由Jug及合伙人一起開發(fā)的CSBDeep是一個在線的機(jī)械學(xué)習(xí)工具箱，可以與Fiji圖像處理環(huán)境或Python編程語言一起使用。同樣，Ouyang的網(wǎng)絡(luò)應(yīng)用軟件ImJoy為多種機(jī)器學(xué)習(xí)方法的測試提供了一站式服務(wù)。具體內(nèi)容可參考ScienceAI之前的報道《機(jī)器學(xué)習(xí)消除噪聲，讓顯微鏡圖像更加清晰》。圖示：使用 Noise2Void 軟件去噪之前（左）和去噪之后（右）的秀麗隱桿線蟲胚胎的顯微鏡圖像。（來源：C. Broaddus 等人/Proc. IEEE） 相關(guān)報道：https://mp.weixin.qq.com/s/vAmQ5uLZOziUydFbJg7PsQ威爾康奈爾醫(yī)學(xué)院研究團(tuán)隊開發(fā)了一種計算技術(shù)，通過將定位圖像重建算法應(yīng)用于原子力顯微鏡（AFM） 和傳統(tǒng) AFM 數(shù)據(jù)中的峰值位置，將分辨率提高到超出尖端半徑設(shè)置的限制，并在天然和動態(tài)條件下解析蛋白質(zhì)表面上的單個氨基酸殘基。大大提高了AFM 的分辨率。該方法揭示了正常生理條件下蛋白質(zhì)和其他生物結(jié)構(gòu)的原子級細(xì)節(jié)，為細(xì)胞生物學(xué)、病毒學(xué)和其他微觀過程打開了一個新窗口。研究成果于6月16日發(fā)表在《Nature》雜志上。圖示：定位 AFM 和 X 射線結(jié)構(gòu)。（來源：威爾康奈爾醫(yī)學(xué)院） 論文鏈接：https://www./articles/s41586-021-03551-x澳大利亞昆士蘭大學(xué)和德國的一組研究人員利用量子糾纏技術(shù)建造了一臺「量子顯微鏡」。這種新的顯微鏡能利用量子糾纏來安全地顯示生物樣本，揭示出了原本不可能看到的生物結(jié)構(gòu)。利用量子糾纏，量子顯微鏡可以在不破壞細(xì)胞的情況下，將信噪比（或者說清晰度）提高35%，使科學(xué)家能夠看到原本看不見的微小生物結(jié)構(gòu)。相關(guān)領(lǐng)域的研究人員認(rèn)為，這一突破標(biāo)志著顯微鏡領(lǐng)域的一次重大飛躍，甚至可能啟動下一場顯微鏡的革命。研究成果于6月9日發(fā)表在《Nature》雜志上。圖示：使用量子顯微鏡（左）和傳統(tǒng)顯微鏡（右）對酵母細(xì)胞的分子成像。（來源：University of Queensland） 論文鏈接：https://www./articles/s41586-021-03528-w為了創(chuàng)建大腦等組織的高分辨率 3D 圖像，研究人員經(jīng)常使用雙光子顯微鏡。然而，在大腦深處掃描可能很困難，因?yàn)楣饩€會隨著深入組織而從組織中散射出來，從而使圖像變得模糊。雙光子成像也很耗時，因?yàn)樗ǔＰ枰淮螔呙鑶蝹€像素。MIT和哈佛大學(xué)的研究人員現(xiàn)在開發(fā)了一種雙光子成像的改進(jìn)版本，可以在組織內(nèi)更深地成像，并且比以前成像速度更快，這種成像可以讓科學(xué)家更快地獲得大腦內(nèi)血管和單個神經(jīng)元等結(jié)構(gòu)的高分辨率圖像。相關(guān)報道：https://www./pub_releases/2021-07/miot-mtm070621.php使用常規(guī)顯微鏡時，景深（DOF）和空間分辨率之間存在固定的權(quán)衡：所需的空間分辨率越高，DOF越窄。研究人員開發(fā)了一種稱為DeepDOF的計算顯微鏡，該顯微鏡在保持分辨率的情況下，其DOF可以達(dá)到傳統(tǒng)顯微鏡的五倍以上，從而大大減少了圖像處理所需的時間。DeepDOF使用了放置在顯微鏡孔徑處的優(yōu)化相位掩模和基于深度學(xué)習(xí)的算法，該算法將傳感器數(shù)據(jù)轉(zhuǎn)換為高分辨率的大DOF圖像。圖示：DeepDOF（來源：https://news.）數(shù)字全息成像是生物醫(yī)學(xué)成像中常用的顯微鏡技術(shù)，用于揭示樣本的豐富光學(xué)信息。常見的圖像傳感器只對入射光的強(qiáng)度做出響應(yīng)。加州大學(xué)洛杉磯分校的研究團(tuán)隊開發(fā)出一種新的全息相位檢索技術(shù)，可以快速重建樣品的微觀圖像，與現(xiàn)有方法相比，可加速50倍。研究結(jié)果首次證明了使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行全息成像和相位恢復(fù)，所提出的框架將廣泛適用于各種相干成像模式。具體內(nèi)容可參考ScienceAI之前的報道《RNN 用于生物醫(yī)學(xué)全息成像，速度加快50倍》。圖示：用于RH-M和RH-MD培訓(xùn)的GAN框架。（來源：加州大學(xué)洛杉磯分校） 相關(guān)報道：https://mp.weixin.qq.com/s/9nV2XAHAunU6yEt72GIXEg德克薩斯大學(xué)西南醫(yī)學(xué)中心的科學(xué)家與英格蘭和澳大利亞的同事合作，構(gòu)建并測試了一種新型光學(xué)設(shè)備，可將常用顯微鏡轉(zhuǎn)換為多角度投影成像系統(tǒng)。在不移動樣品的情況下實(shí)時提供多個方向的視圖，并且工作速度比當(dāng)前技術(shù)快 100 倍。該研究于6月28日發(fā)表在《Nature Methods》雜志上。論文鏈接：https://www./articles/s41592-021-01175-7盡管 3D 成像取得了進(jìn)步，但對大型 3D 組織中的所有細(xì)胞進(jìn)行剖面分析仍然具有挑戰(zhàn)性，包括存在的許多細(xì)胞類型的形態(tài)和組織。荷蘭Máxima公主小兒腫瘤中心的科學(xué)家研究了一種新的成像技術(shù)和計算管道來研究 3D 組織中的數(shù)百萬個細(xì)胞，揭示每個細(xì)胞的數(shù)百個特征。成像管道將可以同時標(biāo)記的顏色數(shù)量從4種增加到8種，處理大量數(shù)據(jù)的時間，從多天縮短到大約兩個小時。研究成果于6月3日發(fā)表《Nature Biotechnology》雜志上。論文鏈接：https://www./articles/s41587-021-00926-3非線性光學(xué)顯微鏡已實(shí)現(xiàn)毫米級的體內(nèi)深層組織成像。一個關(guān)鍵的挑戰(zhàn)是其有限的吞吐量，厚混濁樣品中發(fā)射光子的散射嚴(yán)重降低了相機(jī)的圖像質(zhì)量。基于此，MIT研究人員引入了一種新技術(shù)，稱為激發(fā)模式去散射或「DEEP」，利用計算成像獲得高分辨率的圖像，其速度比其他使用復(fù)雜算法和機(jī)器學(xué)習(xí)的先進(jìn)技術(shù)快100到1000倍。該方法可以把一個需要幾個月的過程變成幾天。研究成果于7月7日發(fā)表在《Science Advances》雜志上。圖示：DEEP-TFM 的實(shí)驗(yàn)裝置和成像策略。（來源：論文） 論文鏈接：https://advances./content/7/28/eaay5496 相關(guān)報道：https://www./pub_releases/2021-07/hu-nit070221.php 目前，顯微成像技術(shù)發(fā)展快速，用于觀察各種細(xì)胞和組織中的蛋白質(zhì)。由于復(fù)雜擁擠的細(xì)胞環(huán)境以及蛋白質(zhì)的種類和大小各異，每天都會生成大量蛋白質(zhì)圖像，無法手動分類。因此，設(shè)計一種自動且準(zhǔn)確的方法來正確求解和分析具有混合模式的蛋白質(zhì)圖像至關(guān)重要。中國科學(xué)院計算技術(shù)研究所、中國科學(xué)院大學(xué)和清華大學(xué)的研究小組提出了一種新穎的定制架構(gòu)，使用深度卷積神經(jīng)網(wǎng)絡(luò)對高通量顯微鏡圖像進(jìn)行多標(biāo)記蛋白質(zhì)識別。該研究成果于6月15日發(fā)表在《BMC Bioinformatics》上。圖示：具有 4 通道輸入和 ACP 層的新型網(wǎng)絡(luò)架構(gòu)。（來源：www.ncbi.nlm.）論文鏈接：https://www.ncbi.nlm./pmc/articles/PMC8207617/跨尺度成像揭示了生物體、組織和細(xì)胞中的疾病機(jī)制。然而，特定的感染表型，如病毒誘導(dǎo)的細(xì)胞裂解，仍然難以研究。蘇黎世大學(xué)的研究人員使用活細(xì)胞中的熒光圖像訓(xùn)練了一個人工神經(jīng)網(wǎng)絡(luò)，自動檢測感染的細(xì)胞。不僅可以可靠地識別受病毒感染的細(xì)胞，還可以在早期識別嚴(yán)重的急性感染。該研究成果于6月25日發(fā)表在《Cell Press: iScience》上。圖示：深度學(xué)習(xí)檢測病毒感染的細(xì)胞并預(yù)測急性、嚴(yán)重感染。（來源：蘇黎世大學(xué)）該分析方法基于將活細(xì)胞中的熒光顯微鏡與深度學(xué)習(xí)過程相結(jié)合。受感染細(xì)胞內(nèi)形成的皰疹和腺病毒會改變細(xì)胞核的組織，這些變化可以在顯微鏡下觀察到。該小組訓(xùn)練了一種深度學(xué)習(xí)算法——一種人工神經(jīng)網(wǎng)絡(luò)——來自動檢測這些變化。該網(wǎng)絡(luò)接受了大量顯微鏡圖像的訓(xùn)練，通過這些圖像，它可以學(xué)習(xí)識別感染或未感染細(xì)胞的特征模式。訓(xùn)練和驗(yàn)證完成后，神經(jīng)網(wǎng)絡(luò)會自動檢測受病毒感染的細(xì)胞。論文鏈接：https://www./iscience/fulltext/S2589-0042(21)00511-3?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS2589004221005113%3Fshowall%3Dtrue材料的特性可能會由于其原子之間的間隔發(fā)生微小變化而發(fā)生劇烈變化，這在材料科學(xué)的術(shù)語中通常稱為「局部應(yīng)變」。高角度環(huán)形暗場成像（HAADF）——一種STEM中的方法，用于局部應(yīng)變的精確測量。然而，在實(shí)踐中，由于設(shè)備中的機(jī)械和電氣噪聲，HAADF 圖像經(jīng)常失真，將最小的可測量局部應(yīng)變限制在略高于 1% 的范圍內(nèi)。日本高等科學(xué)技術(shù)研究所(JAIST) 的研究團(tuán)隊將 HAADF 成像與高斯過程回歸 (GPR) 相結(jié)合，這是一種常用于機(jī)器學(xué)習(xí)以及經(jīng)濟(jì)學(xué)和地質(zhì)學(xué)等領(lǐng)域的數(shù)據(jù)處理技術(shù)。提高了 HAADF 的精度成像，所提出的方法能夠以 0.2% 的精度測量應(yīng)變。該研究成果于7月7日發(fā)表在 《ACS Nano》 上。圖示：使用高斯過程回歸 (GPR) (IMAGE) 精確測量原子位移和應(yīng)變。（來源：JAIST）相關(guān)報道：https://www./pub_releases/2021-07/jaio-dst071321.php論文鏈接：https://pubs./doi/10.1021/acsnano.1c03413材料創(chuàng)新基礎(chǔ)設(shè)施的三大平臺：計算工具平臺（Computational tools）、實(shí)驗(yàn)工具平臺(Experimental tools)和數(shù)字化數(shù)據(jù)平臺(Digital tools)，而顯微鏡作為重要的實(shí)驗(yàn)工具之一，隨著AI發(fā)展，無論是專攻于顯微鏡研發(fā)的企業(yè)，還是AI科技公司，國內(nèi)外關(guān)注AI顯微鏡研發(fā)的企業(yè)數(shù)不勝數(shù)。騰訊 AI Lab：2020年4月，騰訊 AI Lab 宣布中國首款智能顯微鏡獲藥監(jiān)局批準(zhǔn)進(jìn)入臨床應(yīng)用。騰訊 AI Lab 聯(lián)合業(yè)界領(lǐng)先的舜宇光學(xué)科技、國內(nèi)最大的第三方醫(yī)學(xué)檢驗(yàn)機(jī)構(gòu)金域醫(yī)學(xué)宣布三方研發(fā)的智能顯微鏡已獲得 NMPA 注冊證，成為國內(nèi)首個獲準(zhǔn)進(jìn)入臨床應(yīng)用的智能顯微鏡產(chǎn)品。智能顯微鏡目前使用了離線運(yùn)算版本，騰訊 AI Lab 還研發(fā)了一套基于深度學(xué)習(xí)方法的升級版算法，具有更高精準(zhǔn)度和升級潛力。圖示：免疫組織化學(xué)（IHC）訓(xùn)練學(xué)習(xí)過程的流程示意圖。（來源：騰訊科技）愛威科技股份有限公司作為自動顯微鏡檢驗(yàn)先行者，二十年來一直專注于「基于人工智能和機(jī)器視覺技術(shù)的醫(yī)學(xué)顯微鏡形態(tài)學(xué)檢驗(yàn)自動化」技術(shù)的研究和相關(guān)產(chǎn)品開發(fā)，建立了全自動顯微鏡細(xì)胞形態(tài)學(xué)檢測技術(shù)平臺。2015年成立的聚束科技自主研發(fā)生產(chǎn)的高通量、自動化掃描電子顯微鏡技術(shù)，與人工智能技術(shù)結(jié)合為「AI顯微鏡」，實(shí)現(xiàn)了超高速高分辨跨尺度大規(guī)模SEM成像以及海量SEM圖像快速測量、統(tǒng)計、分析，自動化生成數(shù)據(jù)分析報告的全套解決方案。聚束科技與人工智能平臺公司商湯科技合作，結(jié)合人工智能和深度學(xué)習(xí)技術(shù)，定制化開發(fā)符合客戶材料分析需求的AI算子，以替代對國外廠商的技術(shù)依賴。尼康（Nikon）：2020年9月，尼康推出了Clarify.ai——一種AI算法，用于從寬視野顯微鏡圖像中去除模糊。Clarify.ai 利用深度學(xué)習(xí)， Clarify.ai 已經(jīng)過預(yù)訓(xùn)練，可以識別離焦平面發(fā)出的熒光信號，并且可以通過計算從圖像中去除這種霧霾成分，從而顯著提高信噪比 (S/N)。今年5月份，Nikon 推出 AX 和 AX R 共聚焦顯微鏡系統(tǒng)，具有 8K 分辨率、世界上最大的 25 mm視野，以及一套先進(jìn)的基于人工智能 (AI) 的工具，用于加速基于顯微鏡的研究。蔡司（ZEISS）的研究團(tuán)隊使用一種稱為「解決方案實(shí)驗(yàn)室（Solutions Lab）」的流程來構(gòu)建工作流，該工作流使用AI自動檢測科學(xué)家可能希望調(diào)查的樣本區(qū)域。
徠卡（Leica）的研究團(tuán)隊一直在建立一個經(jīng)過預(yù)訓(xùn)練的深度學(xué)習(xí)模型庫以及Aivia軟件，該軟件可以使任何人利用AI顯微鏡技術(shù)。Mindpeak致力于創(chuàng)建基于人工智能的軟件，為臨床病理學(xué)中的圖像分析帶來精確性和便利性。學(xué)術(shù)和商業(yè)領(lǐng)域的研究人員普遍認(rèn)為，將AI應(yīng)用于科學(xué)生活的最大障礙是對未知的恐懼。然而，AI日益增長的影響力是不可否認(rèn)的。無論是在觀察細(xì)胞還是在巖石，不論科學(xué)家對AI了解如何。將AI引入顯微鏡的日常實(shí)踐的關(guān)鍵是確保任何科學(xué)家都可以使用該技術(shù)。為計算顯微鏡提供動力的深度學(xué)習(xí)算法需要大型數(shù)據(jù)集來訓(xùn)練，但此類數(shù)據(jù)集并不那么容易獲得。且必須評估這些算法的性能，并將其與當(dāng)前的分析標(biāo)準(zhǔn)進(jìn)行比較。這是整個學(xué)術(shù)界的共同挑戰(zhàn)。未來，在AI的助力下，顯微鏡將看的更清晰、處理數(shù)據(jù)更快、更加自動化、精確。讓科研變得更輕松。以上可能只是目前研究的一部分。期待更多新的AI顯微鏡研究，未來可期.....
|
