|
光譜成像旨在同時獲取二維圖像的空間信息和其對應(yīng)的光譜圖像，可以完整地描述物體的顏色與材質(zhì)信息，廣泛應(yīng)用于遙感、人臉識別、生物醫(yī)藥等領(lǐng)域。傳統(tǒng)光譜成像方法通過分時掃描測量光譜數(shù)據(jù)，極大受限于三維光譜圖像與二維傳感器之間的矛盾。而計算光譜成像采用特殊的光學(xué)系統(tǒng)對光譜數(shù)據(jù)進(jìn)行光學(xué)編碼，并通過光譜重建算法解碼得到三維光譜圖像。計算光譜成像可較好兼顧光譜和時空分辨率，實現(xiàn)了光學(xué)系統(tǒng)的輕量化與數(shù)據(jù)的高效處理。 來自同濟(jì)大學(xué)和香港大學(xué)的研究人員對近年來的計算光譜成像研究進(jìn)行了詳細(xì)的歸納整理，以綜述形式近期發(fā)表于領(lǐng)域內(nèi)中文核心期刊《激光與光電子學(xué)進(jìn)展》。該特邀綜述在統(tǒng)一的理論框架下闡述了不同的光場編碼和重建算法以及其區(qū)別與聯(lián)系，系統(tǒng)性幫助學(xué)者以宏觀視角認(rèn)識計算光譜成像中的光學(xué)設(shè)計與求解算法及其未來的研究方向。 
圖1. 計算光譜成像系統(tǒng)的主要組成及工作原理在計算光譜成像中，目標(biāo)場景發(fā)出的光譜分布經(jīng)過具有編碼功能的光學(xué)系統(tǒng)調(diào)制后，圖像傳感器采集到編碼的光信號并轉(zhuǎn)換為電信號，最后由光譜重建算法重建完整的光譜圖像。其中，線性光學(xué)系統(tǒng)成像原理與壓縮感知（CS）理論是設(shè)計光場編碼和進(jìn)行光譜重建的重要基礎(chǔ)。
像面編碼是將景物成像至某一中間像面，在該像面上進(jìn)行壓縮編碼后再成像到探測器得到二維測量圖像。像面編碼光譜成像系統(tǒng)種類繁多，該文章將其作為光學(xué)編碼的一類方法，主要討論了單像素相機(jī)（圖2）、編碼孔徑快照式光譜成像（圖3）、多幀編碼（圖4）和三維編碼（圖5）的原理與各自優(yōu)劣。
圖2. 單像素相機(jī)系統(tǒng)結(jié)構(gòu)及編碼原理：（a）普通 SPC 光譜成像；（b）CHISSS
圖3. 編碼孔徑快照式壓縮光譜成像系統(tǒng)結(jié)構(gòu)及編碼原理：（a）DD-CASSI；（b）SD-CASSI
圖4. 雙相機(jī)壓縮光譜成像系統(tǒng)結(jié)構(gòu)及編碼原理
圖5. 三維編碼孔徑系統(tǒng)結(jié)構(gòu)及編碼原理：（a）CCA；（b）DCSI；（c）SSCSI- 點擴(kuò)散函數(shù)編碼 不同于像面編碼系統(tǒng)，點擴(kuò)散函數(shù)編碼是通過額外的光學(xué)元件改變系統(tǒng)的PSF實施編碼，進(jìn)而重建數(shù)據(jù)立方體。在成像中不同波長的信息將與對應(yīng)的PSF卷積，從而在每個像素附近提供光譜重建的線索。依據(jù)被調(diào)制后的PSF提供光譜信息的方式，該文章將現(xiàn)有PSF編碼研究分為三類：散射編碼、色散編碼和衍射調(diào)控編碼，如圖6所示。
圖6. 點擴(kuò)散函數(shù)編碼系統(tǒng)結(jié)構(gòu)示例- 光譜響應(yīng)編碼 除了針對像面與系統(tǒng)PSF編碼之外，還可以對圖像傳感器進(jìn)行光譜響應(yīng)特性的編碼。光譜響應(yīng)編碼方法的原理是根據(jù)多通道圖像中不同通道提供的互補(bǔ)信息重建三維光譜圖，因此多通道光譜響應(yīng)函數(shù)的設(shè)計是該類方法研究的重點。這篇文章基于光譜響應(yīng)函數(shù)設(shè)計的方法將光譜響應(yīng)編碼分為了固定光譜響應(yīng)、隨機(jī)光譜響應(yīng)和優(yōu)化光譜響應(yīng)，并進(jìn)行了原理、發(fā)展及應(yīng)用上的詳細(xì)討論。在線性光學(xué)系統(tǒng)的作用下，光學(xué)系統(tǒng)對光譜圖像的編碼可以由下式描述：
其中，矩陣Η刻畫了光場編碼過程，M為編碼圖像，I為目標(biāo)場景的多光譜圖像光強(qiáng)分布。光譜重建算法即從Μ反推I，這一般是一個高度欠定的問題，但在CS理論與機(jī)器學(xué)習(xí)的幫助下是可行的。鑒于此，光譜重建算法可以分為基于物理模型與先驗知識的方法和基于深度學(xué)習(xí)的端到端重建兩類。前者側(cè)重于不同方法應(yīng)用的先驗信息，后者則側(cè)重于所采用的網(wǎng)絡(luò)架構(gòu)。常用的先驗及對應(yīng)的求解算法包括稀疏逼近，全變分約束，低秩結(jié)構(gòu)，張量分解等，均為迭代式。而光譜重建中的測量信息M是高維信號，導(dǎo)致了重建光譜立方體的巨大計算量。使用分塊處理的方法可以顯著提高重建速度。此外，傳統(tǒng)的正則化項只能提供啟發(fā)式的先驗信息，這限制了光譜重建的質(zhì)量?？梢圆捎蒙疃葘W(xué)習(xí)來學(xué)得先驗知識以解決這個問題。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)的擬合能力越來越強(qiáng)大，光譜圖像的高質(zhì)量端到端重建逐漸成為可能。端到端重建利用神經(jīng)網(wǎng)絡(luò)可以直接從被編碼的圖像中端到端快速重建三維光譜圖像。代表性的端到端光譜重建方法包括卷積神經(jīng)網(wǎng)絡(luò)（CNN），多尺度CNN，生成對抗網(wǎng)絡(luò)，注意力機(jī)制等。隨著更先進(jìn)的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練方法被提出，端到端重建的效果已經(jīng)超越了傳統(tǒng)算法。由于不同光譜重建算法之間差異懸殊，該文將兩類光譜重建方法進(jìn)行了梳理總結(jié)，如表1所示。 表1. 基于物理模型與先驗知識的光譜重建算法與范例總結(jié)
計算光譜成像技術(shù)的研究在近二十年來取得了巨大進(jìn)步，但仍然存在一些問題，且從現(xiàn)有技術(shù)到商業(yè)化落地仍有一定距離。該綜述于文末討論了計算光譜成像未來可能的研究方向，包括多種光場編碼方式的結(jié)合以提升系統(tǒng)設(shè)計的自由度，空間和光譜維度的解耦以提升算法重建速度，以及利用無監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)來提升系統(tǒng)的泛化性等。目前多數(shù)的計算光譜成像技術(shù)仍然局限于特定應(yīng)用場景與實驗室，且關(guān)于光場編碼器件的加工難度、系統(tǒng)魯棒性、計算資源限制等問題都阻礙了相關(guān)技術(shù)的應(yīng)用。隨著光學(xué)、數(shù)學(xué)、計算科學(xué)和人工智能等交叉學(xué)科的發(fā)展，新型理論工具和技術(shù)手段可能助力于計算光譜成像技術(shù)，特別是超表面等先進(jìn)器件和機(jī)器學(xué)習(xí)的發(fā)展都可能為上述問題提供解決思路。
論文信息：
Computational Spectral Imaging: Optical Encoding and Algorithm Decoding (Invited), 激光與光電子學(xué)進(jìn)展, 2024, 61 (16).
*該技術(shù)分享所涉及文字及圖片源于發(fā)表論文和網(wǎng)絡(luò)公開素材,不做任何商業(yè)用途。
|
