【原】深沖超分辨率

小白學(xué)視覺 2021-04-03

展開全文

重磅干貨，第一時間送達

小黑導(dǎo)讀

論文是學(xué)術(shù)研究的精華和未來發(fā)展的明燈。小黑決心每天為大家?guī)斫?jīng)典或者最新論文的解讀和分享，旨在幫助各位讀者快速了解論文內(nèi)容。個人能力有限，理解難免出現(xiàn)偏差，建議對文章內(nèi)容感興趣的讀者，一定要下載原文，了解具體內(nèi)容。

摘要

雖然單幅圖像超分辨率(SISR)近年來吸引了大量的興趣，提出的方法僅限于學(xué)習(xí)圖像先驗以添加高頻細節(jié)。相比之下，多幀超分辨率(MFSR)提供了通過結(jié)合多幅移位圖像的信號信息重建豐富細節(jié)的可能性。這一關(guān)鍵優(yōu)勢，隨著爆炸攝影的日益普及，已經(jīng)使MFSR成為現(xiàn)實世界應(yīng)用的一個重要問題。針對突發(fā)超分辨率任務(wù)，作者提出了一種新的結(jié)構(gòu)。作者的網(wǎng)絡(luò)以多個有噪聲的原始圖像作為輸入，生成一個去噪的、超分辨率的RGB圖像作為輸出。這是通過使用像素級光流明確地對齊輸入幀的深度嵌入來實現(xiàn)的。然后使用基于注意力的融合模塊自適應(yīng)地融合所有幀的信息。為了能夠?qū)φ鎸嵤澜绲臄?shù)據(jù)進行訓(xùn)練和評估，作者額外引入了由智能手機突發(fā)數(shù)據(jù)和高分辨率數(shù)碼單反地面真相數(shù)據(jù)集組成的the burst sr dataset。作者進行全面的實驗分析，以證明所建議的架構(gòu)的有效性。

論文創(chuàng)新點

作者引入了第一個由原始爆發(fā)和相應(yīng)的HR地面真相組成的真實世界爆發(fā)超分辨率數(shù)據(jù)集。
作者提出了一種新的MFSR體系結(jié)構(gòu)，該體系結(jié)構(gòu)可以使用手持相機捕捉到的突發(fā)數(shù)據(jù)進行聯(lián)合去噪、demosaising和SR。
作者的架構(gòu)采用了一種基于注意力的融合方法，自適應(yīng)地合并輸入圖像，以生成高質(zhì)量的HR輸出
作者進一步解決了在對真實世界數(shù)據(jù)進行訓(xùn)練時遇到的不對齊問題，通過引入一個損失函數(shù)，可以內(nèi)部糾正這些不對齊。

框架結(jié)構(gòu)

作者的burst超分辨率架構(gòu)概述

輸入突發(fā)中的每幅圖像首先獨立地通過編碼器傳遞。然后，使用對齊模塊預(yù)測的流向量將生成的特征映射彎曲到基幀(b1)坐標。然后，利用權(quán)重預(yù)測器計算的融合權(quán)重，使用基于注意力的融合模塊對對齊的特征圖進行融合。合并后的特征圖?e通過解碼器模塊得到超分辨的RGB圖像作為輸出。

實驗結(jié)果

作者在Amazon Mechanical Turk上進行了用戶研究，比較了這四種方法。作者在20個測試圖像上獲得每個網(wǎng)絡(luò)的HR預(yù)測。接下來，作者從20張測試圖像中隨機抽取15張200 × 200的作物。然后使用最近鄰插值法將300種作物的大小調(diào)整為400 × 400。作者向參與者展示真實的人力資源形象，以及網(wǎng)絡(luò)預(yù)測。要求被試根據(jù)所提供的單反參考圖像的視覺質(zhì)量對4種方法的預(yù)測結(jié)果進行排序。網(wǎng)絡(luò)預(yù)測是匿名和隨機的，以避免任何偏見。作者對每種作物進行了5個獨立的排名。所有作物的平均排名(MOR)以及某一方法排名第一的次數(shù)百分比(%Top)如表6所示。作者的方法的MOR為1.81，明顯優(yōu)于其他所有方法。此外，作者的方法在所有方法中以53.6%的次數(shù)位居最佳，是次最佳方法的2.5倍以上。作者還報告測試集上的PSNR、lpip和SSIM分數(shù)，如第6.1節(jié)所述計算。圖8也提供了定性比較。作者的方法在所有三個指標上都獲得了最好的結(jié)果，在PSNR方面比HighRes-net高出1.24 dB。

結(jié)論

作者解決了現(xiàn)實世界的多幀超分辨率問題。作者引入了一個新的數(shù)據(jù)集BurstSR，其中包含從手持相機捕獲的原始突發(fā)序列，以及使用變焦鏡頭獲得的相應(yīng)高分辨率地面真相。作者進一步提出了一種多幀超分辨率網(wǎng)絡(luò)，通過基于注意的融合，可以自適應(yīng)地結(jié)合來自多個輸入圖像的信息。作者的方法在真實的突發(fā)事件中得到了很好的結(jié)果，優(yōu)于單幀和多幀的選擇。

論文鏈接：https:///pdf/2101.10997.pdf

每日堅持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -