超十億樣本煉就的CNN助力圖像質(zhì)量增強，Adobe推出新功能「增強細節(jié)」

taotao_2016 2019-02-18

展開全文

選自Adobe

作者：Sharad Mangalick

機器之心編譯

參與：Nurhachu Null、路

近日，Adobe 宣布推出一項名為 Enhance Details（增強細節(jié)）的照片編輯應(yīng)用程序新功能，該功能使用機器學(xué)習(xí)來增強圖像的分辨率和圖像質(zhì)量。新功能將在 Lightroom CC 中提供，Adobe 稱該功能可以將某些圖像的分辨率提高多達 30％。

近日，Adobe 宣布推出一項名為 Enhance Details（增強細節(jié)）的照片編輯應(yīng)用程序新功能，該功能使用機器學(xué)習(xí)——一個經(jīng)過大量訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)——為那些真正需要重視的圖片提供最高的質(zhì)量。增強細節(jié)功能在 Bayer 格式（佳能、尼康、索尼等）和 X-Trans 格式（富士膠片）的原始馬賽克文件上都能很好地使用。

上圖展示了 Fuji X-Trans 文件中細節(jié)區(qū)域放大到 200% 時的區(qū)別。請注意窗戶和街燈中細節(jié)的清晰度得到了增強。

照相機是如何看世界的

要想理解「增強細節(jié)」的原理，我們先來了解一下普通的數(shù)碼相機傳感器是如何看世界的。

人眼可以區(qū)分?jǐn)?shù)百萬種顏色。我們絕大多數(shù)人都是有三色視覺的，我們的視網(wǎng)膜上有不同類型的錐形感光細胞，可以感知紅色、綠色和藍色。每類視錐細胞都可以讓眼睛區(qū)分大約 100 種色度，然后人類視覺系統(tǒng)將信號混合在一起來看見這數(shù)百萬種不同色度的顏色。

但是，照相機并不是這么看世界的。

所有的數(shù)字照片都是從單色開始的。然后通過逆馬賽克變換過程將照片變成彩色。

數(shù)碼相機傳感器由兩部分組成。首先是主要的光傳感器陣列。微觀光敏腔測量給定像素的光強度。只是光強，并沒有顏色。例如你在沙灘上，觀看太平洋上的日落。

你看到的景象是這樣的：

你記憶中的樣子。

相機上的光傳感器陣列只能看到一張單色圖片（可能更暗一些，因為光傳感器感知光線的方式與人眼不同，原始處理（raw processing）關(guān)心的就是這個問題，但是一張超級黯淡的圖片并不會讓人感興趣，所以......

沒有色彩濾波陣列的相機看到的是這樣的。

在光傳感器陣列上面加上色彩濾波陣列后會產(chǎn)生不同的結(jié)果。色彩濾波陣列讓傳感器記錄每一個像素的顏色，例如：

色彩濾波陣列將每個像素記為單個的紅色、綠色或者藍色。這幅圖呈綠色的原因是拜耳陣列（Bayer array）的綠色像素是紅色和藍色像素的兩倍，這是為了模仿人眼感知顏色的方式。

數(shù)碼照相機對每一個給定像素只會記錄三種顏色之中的一個。例如對于紅色像素，色彩濾波陣列會移除所有的藍色和綠色信息，最終導(dǎo)致這個像素僅僅記錄紅色。因此原始圖像中的每個像素都會缺失其他兩種顏色的信息。

軟件是如何重建圖像的

數(shù)字照片中每個像素復(fù)合的紅、綠、藍色的值是通過逆馬賽克變換過程來創(chuàng)建的。

逆馬賽克變換方法的出現(xiàn)是藝術(shù)與科學(xué)。有很多種方式可以對一張照片進行逆馬賽克處理。逆馬賽克設(shè)計的選擇可以影響一切，從照片的整體分辨率到較小顏色區(qū)域的保真度，以及精細細節(jié)的準(zhǔn)確再現(xiàn)。

在其最基本的形式中，逆馬賽克過程會將鄰近像素的顏色值平均化。例如，具有紅色濾波器的像素將僅提供這個像素關(guān)于紅色光強的記錄。逆馬賽克算法會對所有四個相鄰藍色像素的值取平均，來決定最可能的藍色值，然后對周圍的綠色像素也進行同樣的操作得到綠色值。猜測最可能的值是什么的過程叫做插值，它是逆馬賽克過程的一個重要部分。

在具有平滑色彩梯度或者恒定顏色的圖像區(qū)域中，逆馬賽克過程相對簡單一些，比如藍天和白云。然而，在具有更復(fù)雜的圖像區(qū)域中，這個過程會變得特別棘手。在具有紋理、精細細節(jié)、重復(fù)圖案和尖銳邊緣的區(qū)域中，標(biāo)準(zhǔn)的逆馬賽克方法會遇到麻煩，從而產(chǎn)生較低分辨率和有問題的圖像。

高級的逆馬賽克方法能夠處理這些復(fù)雜區(qū)域，但是這些方法消耗大量計算資源。構(gòu)建一幅圖像需要大量數(shù)學(xué)計算來執(zhí)行必需的插值操作。即使在最強大的計算機硬件上，這也需要時間。

因此，像 Lightroom 這樣的軟件一直在不斷地進行圖像保真度和速度之間的權(quán)衡。

逆馬賽克問題

實際上需要解決的逆馬賽克問題并不多。但是他們一次又一次，以新的和更復(fù)雜的形式，在一張又一張的圖像中出現(xiàn)。

小尺寸細節(jié)：如果圖像具有逼近相機傳感器分辨率極限的小細節(jié)，那么這是一個大問題。如果幸運的話，你僅僅會把這些細節(jié)變成混亂的顏色。如果不幸，你會遇到莫爾圖案，顏色偽影排列成迷宮一樣的圖案。
假色：當(dāng)逆馬賽克算法跨尖銳的邊緣而不是沿著邊緣進行錯誤插值時，你可能看到顏色的突變或者不自然的變化。
Zippering：圖像邊緣缺少通常用來插值顏色數(shù)據(jù)的一半像素，所以可能出現(xiàn)邊緣模糊。

Adobe 一直在努力提升逆馬賽克算法。多年來，Adobe 已經(jīng)將算法改進到能夠在大多數(shù)圖像上表現(xiàn)得非常好的程度。但是這些特殊的難題仍需要我們以不同的方式思考這個問題。

增強細節(jié)

進入 Adobe Sensei。Sensei 集成了人工智能的所有分支，包括機器學(xué)習(xí)。

增強細節(jié)使用一個經(jīng)過大量訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進行圖片質(zhì)量最大化的優(yōu)化。Adobe 使用有問題的示例訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)來對原始圖像進行逆馬賽克處理，然后利用內(nèi)置于最新 Mac OS 和 win10 操作系統(tǒng)中的機器學(xué)習(xí)框架來運行這個網(wǎng)絡(luò)。增強細節(jié)使用的神經(jīng)網(wǎng)絡(luò)已經(jīng)在超過十億示例上進行了訓(xùn)練。

這十億示例中的每一個都包含一或多個上述問題，它們給標(biāo)準(zhǔn)的逆馬賽克方法帶來了嚴(yán)重的麻煩。Adobe 訓(xùn)練了兩個模型：一個用于 Bayer 傳感器，另一個用于 Fujifilm X-Trans 傳感器。

所以，增強細節(jié)帶來了令人驚嘆的效果，包括更高的分辨率、更準(zhǔn)確的邊緣和細節(jié)渲染、更少的偽影（如假色和莫爾圖案）。

Adobe 用西門子星分辨率測試卡進行了計算，發(fā)現(xiàn)「增強細節(jié)」在 Bayer 和 X-Trans 原始圖像上能夠提供高達 30% 的分辨率提升。如果你想自己嘗試一下，請自行下載富士膠片原始文件（https://theblogimages.adobe.com/wp-content/uploads/2019/02/Fuji-X-Trans-Sample-File.zip）。