本文對(duì)圖像語(yǔ)義分割近年來(lái)的主要發(fā)展做一個(gè)綜述性的介紹。

翻譯了以下兩篇博文，并進(jìn)行了整合。

https://www./semantic-segmentation/ 

http://blog./notes/semantic-segmentation-deep-learning-review

1. 語(yǔ)義分割的定義

語(yǔ)義分割是計(jì)算機(jī)視覺中十分重要的領(lǐng)域，它是指像素級(jí)地識(shí)別圖像，即標(biāo)注出圖像中每個(gè)像素所屬的對(duì)象類別。下圖為語(yǔ)義分割的一個(gè)實(shí)例，其目標(biāo)是預(yù)測(cè)出圖像中每一個(gè)像素的類標(biāo)簽。

這里需要和實(shí)例分割區(qū)分開來(lái)。它沒有分離同一類的實(shí)例；我們關(guān)心的只是每個(gè)像素的類別，如果輸入對(duì)象中有兩個(gè)相同類別的對(duì)象，則 分割本身不將他們區(qū)分為單獨(dú)的對(duì)象。

常見的應(yīng)用包括：

• 自動(dòng)駕駛汽車：我們需要為汽車增加必要的感知，以了解他們所處的環(huán)境，以便自動(dòng)駕駛的汽車可以安全行駛；下圖為自動(dòng)駕駛過程中實(shí)時(shí)分割道路場(chǎng)景；

• 醫(yī)學(xué)圖像診斷：機(jī)器可以增強(qiáng)放射醫(yī)生進(jìn)行的分析，大大減少了運(yùn)行診斷測(cè)試所需的時(shí)間；下圖是胸部X光片的分割，心臟（紅色），肺部（綠色以及鎖骨（藍(lán)色）；

簡(jiǎn)單來(lái)說(shuō)，分割的目標(biāo)一般是將一張RGB圖像（height*width*3）或是灰度圖（height*width*1）作為輸入，輸出的是分割圖，其中每一個(gè)像素包含了其類別的標(biāo)簽（height*width*1）. 為了清晰起見，使用了低分辨率的預(yù)測(cè)圖，但實(shí)際上分割圖的分辨率應(yīng)與原始輸入的分辨率相匹配。

其中，與處理標(biāo)準(zhǔn)分類值的方式類似，我們使用one-hot編碼對(duì)類標(biāo)簽進(jìn)行處理，實(shí)質(zhì)上是為每個(gè)可能的類創(chuàng)建相應(yīng)的輸出通道。

one-hot 編碼可查看https://www.cnblogs.com/daguankele/p/6595470.html， 包括意義及方法。

最后，可以通過argmax將每個(gè)深度方向像素矢量折疊成分割圖，我們可以通過將它覆蓋在原圖上，它會(huì)照亮圖像中存在特定類的區(qū)域，以便觀測(cè)（mask）。

2. 方法綜述

在深度學(xué)習(xí)應(yīng)用到計(jì)算機(jī)視覺領(lǐng)域之前，人們使用 TextonForest 和 隨機(jī)森林分類器進(jìn)行語(yǔ)義分割。卷積神經(jīng)網(wǎng)絡(luò)（CNN）不僅對(duì)圖像識(shí)別有所幫助，也對(duì)語(yǔ)義分割領(lǐng)域的發(fā)展起到巨大的促進(jìn)作用。

語(yǔ)義分割任務(wù)最初流行的深度學(xué)習(xí)方法是圖像塊分類（patch classification），即利用像素周圍的圖像塊對(duì)每一個(gè)像素進(jìn)行獨(dú)立的分類。使用圖像塊分類的主要原因是分類網(wǎng)絡(luò)通常是全連接層（full   connected   layer），且要求固定尺寸的圖像。

2014 年，加州大學(xué)伯克利分校的 Long等人提出全卷積網(wǎng)絡(luò)（FCN），這使得卷積神經(jīng)網(wǎng)絡(luò)無(wú)需全連接層即可進(jìn)行密集的像素預(yù)測(cè)，CNN 從而得到普及。使用這種方法可生成任意大小的圖像分割圖，且該方法比圖像塊分類法要快上許多。之后，語(yǔ)義分割領(lǐng)域幾乎所有先進(jìn)方法都采用了該模型。

除了全連接層，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割存在的另一個(gè)大問題是池化層。池化層雖然擴(kuò)大了感受野、聚合語(yǔ)境，但因此造成了位置信息的丟失。但是，語(yǔ)義分割要求類別圖完全貼合，因此需要保留位置信息。 有兩種不同結(jié)構(gòu)來(lái)解決該問題。  第一個(gè)是編碼器--解碼器結(jié)構(gòu)。編碼器逐漸減少池化層的空間維度，解碼器逐步修復(fù)物體的細(xì)節(jié)和空間維度。編碼器和解碼器之間通常存在快捷連接，因此能幫助解碼器更好地修復(fù)目標(biāo)的細(xì)節(jié)。U-Net是這種方法中最常用的結(jié)構(gòu)。     第二種方法使用空洞/帶孔卷積（dilated/atrous   convolutions）結(jié)構(gòu)，來(lái)去除池化層。

• encoder-decoder 結(jié)構(gòu)的提出

針對(duì)語(yǔ)義分割任務(wù)構(gòu)建神經(jīng)網(wǎng)絡(luò)架構(gòu)的最簡(jiǎn)單的方法是簡(jiǎn)單地堆疊多個(gè)卷積層（使用same填充以保留需要的維度）并輸出最終的分割圖。這通過特征映射的連續(xù)變換直接學(xué)習(xí)從輸入圖像到其對(duì)應(yīng)分割的映射。但在整個(gè)網(wǎng)絡(luò)中保持全分辨率的計(jì)算成本非常高。

對(duì)于深度卷積網(wǎng)絡(luò)，淺層主要學(xué)習(xí)低級(jí)的信息，隨著網(wǎng)絡(luò)越深，學(xué)習(xí)到更高級(jí)的特征映射。為了保持表達(dá)能力，我們通常需要增加特征圖的數(shù)量（通道數(shù)），從而可以得到更深的網(wǎng)絡(luò)。對(duì)于圖像分類來(lái)說(shuō)，由于我們只關(guān)注圖像“是什么”（而不是位置在哪），因而我們可以通過階段性對(duì)特征圖降采樣（downsampling）或者帶步長(zhǎng)的卷積（例如，壓縮空間分辨率）。然而對(duì)于圖像分割，我們希望我們的模型產(chǎn)生全分辨率語(yǔ)義預(yù)測(cè)。

圖像分割領(lǐng)域現(xiàn)在較為流行的是編碼器/解碼器結(jié)構(gòu)，其中我們對(duì)輸入的空間分辨率進(jìn)行下采樣，生成分辨率較低的特征映射，它能高效地進(jìn)行分類。隨后，上采樣可以將特征還原為全分辨率分割圖。

• 上采樣的方法

我們有許多方法可以對(duì)特征圖進(jìn)行上采樣。池化操作通過對(duì)將小區(qū)域的值取成單一值（例如平均或最大池化）進(jìn)行下采樣，同樣的，上池化操作就是將單一值分配到更高的分辨率進(jìn)行上采樣。

其中，轉(zhuǎn)置卷積是迄今為止最流行的方法，因?yàn)樗试S我們使用可學(xué)習(xí)的上采樣。

典型的卷積運(yùn)算將采用濾波器視圖中當(dāng)前值的點(diǎn)積并為相應(yīng)的輸出位置產(chǎn)生單個(gè)值，而轉(zhuǎn)置卷積基本上相反。對(duì)于轉(zhuǎn)置卷積，我們從低分辨率特征圖中獲取單個(gè)值，并將濾波器中的所有權(quán)重乘以該值，將這些加權(quán)值投影到輸出要素圖中。

對(duì)于某些大小的濾波器會(huì)在輸出特征映射中產(chǎn)生重疊（例如，具有步幅2的3x3濾波器 - 如下面的示例所示），若將重疊值簡(jiǎn)單地加在一起，這往往會(huì)在輸出中產(chǎn)生棋盤格子狀的偽影（artifact）。

這并不是我們需要的，因此最好確保您的濾鏡大小不會(huì)產(chǎn)生重疊。

下一章將會(huì)繼續(xù)介紹主流的幾種模型。