【原】ICCV 2019 | 南開提出邊緣引導(dǎo)的顯著目標(biāo)檢測(cè)算法EGNet，刷新主流數(shù)據(jù)集所有評(píng)價(jià)指標(biāo)

我愛計(jì)算機(jī)視覺 2020-12-23

展開全文

人類的視覺感知中，可以非常容易的聚焦于場景的顯著性目標(biāo)，在計(jì)算機(jī)視覺的很多問題中，也需要類似的機(jī)制，可以讓計(jì)算機(jī)更好地理解場景。尤其是人類目的明確的應(yīng)用場景。

比如，52CV曾經(jīng)跟大家分享過淘寶的拍照購物算法 KDD2018 阿里巴巴論文揭示自家大規(guī)模視覺搜索算法，用戶上傳的照片往往是背景復(fù)雜的，算法其實(shí)很需要聚焦于用戶在拍照時(shí)到底感興趣的哪個(gè)目標(biāo)（這時(shí)候往往就是場景里最顯著的目標(biāo)），然后再去數(shù)據(jù)庫檢索相同和相似的商品。

在阿里巴巴的視覺搜索算法中并沒有顯式地進(jìn)行顯著目標(biāo)檢測(cè)，那是因?yàn)榘⒗锖Ａ康臄?shù)據(jù)訓(xùn)練已經(jīng)使網(wǎng)絡(luò)內(nèi)部學(xué)習(xí)到了這種感知目標(biāo)顯著性或者用戶意圖的能力。

顯著性目標(biāo)檢測(cè)無疑是重要的，可以讓計(jì)算機(jī)更好的進(jìn)行場景感知。

今天跟大家分享一篇來自南開大學(xué)程明明老師組的顯著目標(biāo)檢測(cè)的論文EGNet: Edge Guidance Network for Salient Object Detection，該文已中ICCV 2019。

下圖為該文提出的EGNet檢測(cè)出的顯著目標(biāo)的例子：

可見在目標(biāo)與背景顏色相近，甚至場景中存在目標(biāo)倒影的較難的場景中，該文提出的算法仍然取得了非常好的檢測(cè)結(jié)果。

以下是作者信息：

程明明老師組在顯著性檢測(cè)領(lǐng)域成果頗豐，而且樂于開源代碼，同樣本文的代碼也已經(jīng)開源。??

主要原理

從論文的題目EGNet: Edge Guidance Network for Salient Object Detection，我們可以知道，該文最大的創(chuàng)新在于使用邊緣信息引導(dǎo)網(wǎng)絡(luò)進(jìn)行顯著目標(biāo)檢測(cè)。

這是容易理解的，顯著性目標(biāo)與背景間往往有清晰的邊緣。

從顯著目標(biāo)數(shù)據(jù)集標(biāo)注的掩膜中提取邊緣是不難的，那如何利用邊緣信息呢？

下面這幅圖展示了作者算法設(shè)計(jì)原理：

在CNN深度網(wǎng)絡(luò)中，較低層的網(wǎng)絡(luò)表示圖像的低層次特征，較高層網(wǎng)絡(luò)表示圖像的語義特征。

作者即利用主流的分類網(wǎng)絡(luò)結(jié)構(gòu)中（VGG，ResNet），在低層CNN網(wǎng)絡(luò)（圖中使用的Conv2-2層）使用邊緣監(jiān)督信息，訓(xùn)練網(wǎng)絡(luò)提取物體邊緣的能力（上圖中NLSEM部分）；

在高層CNN網(wǎng)絡(luò)（圖中使用的Conv3-3、Conv4-3、Conv5-3、Conv6-3層）使用顯著目標(biāo)監(jiān)督信息，進(jìn)行漸進(jìn)地顯著目標(biāo)檢測(cè)（上圖中PSFSEM部分），然后將這兩大部分特征融合（圖中O2OGM部分），進(jìn)行顯著性目標(biāo)檢測(cè)。

總結(jié)起來就是：顯式地訓(xùn)練網(wǎng)絡(luò)進(jìn)行邊緣提取，然后將能夠很好的進(jìn)行邊緣提取的網(wǎng)絡(luò)的特征融合進(jìn)顯著目標(biāo)檢測(cè)部分。

其實(shí)一個(gè)好的顯著性目標(biāo)檢測(cè)網(wǎng)絡(luò)也要能夠很好的進(jìn)行邊緣提取，而作者顯式地用監(jiān)督信息讓網(wǎng)絡(luò)學(xué)習(xí)，可以使網(wǎng)絡(luò)在訓(xùn)練中更直接向這個(gè)目標(biāo)調(diào)整。

實(shí)驗(yàn)結(jié)果

作者提出的邊緣引導(dǎo)的EGNet，大大提高了顯著性目標(biāo)檢測(cè)的效果。

作者使用的三個(gè)評(píng)價(jià)指標(biāo)不再贅述，感興趣的朋友可以查看原論文。

在主流的顯著目標(biāo)檢測(cè)數(shù)據(jù)集上，與state-of-the-art算法相比，EGNet取得了無可爭議的第一。

如下表：