Siamese對(duì)稱卷積網(wǎng)絡(luò)是一種檢測(cè)匹配度量學(xué)習(xí)方法，如圖2所示。以兩個(gè)尺寸相同的檢測(cè)圖像塊作為輸入，輸出為這兩個(gè)圖像塊是否屬于同一個(gè)目標(biāo)的判別。

原始的檢測(cè)特征包括正則化的LUV圖像I1和I2，以及具有x,y方向分量的光流圖像O1和O2，把這些圖像縮放到121x53，并且疊加到一起構(gòu)成10個(gè)通道的網(wǎng)絡(luò)輸入特征。卷積網(wǎng)絡(luò)由三個(gè)卷積層(C1、C2、C3)、三個(gè)全連接層(F4、F5、F6)以及一個(gè)2元分類損失層(F7)組成，如圖2所示。

圖2 Siamese對(duì)稱網(wǎng)絡(luò)結(jié)構(gòu)

學(xué)習(xí)過程采用經(jīng)典的帶有動(dòng)量的隨機(jī)梯度反向傳播算法。minibatch大小選擇為128，學(xué)習(xí)率初始為0.01。通過50個(gè)回合的訓(xùn)練，可以得到較為優(yōu)化的網(wǎng)絡(luò)參數(shù)。在Siamese網(wǎng)絡(luò)學(xué)習(xí)完成之后，作者采用第六層全連接網(wǎng)絡(luò)的輸出作為表觀特征，為了融合運(yùn)動(dòng)信息，作者又設(shè)計(jì)了6維運(yùn)動(dòng)上下文特征：尺寸相對(duì)變化，位置相對(duì)變化，以及速度相對(duì)變化。

基于Siamese對(duì)稱網(wǎng)絡(luò)的多目標(biāo)跟蹤算法在計(jì)算機(jī)視覺跟蹤領(lǐng)域有著十分重要的地位，由于采用孿生的網(wǎng)絡(luò)結(jié)構(gòu)，使得其能夠更好地利用一套參數(shù)來對(duì)相似的圖像進(jìn)行擬合，達(dá)到快速學(xué)習(xí)跟蹤的目的。這種網(wǎng)絡(luò)結(jié)構(gòu)為后續(xù)的研究工作提供了一個(gè)十分有效的網(wǎng)絡(luò)模板與思路，推動(dòng)了計(jì)算機(jī)視覺領(lǐng)域跟蹤算法的發(fā)展。

Siamese-FC與之前提到的Siamese CNN都采用了孿生結(jié)構(gòu)，Siamese-FC的算法結(jié)構(gòu)如圖3所示。

圖3 Siamese-FC網(wǎng)絡(luò)結(jié)構(gòu)

圖中z代表的是模板圖像，算法中使用的是第一幀的groundtruth，x代表的是search region，即在后面的待跟蹤幀中的候選框搜索區(qū)域，φ代表的是一種特征映射操作，將原始圖像映射到特定的特征空間，文中采用的是CNN中的卷積層和pooling層，6×6×128代表z經(jīng)過φ后得到的特征，是一個(gè)128通道6×6大小feature，同理，22×22×128是x經(jīng)過φ后的特征，最后的*代表卷積操作，讓22×22×128的feature被6×6×128的卷積核卷積，得到一個(gè)17×17×1的score map，代表著search region中各個(gè)位置與模板的相似度值。

算法本身是比較搜索區(qū)域與目標(biāo)模板的相似度，最后得到搜索區(qū)域的score map。從原理上來說，這種方法和相關(guān)性濾波的方法很相似。都是在搜索區(qū)域中與目標(biāo)模板進(jìn)行逐點(diǎn)匹配，Siamese-FC算法將這種逐點(diǎn)平移匹配計(jì)算相似度的方法看成一種卷積操作，然后在卷積結(jié)果中找到相似度值最大的點(diǎn)，作為新的目標(biāo)中心。

首先簡(jiǎn)單介紹MDNet, MDNet是一個(gè)純深度的目標(biāo)跟蹤方法，訓(xùn)練時(shí)首先在每一個(gè)視頻中根據(jù)目標(biāo)的位置用高斯分布，均勻分布和隨機(jī)分布結(jié)合的方法采樣取得ROI框，提取對(duì)應(yīng)圖像patch；然后輸入網(wǎng)絡(luò)最后一層（全連接層）后，利用softmax輸出目標(biāo)和背景的概率，然后根據(jù)groundtruth計(jì)算loss反傳，訓(xùn)練時(shí)僅最后一層FC層根據(jù)不同類的視頻而不同，即僅有前面的層共享參數(shù)，目的是學(xué)習(xí)到更魯棒的參數(shù)，檢測(cè)的時(shí)候去掉最后一層，用新的FC層使用第一幀的信息finetune，MDNet的缺點(diǎn)是太慢，FPS~ 1。Real-TimeMDNet提升至FPS～40。

Real-Time MDNet[12]的貢獻(xiàn)是：

1、受Mask R-CNN的啟發(fā)，提出了一種自適應(yīng)的ROIAlign；

2、對(duì)損失函數(shù)進(jìn)行了改進(jìn)，引入了一個(gè)內(nèi)嵌實(shí)例的loss。

自適應(yīng)的ROIAlign:

如果把MDNet比作tracking版的R-CNN，那么RT-MDNet就可以近似的認(rèn)為是tracking版的Mask R-CNN。

原始的MDNet像R-CNN一樣，是先產(chǎn)生proposal，然后用proposal在原圖上摳圖提特征，這就會(huì)像R-CNN一樣在提特征時(shí)產(chǎn)生很多冗余的部分，很自然的，可以像Faster那樣，先提原圖的特征，然后在featuremap上去找RoI，這樣可以大大加快速度。但是普通的RoI Pooling會(huì)在兩次量化的過程中積累很多誤差，這些誤差再積累到tracking的時(shí)序上，最后很可能會(huì)讓模型漂掉。所以自然的又想到了用RoI Pooling的改進(jìn)版，RoIAlign。

然而，當(dāng)RoIAlign中的采樣點(diǎn)間隔太大，會(huì)損失掉featuremap上一些有用的信息。比如，一個(gè)feature map grid上是5×5的點(diǎn)，但是RoIAlign在每個(gè)grid上只采2×2共4個(gè)點(diǎn)，這必然會(huì)導(dǎo)致featuremap上的信息被丟失。所以作者根據(jù)feature map grid的size自適應(yīng)的調(diào)整網(wǎng)格里samplepoints的數(shù)量，來減少信息的損失。這就是自適應(yīng)的ROIAlign。

對(duì)損失函數(shù)的改進(jìn)：

對(duì)Loss的改進(jìn)如圖4所示，引入了內(nèi)嵌實(shí)例的loss，使不同域的目標(biāo)在特征空間的距離相互更遠(yuǎn)，這樣能學(xué)到更有判別力的特征。MDNet僅僅是在每一個(gè)域中區(qū)分目標(biāo)和背景，而當(dāng)目標(biāo)們有相似的外觀時(shí)就不能有效判別不同域中的目標(biāo)，所以作者loss中嵌入了其他視頻中的目標(biāo)來使相互之間更有判別力。

圖4 內(nèi)嵌實(shí)例的loss

除了采用解決目標(biāo)重識(shí)別問題的深度網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)檢測(cè)匹配特征，還可以根據(jù)多目標(biāo)跟蹤場(chǎng)景的特點(diǎn)，設(shè)計(jì)合適的深度網(wǎng)絡(luò)模型來學(xué)習(xí)檢測(cè)匹配特征。Chu等人對(duì)行人多目標(biāo)跟蹤問題中跟蹤算法發(fā)生漂移進(jìn)行統(tǒng)計(jì)分析，發(fā)現(xiàn)不同行人發(fā)生交互時(shí)，互相遮擋是跟蹤算法產(chǎn)生漂移的重要原因。如圖5。

圖5 互相遮擋導(dǎo)致識(shí)別不準(zhǔn)

針對(duì)這個(gè)問題，他們提出了時(shí)空域關(guān)注模型(STAM)來學(xué)習(xí)遮擋情況，并判別可能出現(xiàn)的干擾目標(biāo)。如圖6所示，空間關(guān)注模型用于生成遮擋發(fā)生時(shí)的特征權(quán)重，對(duì)候選檢測(cè)特征加權(quán)之后，通過分類器進(jìn)行選擇，得到估計(jì)的目標(biāo)跟蹤結(jié)果。時(shí)間關(guān)注模型加權(quán)歷史樣本和當(dāng)前樣本，從而得到加權(quán)的損失函數(shù)，用于在線更新目標(biāo)模型。

圖6 基于時(shí)空域關(guān)注模型

在這個(gè)模型中每個(gè)目標(biāo)獨(dú)立管理并更新自己的時(shí)空域關(guān)注模型，并選擇候選檢測(cè)進(jìn)行跟蹤，因此本質(zhì)上，這種方法是對(duì)單目標(biāo)跟蹤算法在多目標(biāo)跟蹤中的擴(kuò)展。為了區(qū)分不同的目標(biāo)，關(guān)鍵的步驟是如何對(duì)遮擋狀態(tài)進(jìn)行建模和區(qū)分接近的不同目標(biāo)。

空間注意模型用于對(duì)每個(gè)時(shí)刻的遮擋狀態(tài)進(jìn)行分析，空間關(guān)注模型如圖7所示。主要分為三步。第一步是學(xué)習(xí)特征可見圖(visibility map)；第二步是根據(jù)特征可見圖，計(jì)算空間關(guān)注圖(Spatial Attention)；第三步根據(jù)空間關(guān)注圖加權(quán)原特征圖。對(duì)生成的加權(quán)特征圖進(jìn)行卷積和全連接網(wǎng)絡(luò)操作，生成二元分類器判別是否是目標(biāo)自身。最后用得到分類打分，選擇最優(yōu)的跟蹤結(jié)果。

圖7 空間關(guān)注模型步驟

前面介紹的幾個(gè)算法采用的深度網(wǎng)絡(luò)模型都是基于卷積網(wǎng)絡(luò)結(jié)構(gòu)，由于目標(biāo)跟蹤是通過歷史軌跡信息來判斷新的目標(biāo)狀態(tài)，因此，設(shè)計(jì)能夠記憶歷史信息并根據(jù)歷史信息來學(xué)習(xí)匹配相似性的網(wǎng)絡(luò)結(jié)構(gòu)，也是比較可行的算法框架。Sadeghian等人設(shè)計(jì)了基于長(zhǎng)短期記憶循環(huán)網(wǎng)絡(luò)模型(LSTM)的特征融合算法來學(xué)習(xí)軌跡歷史信息與當(dāng)前檢測(cè)之間的匹配相似度。如圖8，首先，軌跡目標(biāo)與檢測(cè)的匹配需要用到三種特征(表觀特征、運(yùn)動(dòng)特征、交互特征)(左)；然后，采用分層的LSTM模型(中)來實(shí)現(xiàn)三種特征的融合；最后，通過相似度的二部圖匹配算法實(shí)現(xiàn)最終的匹配結(jié)果(右)。

圖8 基于LSTM特征融合進(jìn)行跟蹤

對(duì)于表觀特征，首先采用VGG-16卷積網(wǎng)絡(luò)生成500維的特征，以這個(gè)特征作為LSTM的輸入計(jì)算循環(huán)網(wǎng)絡(luò)的輸出，根據(jù)與當(dāng)前時(shí)刻檢測(cè)到的特征匹配的情況來學(xué)習(xí)分類器，并預(yù)訓(xùn)練這個(gè)網(wǎng)絡(luò)，如圖9所示。

圖9 基于CNN模型和LSTM模型的軌跡與檢測(cè)表觀特征匹配架構(gòu)

對(duì)于運(yùn)動(dòng)特征，取相對(duì)位移為基本輸入特征，直接輸入LSTM模型計(jì)算每個(gè)時(shí)刻的輸出。對(duì)于下一時(shí)刻的檢測(cè)，同樣計(jì)算相對(duì)位移,通過全連接網(wǎng)絡(luò)計(jì)算特征，得到500維的特征，并利用二元匹配分類器進(jìn)行網(wǎng)絡(luò)的預(yù)訓(xùn)練。整個(gè)過程如圖10所示。

圖10 基于LSTM模型的軌跡運(yùn)動(dòng)特征匹配架構(gòu)

對(duì)于交互特征，取以目標(biāo)中心位置周圍矩形鄰域內(nèi)其他目標(biāo)所占的相對(duì)位置映射圖作為LSTM模型的輸入特征，計(jì)算輸出特征。同樣通過全連接網(wǎng)絡(luò)計(jì)算500維特征，進(jìn)行分類訓(xùn)練，如圖11所示。

圖11 基于LSTM模型的目標(biāo)交互特征匹配架構(gòu)

當(dāng)三個(gè)特征都計(jì)算之后拼接為完整的特征，輸入到上層的LSTM網(wǎng)絡(luò)，對(duì)輸出的向量進(jìn)行全連接計(jì)算，然后用于匹配分類，匹配正確為1，否則為0。

|| 總結(jié)