摘要

深度學習在三維點云中的應用由于缺乏順序性而具有挑戰(zhàn)性。受PointNet的點嵌入和dgcnn的邊緣嵌入的啟發(fā)，我們對點云分析任務提出了三個改進。首先，我們引入了一種新的特征關(guān)注神經(jīng)網(wǎng)絡層FAT層，它結(jié)合了全局點特征和局部邊緣特征來生成更好的嵌入。其次，我們發(fā)現(xiàn)在兩種不同形式的特征地圖聚合(最大池和平均池)中應用相同的注意力機制，可以獲得比單獨使用任何一種更好的性能。第三，我們觀察到殘差特征重用在此設置下更有效地在層間傳播信息，使網(wǎng)絡更容易訓練。我們的體系結(jié)構(gòu)在點云分類任務上取得了最先進的結(jié)果，如在ModelNet40數(shù)據(jù)集上所示，并在ShapeNet部分分割挑戰(zhàn)上具有極具競爭力的性能。

1)我們提出了一種新的注意力注入層，即FAT層，用于3D點云處理，該層通過非線性加權(quán)優(yōu)化結(jié)合了全局基于點的嵌入和局部基于邊的嵌入。

2)我們對兩種不同的特征聚合方法應用加權(quán)，這比單獨聚合更好。

3)首次通過殘差連接增強了處理三維點云的網(wǎng)絡學習，并通過共享權(quán)重MLPs對嵌入維數(shù)進行提升。

4)一項廣泛的評估顯示了ModelNet40分類任務的最新結(jié)果，在ShapeNet零件分割任務上的高度競爭結(jié)果，以及對隨機輸入點丟失的卓越魯棒性。消融研究證實了我們的網(wǎng)絡組成部分的有效性。

框架結(jié)構(gòu)

提出了用于分類和分割任務的FatNet體系結(jié)構(gòu)

上路徑:對c類的分類。下路徑:對類c的r部分進行分割。

FatNet采用的層結(jié)構(gòu)

特征注意塊呈現(xiàn)在每個FAT層中

平均池化和最大池化操作通過一個共享權(quán)重的編碼器-解碼器(壓縮比= 16)傳遞，然后通過一個sigmoid門給這兩個池化的關(guān)注權(quán)重。將縮放后的輸出加在一起，得到我們的全局特征聚合(GFA)塊。

實驗結(jié)果

針對不同架構(gòu)的模型復雜性與性能

我們的模型在模型復雜性和準確性之間提供了很好的平衡(如ModelNet40數(shù)據(jù)集上所報告的)。我們的推理向前傳遞比PointNet++和PCNN方法要快得多，而且模型的大小也易于管理。

ShapeNet零件數(shù)據(jù)集上的零件分割結(jié)果

結(jié)論

我們提出了FatNet，一種用于3D點云處理的架構(gòu)，采用特征注意和殘差學習來實現(xiàn)基準點云分析任務的最新結(jié)果。我們假設特征關(guān)注層可以通過合并額外的關(guān)聯(lián)上下文來提高性能。我們的想法通過FatNet在基準任務上的性能和一系列消融測試得到了驗證。我們的體系結(jié)構(gòu)對于隨機點丟失是健壯的，并且在模型復雜性和性能之間提供了很好的平衡。我們的特征關(guān)注層是一個簡單的新型性能增強，可以很容易地合并到任何現(xiàn)有的3D點云處理管道。

論文鏈接：https:///pdf/2104.03427.pdf

每日堅持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學。