我爱AQ

标题: 自動駕駛之點雲與圖像融合綜述2 [打印本页]

作者: qeqwrr 时间: 2021-11-24 11:25
标题: 自動駕駛之點雲與圖像融合綜述2

2D語義分割方法有很多種，大多是將點雲深度圖和圖像進行特徵提取，然後利用圖像與深度的2D語義分割和深度完成，如《Sparse and dense data with cnns ： Depth completion and semantic segmentation》。當然也有不同的方法進行特徵提取和融合，如《Self-supervised model adaptation for multi modal semantic segmentation》採用了不同深度的多階段特徵級融合，以促進語義分割。《Lidarcamera fusion for road detection using fully convolutional neural networks》則是利用上採樣的深度圖像和圖像進行2D語義分割。《Pedestrian detection combining rgb and dense lidar data》則是對rgb和稠密點雲進行上採樣並分別進行CNN特徵提取，在最終的捲積層融合兩個特徵圖雙效犀利士雙效犀利士藥局雙效犀利士香港雙效犀利士副作用雙效犀利士真偽

3D語義分割，根據對點雲的處理方法，可以分為不同的方法，如：基於點雲體素的3DMV（從多個對齊的圖像中提取2D特徵，然後投影到3D空間內，並與3D幾何圖像融合，並最終輸入到3DCNN中進行語義預測），為了減輕點雲體素化引起的問題，還有UPF（該方法利用語義分割網路提取渲染的多視圖圖像的特徵，並投影到三維空間進行點特徵融合，其中點雲由兩個基於PointNet++的編碼器進行處理，提取局部和全域特徵，然後進行點的語義標籤預測）、MVPNet（可以理解為融合了多視圖圖像語義和三維幾何圖形來預測每點的語義標籤）等。
SPLATNet是一種多模態數據融合的方法，主要採用稀疏雙邊卷積來實現空間感知表示學習和多模態（圖像和點雲）推理。（個人覺得這篇文章的思路比較獨特，後面會專門解讀）。
實例分割本質上是語義分割和目標檢測的聯合。用於區分類中的單個實例來擴展語義分割任務。實例分割包括Proposal-based和Proposal-free-based兩種。
Proposal-based包括3D-SIS（基於ENet對多視圖提取特徵，和下採樣，實現解決高解析度圖像特徵與低解析度圖元化點雲特徵圖不匹配問題的RGB-D體素實例分割的3DCNN網路）和Panoptic-fusion（以RGB和深度圖作為輸入，然後通過關聯和積分方法跟蹤幀之間的標籤，並適用CRF來進行深度和語義分割，但這種方法不適合動態場景）。
Proposal-free-based代表性的為3DBEVIS，該方法主要是適用2D語義資訊點在聚類方法上聯合執行3D語義和實例分割任務。具體如下圖：
談到融合，不得不提跟蹤，而目標跟蹤，是基於歷史幀數據資訊對目標障礙物的長期監測。在實際應用中，MOT是很常見的場景，而MOT演算法又可以分為基於檢測的跟蹤（DBT）和不基於檢測的跟蹤（DFT）
DBT：其實就是逐幀進行檢測，然後通過數據關聯或者多個假設來進行對象跟蹤。 這種類型的演算法也是目前最流行，最容易出成果的。主要包括兩部分：檢測目標，將目標進行關聯。比較常用的方法包括《End-to-end learning of multi-sensor 3d tracking by detection》（該方法同時檢測圖像和點雲，然後通過深度結構化模型DSM對連續幀的目標進行匹配和優化），《Robust multi-modality multi-object tracking》（該方法包括檢測、相鄰幀估計以及在線優化等，在檢測階段使用VGG16和PointNet進行圖像和點雲的特徵提取，然後使用（A模型+多模態）魯棒融合模組進行融合，然後通過adjacent matrix learning 將adjacency estimation擴展到多模態，並求min-cost flow，從而計算出一個最優的路徑。

另外，跟蹤和三維重建也可以同時進行。《Track to reconstruct and reconstruct to track》就是這麼一種方法，其利用三維重建來進行跟蹤，使跟蹤對遮擋有很好的魯棒性。當然，MOTSFusion也可以是模型對感測器不內參不敏感，Calibnet採用幾何自監督的方法，將點雲與單目圖像以及相機外參矩陣K輸入到網路中，然後實現3D點雲與2D圖像之間6自由度剛體轉換，有效的降低了校準的工作量。但基於深度學習的校驗方法，計算量比較大，計算資源消耗較多。

目前已經有越來越多的研究在關注於關於點雲和圖像的融合，除了融合方法外，也需要考慮鐳射雷達與相機之間的時空同步，尤其是兩者之間的rotation的變化。 而且不光要考慮點雲和圖像之間的關係，還需要加入IMU資訊或者HD資訊，來更準確的檢測所關注的障礙物。另外，文章中的某些論文或章節，個人比較感興趣，會詳細閱讀和整理。所以這裡沒有貼出來。

欢迎光临我爱AQ (https://5iaq.com/)