近年來，隨著大規(guī)模訓練數(shù)據(jù)和先進機器學習、深度學習算法的發(fā)展，三維目標檢測的整體性能有了巨大的提高，三維目標檢測也廣泛應用于重建建筑物的建筑模型、自動駕駛、人臉檢測、歷史遺址保留、虛擬現(xiàn)實游戲等行業(yè)。

三維目標檢測的數(shù)據(jù)表示形式有多種，例如RGB圖像、立體像素化圖像、多邊形網(wǎng)格以及點云等。隨著硬件設備性能的提升與人工智能技術(shù)的飛速發(fā)展，越來越多的領(lǐng)域開始使用激光雷達采集到的點云進行三維空間的場景理解，如自動駕駛、增強現(xiàn)實等，雷達點云不易受到外界因素的影響，具有較強的抗干擾能力且測距精度較高。而相機采集到的RGB圖像卻具有豐富的紋理信息和豐富的色彩，但是圖像是缺乏深度的二維信息，存在由遠及近的尺度問題，可以看出圖像數(shù)據(jù)與點云數(shù)據(jù)各有優(yōu)劣。

WIMI微美全息(NASDAQ:WIMI)開發(fā)了基于圖像和點云融合的三維目標檢測算法系統(tǒng)。以RGB 圖像和含深度信息的點云數(shù)據(jù)為輸入數(shù)據(jù)，對三維空間中的目標進行分類和定位，再經(jīng)過一系列的特征提取、實例分割、3D框估計等操作，將圖像和點云融合，利用多任務的相互增益,，大大提升三維目標檢測準確率。

首先處理圖像和點云數(shù)據(jù)，提取各自的特征，將特征輸入到檢測方法的不同階段以進行3D邊界框預測，提取出對應的目標數(shù)據(jù)。每個物體對應一個視錐體點云;其次，將每個物體的視錐體點云做為掩膜預測的輸入數(shù)據(jù)，獲得預測的物體掩膜，并利用物體掩膜結(jié)果投影至點云空間再形成視錐進行3D實例分與3D框估計，可有效地減小了場景中嘈雜點云對目標檢測的影響。然后將最后層的特征連接在一起送入決策層進行特征融合和目標檢測。為了精確地定位物體的3D位置，可以通過將點云數(shù)據(jù)中的點投影至圖像平面來建立點和像素的關(guān)聯(lián)，然后將圖像特征融合入每個點中。將圖像RGB特征融入點云數(shù)據(jù)在一定程度上是能夠起到正向提升的效果，有效提升三維目標檢測的精度。

隨著三維數(shù)據(jù)獲取技術(shù)的進步、計算能力的增強、深度學習技術(shù)的發(fā)展以及應用需求的增加,三維視覺技術(shù)的研究和應用受到越來越多的關(guān)注。目前，三維目標檢測技術(shù)已經(jīng)成為計算機視覺和自動駕駛領(lǐng)域的核心技術(shù)之一，與二維目標檢測技術(shù)相比，在三維空間中進行目標的位姿估計對于實際應用場景更加重要。三維目標檢測與識別是三維場景理解的關(guān)鍵技術(shù),是機器理解世界并與世界交互的基礎(chǔ),在自動駕駛、智能機器人、智慧交通、自主導航等領(lǐng)域具有極其廣闊的應用前景，WIMI微美全息也將不斷拓展其基于圖像和點云融合的三維目標檢測算法的運用領(lǐng)域。