隨著人工智能技術的廣泛應用，智能駕駛系統(tǒng)正在成為汽車的標配。而作為識別周邊環(huán)境的“火眼金睛”，“感知”模塊是智能駕駛系統(tǒng)安全、高效運行的核心，而視覺感知更是其中無比重要的一環(huán)。浪潮信息AI團隊長期關注AI算法在自動駕駛中的應用，并致力于用軟硬件的算法和技術創(chuàng)新推動行業(yè)的進步，做出創(chuàng)新性的成績。最近，浪潮信息在自動駕駛感知權威數(shù)據(jù)集 NuScenes 評測中，自研算法 DABNet4D 獲得 0. 624 的NDS精度，位列Camera-only榜單第一名。

近日，浪潮信息人工智能與高性能應用軟件部自動駕駛AI研究員趙云博士，在題為《探索自動駕駛純視覺感知精度新突破 -- 多相機的時空融合模型架構算法優(yōu)化》的自動駕駛線上研討會上，向我們揭開了這一自動駕駛感知算法的神秘面紗。

多相機多任務融合模型優(yōu)勢

(資料圖片)

自動駕駛汽車完成自動駕駛出行任務，離不開感知、決策、控制三大要素。其中感知系統(tǒng)是車輛和環(huán)境交互的紐帶，相當于無人汽車的眼睛。根據(jù)所用的傳感器以及傳感器數(shù)量和種類等，自動駕駛感知算法可以簡單的分為單傳感器（單任務和多任務）模型、（同類和不同類）傳感器融合模型等四類，并各有其優(yōu)缺點。

自動駕駛感知的關鍵是3D目標檢測任務，又分為基于相機、Lidar的3D目標檢測，以及相機、Lidar、Radar融合等技術。盡管目前對于3D目標檢測已經(jīng)有不少的研究，但是在實際應用中仍然有許多的問題，其難點主要在于：

遮擋，遮擋分為兩種情況，目標物體相互遮擋和目標物體被背景遮擋

截斷，部分物體被圖片截斷，在圖片中只能顯示部分物體

小目標，相對輸入圖片大小，目標物體所占像素點極少

缺失深度信息，2D圖片相對于激光數(shù)據(jù)存在信息稠密、成本低的優(yōu)勢，但是也存在缺失深度信息的缺點

現(xiàn)有方式大都依賴于物體表面紋理或結構特征，容易造成混淆。

目前，基于相機的方法與基于Lidar的方法準確度差距正在縮小，而隨著Lidar成本降低，融合技術在成本和準確度的平衡上存在優(yōu)勢。

基于多相機多任務融合模型的3D目標檢測技術正是在成本優(yōu)勢與日益增長的準確度兩相促進下得到越來越多的認可。目前，多相機多任務融合模型主要遵循特征提取、特征編碼、統(tǒng)一BEV、特征解碼和檢測頭五大部分。

其中，統(tǒng)一BEV 就是鳥瞰圖，亦即將圖像特征統(tǒng)一投射到BEV視角下，用以表示車周圍環(huán)境。“統(tǒng)一BEV”的工作可以分為兩大類，一種基于幾何視覺的變換，也就是基于相機的物理原理，優(yōu)勢在于模型確定，難度在深度估計；另一種是基于神經(jīng)網(wǎng)絡的變換。

浪潮DABNet4D算法三大創(chuàng)新突破

據(jù)趙云介紹，浪潮DABNet4D算法遵循上述框架，采用基于幾何視覺的變換方法，設計了端到端的模塊化整體架構，通過將環(huán)視圖檢測統(tǒng)一到BEV空間，為后續(xù)的工作提供了很好的模板。

DABNet4D模型被劃分為四個部分，Image-view Encoder，View-transformer，BEV-Encoder，Detection Head。其中Image-view Encoder為圖像編碼模塊將原始圖像轉換為高層特征表示。 View-Transformer模塊負責將圖像特征轉換到BEV坐標中，主要包括三個模塊：深度預測模塊、特征轉換模塊和多幀特征融合模塊。BEV-Encoder & Heads主要是對融合BEV特征進行編碼；Heads用來完成最終的3D目標檢測任務。

關鍵詞： 目標檢測 浪潮信息 廣泛應用 神經(jīng)網(wǎng)絡 周圍環(huán)境