本發明涉及高級駕駛輔助技術,具體地涉及一種應用于高級駕駛輔助系統的多任務卷積神經網絡架構。
背景技術:
1、高級駕駛輔助系統(adas)需要各種感知任務來實現健壯的系統,以滿足定制服務功能的要求,例如前視圖、魚眼、全景視圖的感知。為了提高準確性,一般會使用多任務卷積神經網絡(簡稱cnn)運行這些感知任務。
2、盡管汽車嵌入式系統中的計算能力在不斷增強,但由于攝像頭部和感知任務的數量不斷增加,需要提出更加有效的設計來應對,作為應對方法,已經提出了多任務學習(mtl)。然而,多任務網絡結構設計中還是存在一些困難,例如有:(1)很難將對象和像素級任務組合在一起,用于各種adas應用,包括移動對象感知和周圍環境感知;(2)多任務網絡不能夠確保多個任務之間可以充分共享公共特征,任務特定頭部沒有保證任務性能;(3)在任務之間不能夠考慮共享計算或參數百分比。
3、另一方面,這些任務的同時訓練還會存在一些問題,例如包括:不同任務在應用中可能有不同的訓練優先級;多任務之間數據分布不平衡;在某些情況下,一個任務的優化會對其他任務的優化產生負面影響。
技術實現思路
1、基于上述現有技術中的問題,本發明旨在提供一種能夠并行處理多個感知任務并且同時能夠最大限度地提高計算效率和性能的應用于高級駕駛輔助系統的多任務卷積神經網絡架構。
2、本發明一方面的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,包括:
3、批處理器,用于將來自于高級駕駛輔助系統的多種感知任務的數據集進行合并輸出合并后的數據批次;
4、多任務模型,用于對于所述合并后的數據批次進行特征提取以提取共享特征并基于注意力機制將所述共享特征進行融合之后輸出多任務;以及
5、任務分配器,用于對于所述多任務進行任務配置以及損失權重調整。
1.一種應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,包括:
2.如權利要求1所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
3.如權利要求2所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
4.如權利要求1所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,所述多任務模型包括:
5.如權利要求4所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
6.如權利要求5所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,所述基于注意力機制的部分共享解碼器包括:
7.如權利要求6所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
8.如權利要求7所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
9.如權利要求8所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,所述任務分配器包括:
10.如權利要求9述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
11.如權利要求10的應用于高級駕駛輔助系統的多任務卷積神經網絡架構,其特征在于,
12.一種計算機可讀介質,其上存儲有計算機程序,其特征在于,該計算機程序被處理器執行時實現權利要求1~11任意一項所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構。
13.一種計算機設備,包括存儲模塊、處理器以及存儲在存儲模塊上并可在處理器上運行的計算機程序,其特征在于,所述處理器執行所述計算機程序時實現權利要求1~11任意一項所述的應用于高級駕駛輔助系統的多任務卷積神經網絡架構。