本發(fā)明涉及視覺慣性里程計，尤其是一種基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計方法及設(shè)備。
背景技術(shù)：
1、現(xiàn)有的視覺慣性里程計方法主要通過融合相機獲取的視覺信息與慣性測量單元imu采集的運動數(shù)據(jù)來估計設(shè)備的六自由度位姿。傳統(tǒng)基于幾何方法的vio方法，如基于關(guān)鍵幀優(yōu)化或濾波的算法，依賴于手工提取的特征及嚴(yán)格的模型假設(shè)，容易在低紋理或動態(tài)環(huán)境中出現(xiàn)漂移或估計精度下降的問題。
2、近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于數(shù)據(jù)驅(qū)動的vio方法逐漸成為研究熱點，其通過端到端的網(wǎng)絡(luò)訓(xùn)練來自動學(xué)習(xí)魯棒的特征表示，并在一定程度上提高了位姿估計的精度和魯棒性。然而，現(xiàn)有深度學(xué)習(xí)方法仍存在兩大不足：一方面，高維卷積特征中往往蘊含大量冗余信息，直接壓縮或融合可能會丟失關(guān)鍵細(xì)節(jié)；另一方面，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，如lstm，在捕捉復(fù)雜非線性運動動態(tài)時存在局限性，無法充分表達運動中的突變和非高斯特性。尤其是在實際應(yīng)用中，由于視覺數(shù)據(jù)質(zhì)量受到光照變化、運動模糊等因素的影響，如何自適應(yīng)調(diào)控視覺與慣性數(shù)據(jù)的貢獻，從而實現(xiàn)更為精確和穩(wěn)定的位姿估計，仍然是一項亟待解決的關(guān)鍵技術(shù)問題。
3、因此需要一種能夠有效融合視覺和慣性信息、并通過自適應(yīng)機制強化對復(fù)雜運動動態(tài)捕捉能力的視覺慣性里程計方法，以滿足高精度和魯棒性要求。
技術(shù)實現(xiàn)思路
1、為解決傳統(tǒng)視覺慣性里程計在特征提取、數(shù)據(jù)融合及非線性運動建模方面不足的問題，本發(fā)明的首要目的在于提供一種提升特征判別能力與非線性運動建模效果，實現(xiàn)復(fù)雜運動場景下高魯棒性與高精度位姿估計的基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計方法。
2、為實現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案：一種基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計方法，該方法包括下列順序的步驟：
3、(1)采集與預(yù)處理：利用搭載單目相機及慣性測量單元的裝置，在目標(biāo)運動環(huán)境中采集視覺圖像數(shù)據(jù)與慣性數(shù)據(jù)，并對視覺圖像數(shù)據(jù)與慣性數(shù)據(jù)進行預(yù)處理，得到預(yù)處理后的視覺圖像數(shù)據(jù)和預(yù)處理后的慣性數(shù)據(jù)；
4、(2)視覺特征提取：采用深度卷積神經(jīng)網(wǎng)絡(luò)對預(yù)處理后的視覺圖像數(shù)據(jù)進行多尺度特征提取，并引入雙重注意力模塊，通過融合局部細(xì)節(jié)與全局上下文信息獲得視覺特征向量vt；
5、(3)慣性特征提取：對預(yù)處理后的慣性數(shù)據(jù)采用一維卷積神經(jīng)網(wǎng)絡(luò)進行時序建模，提取慣性特征向量it；
6、(4)自適應(yīng)數(shù)據(jù)融合：利用策略網(wǎng)絡(luò)，將慣性特征向量it與前一時刻lstm隱藏狀態(tài)作為策略網(wǎng)絡(luò)的輸入，對視覺特征向量vt進行自適應(yīng)門控和動態(tài)融合，生成最終融合特征ft；
7、(5)時序建模與位姿估計：將最終融合特征ft輸入長短時記憶網(wǎng)絡(luò)進行時序建模，并利用結(jié)合混合基函數(shù)的中值科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)對長短時記憶網(wǎng)絡(luò)的輸出進行非線性特征增強，經(jīng)全連接回歸層輸出目標(biāo)環(huán)境中的六自由度位姿估計。
8、步驟(1)具體是指：所述視覺圖像數(shù)據(jù)由高分辨率的單目相機采集，圖像幀率不低于10hz，對視覺圖像數(shù)據(jù)進行預(yù)處理，即經(jīng)過灰度化、去噪和幾何校正，以增強圖像質(zhì)量，得到預(yù)處理后的視覺圖像數(shù)據(jù)；所述慣性數(shù)據(jù)由慣性測量單元以固定采樣頻率采集，對慣性數(shù)據(jù)進行預(yù)處理，即進行低通濾波、時間同步處理，再根據(jù)運動旋轉(zhuǎn)信息的統(tǒng)計分布進行加權(quán)，得到預(yù)處理后的慣性數(shù)據(jù)。
9、步驟(2)具體包括以下步驟：
10、(2a)將連續(xù)采集的兩幀預(yù)處理后的視覺圖像it和it+1沿通道維度進行拼接，得到復(fù)合圖像vt：
11、
12、其中，cat表示圖像拼接操作，h和w分別為圖像的高度和寬度；
13、(2b)將復(fù)合圖像vt輸入由多層卷積、批量歸一化及l(fā)eakyrelu激活函數(shù)構(gòu)成的深度卷積神經(jīng)網(wǎng)絡(luò)中進行視覺特征提取，第l層輸出特征圖滿足：
14、
15、其中，初始特征為復(fù)合圖像vt，conv(l)表示第l層卷積操作，bn表示批量歸一化操作，σ(·)為leakyrelu激活函數(shù)；經(jīng)過深度卷積神經(jīng)網(wǎng)絡(luò)處理后，得到最終的輸出特征圖記為其中，c表示通道數(shù)，h'和w'分別表示最終的輸出特征圖的高度和寬度；
16、(2c)在深度卷積神經(jīng)網(wǎng)絡(luò)中集成雙重注意力模塊以提升視覺特征的表達能力，雙重注意力模塊包括局部-全局信息融合模塊和通道重校準(zhǔn)模塊；
17、將最終的輸出特征圖ft輸入局部-全局信息融合模塊，局部-全局信息融合模塊采用三條并行分支對ft進行處理：
18、第一條分支利用1×1卷積實現(xiàn)通道重映射，輸出特征記為
19、第二條分支利用3×3卷積捕獲局部空間信息，輸出特征記為
20、第三條分支進行自適應(yīng)平均池化后，再經(jīng)1×1卷積與sigmoid激活生成全局注意圖aglobal：
21、
22、其中，wg為可學(xué)習(xí)參數(shù)矩陣，|ω|表示特征圖的空間區(qū)域面積，x為空間坐標(biāo)；
23、隨后，將aglobal與ft逐元素相乘，再將輸出特征輸出特征aglobal⊙ft相加，并對其結(jié)果施加silu激活函數(shù)，得到融合特征圖f't：
24、
25、其中，⊙表示逐元素乘法；
26、通道重校準(zhǔn)模塊的處理如下：
27、對融合特征圖f't進行全局平均池化，再經(jīng)過一維卷積與sigmoid激活生成通道權(quán)重記為achannel；
28、將achannel與f't逐元素相乘，得到重校準(zhǔn)特征圖
29、
30、最后，將展平并經(jīng)全連接層映射，輸出經(jīng)雙重注意力模塊增強的視覺特征向量dv表示視覺特征向量vt的維度。
31、步驟(3)具體包括以下步驟：
32、(3a)將預(yù)處理后的慣性數(shù)據(jù)重構(gòu)為適用于一維卷積處理的格式；
33、(3b)對重構(gòu)后的慣性數(shù)據(jù)采用多層一維卷積操作，每層卷積均結(jié)合批量歸一化及l(fā)eakyrelu激活函數(shù)，以充分捕捉慣性信號中的時間動態(tài)特性；
34、(3c)將經(jīng)多層卷積層處理后的特征序列展平，并通過全連接層進行映射，得到慣性特征向量di表示慣性特征向量it的維度。
35、步驟(4)具體包括以下步驟：
36、(4a)構(gòu)造復(fù)合向量xt以引導(dǎo)策略網(wǎng)絡(luò)的自適應(yīng)調(diào)控，復(fù)合向量xt由慣性特征向量it與前一時刻lstm隱藏狀態(tài)組合而成，dr表示lstm隱藏狀態(tài)的維度，復(fù)合向量xt的表達式為：
37、
38、(4b)利用策略網(wǎng)絡(luò)對xt進行處理，輸出決策向量dt，決策向量采用gumbel-softmax方法實現(xiàn)離散化，以便動態(tài)調(diào)控視覺特征向量vt的權(quán)重；隨后，將調(diào)控后的視覺特征向量與慣性特征向量it進行拼接，形成最終融合特征ft。
39、步驟(5)具體包括以下步驟：
40、(5a)將最終融合特征輸入長短時記憶網(wǎng)絡(luò)，以捕捉時序相關(guān)性，從而得到lstm隱藏狀態(tài)ht：
41、ht＝lstm(ft,ht-1)
42、其中，為前一時刻的隱藏狀態(tài)；df為最終融合特征ft的維度；
43、(5b)對lstm隱藏狀態(tài)ht應(yīng)用中值科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)即mkan網(wǎng)絡(luò)以實現(xiàn)非線性特征擴展，mkan網(wǎng)絡(luò)由對科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)改進得到，具體為：將高斯徑向基函數(shù)和洛倫茲函數(shù)混合，得到混合基函數(shù)，將混合基函數(shù)替換科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)的高斯徑向基函數(shù)；混合基函數(shù)為：
44、
45、其中，g為核中心；δ為尺度參數(shù)；ɑ∈[0,1]為可學(xué)習(xí)權(quán)重，并在訓(xùn)練初期設(shè)定α＝1后逐步自適應(yīng)調(diào)整；對ht的每個分量應(yīng)用混合基函數(shù)，并通過基于樣條函數(shù)的線性映射，堆疊l層mkan后形成深層非線性映射，輸出增強隱藏狀態(tài)
46、
47、其中，表示第l層mkan的轉(zhuǎn)換操作；
48、(5c)將經(jīng)過堆疊的mkan層生成的增強隱藏狀態(tài)經(jīng)全連接回歸層映射得到最終的六自由度位姿估計
49、
50、其中，和分別為回歸層的權(quán)重矩陣和偏置參數(shù)，dm為mkan輸出的維數(shù)。
51、本發(fā)明的另一目的在于提供一種電子設(shè)備，包括：
52、處理器；以及
53、存儲器，在所述存儲器中存儲有計算機程序指令，所述計算機程序指令在被所述處理器運行時使得所述處理器執(zhí)行如上所述的基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計方法。
54、本發(fā)明還提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行如上所述的基于雙重注意力與混合基函數(shù)的六自由度視覺慣性里程計方法。
55、由上述技術(shù)方案可知，本發(fā)明的有益效果為：第一，本發(fā)明提出了一種基于深度學(xué)習(xí)的視覺慣性里程計框架，通過自適應(yīng)平衡視覺數(shù)據(jù)與慣性數(shù)據(jù)的貢獻，實現(xiàn)在復(fù)雜運動場景下的高精度、魯棒六自由度位姿估計，同時在運動平緩時降低計算負(fù)擔(dān)；第二，本發(fā)明提出的雙重注意力模塊通過自適應(yīng)地重新校準(zhǔn)通道響應(yīng)，增強了特征提取過程，該模塊在抑制冗余的同時提高了特征可判別性，克服了傳統(tǒng)通道壓縮技術(shù)在深度網(wǎng)絡(luò)中的局限性；第三，通過將中值科爾莫戈洛夫-阿諾爾德網(wǎng)絡(luò)集成到位姿估計環(huán)節(jié)中，對長短時記憶網(wǎng)絡(luò)輸出進行非線性擴展，從而增強了對復(fù)雜非線性運動動態(tài)的捕捉能力。