本發明涉及視覺慣性里程計，尤其是一種基于雙重注意力與混合基函數的六自由度視覺慣性里程計方法及設備。
背景技術：
1、現有的視覺慣性里程計方法主要通過融合相機獲取的視覺信息與慣性測量單元imu采集的運動數據來估計設備的六自由度位姿。傳統基于幾何方法的vio方法，如基于關鍵幀優化或濾波的算法，依賴于手工提取的特征及嚴格的模型假設，容易在低紋理或動態環境中出現漂移或估計精度下降的問題。
2、近年來，隨著深度學習技術的快速發展，基于數據驅動的vio方法逐漸成為研究熱點，其通過端到端的網絡訓練來自動學習魯棒的特征表示，并在一定程度上提高了位姿估計的精度和魯棒性。然而，現有深度學習方法仍存在兩大不足：一方面，高維卷積特征中往往蘊含大量冗余信息，直接壓縮或融合可能會丟失關鍵細節；另一方面，傳統的循環神經網絡，如lstm，在捕捉復雜非線性運動動態時存在局限性，無法充分表達運動中的突變和非高斯特性。尤其是在實際應用中，由于視覺數據質量受到光照變化、運動模糊等因素的影響，如何自適應調控視覺與慣性數據的貢獻，從而實現更為精確和穩定的位姿估計，仍然是一項亟待解決的關鍵技術問題。
3、因此需要一種能夠有效融合視覺和慣性信息、并通過自適應機制強化對復雜運動動態捕捉能力的視覺慣性里程計方法，以滿足高精度和魯棒性要求。
技術實現思路
1、為解決傳統視覺慣性里程計在特征提取、數據融合及非線性運動建模方面不足的問題，本發明的首要目的在于提供一種提升特征判別能力與非線性運動建模效果，實現復雜運動場景下高魯棒性與高精度位姿估計的基于雙重注意力與混合基函數的六自由度視覺慣性里程計方法。
2、為實現上述目的，本發明采用了以下技術方案：一種基于雙重注意力與混合基函數的六自由度視覺慣性里程計方法，該方法包括下列順序的步驟：
3、(1)采集與預處理：利用搭載單目相機及慣性測量單元的裝置，在目標運動環境中采集視覺圖像數據與慣性數據，并對視覺圖像數據與慣性數據進行預處理，得到預處理后的視覺圖像數據和預處理后的慣性數據；
4、(2)視覺特征提取：采用深度卷積神經網絡對預處理后的視覺圖像數據進行多尺度特征提取，并引入雙重注意力模塊，通過融合局部細節與全局上下文信息獲得視覺特征向量vt；
5、(3)慣性特征提取：對預處理后的慣性數據采用一維卷積神經網絡進行時序建模，提取慣性特征向量it；
6、(4)自適應數據融合：利用策略網絡，將慣性特征向量it與前一時刻lstm隱藏狀態作為策略網絡的輸入，對視覺特征向量vt進行自適應門控和動態融合，生成最終融合特征ft；
7、(5)時序建模與位姿估計：將最終融合特征ft輸入長短時記憶網絡進行時序建模，并利用結合混合基函數的中值科爾莫戈洛夫-阿諾爾德網絡對長短時記憶網絡的輸出進行非線性特征增強，經全連接回歸層輸出目標環境中的六自由度位姿估計。
8、步驟(1)具體是指：所述視覺圖像數據由高分辨率的單目相機采集，圖像幀率不低于10hz，對視覺圖像數據進行預處理，即經過灰度化、去噪和幾何校正，以增強圖像質量，得到預處理后的視覺圖像數據；所述慣性數據由慣性測量單元以固定采樣頻率采集，對慣性數據進行預處理，即進行低通濾波、時間同步處理，再根據運動旋轉信息的統計分布進行加權，得到預處理后的慣性數據。
9、步驟(2)具體包括以下步驟：
10、(2a)將連續采集的兩幀預處理后的視覺圖像it和it+1沿通道維度進行拼接，得到復合圖像vt：
11、
12、其中，cat表示圖像拼接操作，h和w分別為圖像的高度和寬度；
13、(2b)將復合圖像vt輸入由多層卷積、批量歸一化及leakyrelu激活函數構成的深度卷積神經網絡中進行視覺特征提取，第l層輸出特征圖滿足：
14、
15、其中，初始特征為復合圖像vt，conv(l)表示第l層卷積操作，bn表示批量歸一化操作，σ(·)為leakyrelu激活函數；經過深度卷積神經網絡處理后，得到最終的輸出特征圖記為其中，c表示通道數，h'和w'分別表示最終的輸出特征圖的高度和寬度；
16、(2c)在深度卷積神經網絡中集成雙重注意力模塊以提升視覺特征的表達能力，雙重注意力模塊包括局部-全局信息融合模塊和通道重校準模塊；
17、將最終的輸出特征圖ft輸入局部-全局信息融合模塊，局部-全局信息融合模塊采用三條并行分支對ft進行處理：
18、第一條分支利用1×1卷積實現通道重映射，輸出特征記為
19、第二條分支利用3×3卷積捕獲局部空間信息，輸出特征記為
20、第三條分支進行自適應平均池化后，再經1×1卷積與sigmoid激活生成全局注意圖aglobal：
21、
22、其中，wg為可學習參數矩陣，|ω|表示特征圖的空間區域面積，x為空間坐標；
23、隨后，將aglobal與ft逐元素相乘，再將輸出特征輸出特征aglobal⊙ft相加，并對其結果施加silu激活函數，得到融合特征圖f't：
24、
25、其中，⊙表示逐元素乘法；
26、通道重校準模塊的處理如下：
27、對融合特征圖f't進行全局平均池化，再經過一維卷積與sigmoid激活生成通道權重記為achannel；
28、將achannel與f't逐元素相乘，得到重校準特征圖
29、
30、最后，將展平并經全連接層映射，輸出經雙重注意力模塊增強的視覺特征向量dv表示視覺特征向量vt的維度。
31、步驟(3)具體包括以下步驟：
32、(3a)將預處理后的慣性數據重構為適用于一維卷積處理的格式；
33、(3b)對重構后的慣性數據采用多層一維卷積操作，每層卷積均結合批量歸一化及leakyrelu激活函數，以充分捕捉慣性信號中的時間動態特性；
34、(3c)將經多層卷積層處理后的特征序列展平，并通過全連接層進行映射，得到慣性特征向量di表示慣性特征向量it的維度。
35、步驟(4)具體包括以下步驟：
36、(4a)構造復合向量xt以引導策略網絡的自適應調控，復合向量xt由慣性特征向量it與前一時刻lstm隱藏狀態組合而成，dr表示lstm隱藏狀態的維度，復合向量xt的表達式為：
37、
38、(4b)利用策略網絡對xt進行處理，輸出決策向量dt，決策向量采用gumbel-softmax方法實現離散化，以便動態調控視覺特征向量vt的權重；隨后，將調控后的視覺特征向量與慣性特征向量it進行拼接，形成最終融合特征ft。
39、步驟(5)具體包括以下步驟：
40、(5a)將最終融合特征輸入長短時記憶網絡，以捕捉時序相關性，從而得到lstm隱藏狀態ht：
41、ht＝lstm(ft,ht-1)
42、其中，為前一時刻的隱藏狀態；df為最終融合特征ft的維度；
43、(5b)對lstm隱藏狀態ht應用中值科爾莫戈洛夫-阿諾爾德網絡即mkan網絡以實現非線性特征擴展，mkan網絡由對科爾莫戈洛夫-阿諾爾德網絡改進得到，具體為：將高斯徑向基函數和洛倫茲函數混合，得到混合基函數，將混合基函數替換科爾莫戈洛夫-阿諾爾德網絡的高斯徑向基函數；混合基函數為：
44、
45、其中，g為核中心；δ為尺度參數；ɑ∈[0,1]為可學習權重，并在訓練初期設定α＝1后逐步自適應調整；對ht的每個分量應用混合基函數，并通過基于樣條函數的線性映射，堆疊l層mkan后形成深層非線性映射，輸出增強隱藏狀態
46、
47、其中，表示第l層mkan的轉換操作；
48、(5c)將經過堆疊的mkan層生成的增強隱藏狀態經全連接回歸層映射得到最終的六自由度位姿估計
49、
50、其中，和分別為回歸層的權重矩陣和偏置參數，dm為mkan輸出的維數。
51、本發明的另一目的在于提供一種電子設備，包括：
52、處理器；以及
53、存儲器，在所述存儲器中存儲有計算機程序指令，所述計算機程序指令在被所述處理器運行時使得所述處理器執行如上所述的基于雙重注意力與混合基函數的六自由度視覺慣性里程計方法。
54、本發明還提供一種計算機可讀存儲介質，其上存儲有計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執行如上所述的基于雙重注意力與混合基函數的六自由度視覺慣性里程計方法。
55、由上述技術方案可知，本發明的有益效果為：第一，本發明提出了一種基于深度學習的視覺慣性里程計框架，通過自適應平衡視覺數據與慣性數據的貢獻，實現在復雜運動場景下的高精度、魯棒六自由度位姿估計，同時在運動平緩時降低計算負擔；第二，本發明提出的雙重注意力模塊通過自適應地重新校準通道響應，增強了特征提取過程，該模塊在抑制冗余的同時提高了特征可判別性，克服了傳統通道壓縮技術在深度網絡中的局限性；第三，通過將中值科爾莫戈洛夫-阿諾爾德網絡集成到位姿估計環節中，對長短時記憶網絡輸出進行非線性擴展，從而增強了對復雜非線性運動動態的捕捉能力。