本發明屬于光學工程與自動控制,尤其涉及一種基于mdp決策的紅外相機混合聚焦系統及方法。
背景技術:
1、隨著紅外相機在軍事、工業等領域的廣泛應用,對其聚焦性能的要求越來越高。在軍事偵察中,需要紅外相機能夠快速、精準地聚焦目標,為作戰決策提供清晰準確的圖像情報。在工業設備檢測中,高質量的紅外圖像能夠幫助檢測人員及時發現設備的潛在故障。當前紅外相機的聚焦技術主要還是依靠手動聚焦,或者使用簡單的爬山算法通過遍歷全局完成聚焦,甚至還有定焦距不可調焦的紅外相機。?在實際應用場景中,環境因素復雜多變,被觀測目標的距離、溫度等參數不斷變化,固定焦距難以滿足不同情況下的成像需求;手動調焦則效率低下,無法實現實時、快速的聚焦調整,嚴重限制了紅外相機在動態場景中的應用。
2、現有的自動聚焦技術雖然在一定程度上解決了手動聚焦的效率問題,但仍存在明顯不足。部分基于單一算法的自動聚焦方法,如僅依賴圖像清晰度評價函數進行聚焦判斷,容易受到圖像噪聲和環境干擾的影響。在復雜的中紅外熱成像環境下,噪聲會使清晰度評價值產生偏差,導致聚焦結果不準確;環境溫度的變化也會對圖像的清晰度產生影響,使聚焦算法難以準確判斷最佳聚焦位置,進而影響成像質量。此外,一些聚焦算法在搜索最佳聚焦位置時,容易陷入局部最優解,無法找到全局最優的聚焦位置,導致圖像始終無法達到最佳清晰度。
技術實現思路
1、本發明實施例的目的在于提供一種基于mdp決策的紅外相機混合聚焦系統及方法,旨在解決上述背景技術中提出的問題。
2、本發明實施例是這樣實現的,一種基于mdp決策的紅外相機混合聚焦系統,包括:
3、數據采集模塊,用于采集紅外相機的實時畫面,通過溫度傳感器采集環境溫度和被觀測目標表面溫度;
4、雙模噪聲抑制模塊,用于對采集到的圖像信息進行預處理,計算評價值并獲得平滑的評價函數;
5、mdp決策模塊,用于全局搜索,鎖定最佳聚焦位置的大致區間位置;
6、自動聚焦模塊,用于局部優化,驅動步進電機完成精確聚焦;
7、中斷響應模塊,用于判斷達到聚焦最佳時中斷硬件控制。
8、進一步的技術方案,對于數據采集模塊,通過溫度傳感器采集環境溫度和被觀測目標表面溫度的具體步驟如下:通過溫度計獲取當前時刻的環境溫度,并標定為;紅外相機依據被觀測目標表面發出的紅外輻射,輸出一個熱圖像,每個像素的值為某一波長范圍內接收到的輻射強度,輻射強度和溫度之間的關系用公式表達為:
9、;
10、其中,為紅外相機從被觀測目標表面接收到的輻射強度;為被觀測目標表面的發射率,即被觀測目標表面輻射能力與黑體輻射能力的比值,介于0和1之間;為斯特藩-波爾茲曼常數;為被觀測目標的絕對溫度;
11、反解該公式,得到被觀測目標表面溫度,獲取當前時刻被觀測目標表面溫度所依據的公式為:
12、。
13、進一步的技術方案,對于雙模噪聲抑制模塊,在對圖像信息進行預處理時,通過多幀均值濾波消除隨機噪聲,具體地:
14、紅外相機按一定的幀率采集圖像序列傳輸到雙模噪聲抑制模塊,對于采集到的n幀圖像,對于坐標為的像素,該像素的濾波后灰度值為:
15、;
16、其中,表示第幀圖像坐標處像素的灰度值。
17、進一步的技術方案,在對圖像信息進行預處理時,通過卡爾曼濾波對清晰度評價值進行動態趨勢補償,具體地:
18、構建狀態空間模型,狀態方程為:
19、;
20、式中,為當前時刻清晰度真實評價值;為當前時刻被觀測目標表面溫度;為清晰度的自相關函數;為溫度對清晰度的影響系數;為系統過程噪聲,服從正態分布;為溫度的隨機漂移;
21、觀測方程:
22、;
23、式中,為通過圖像算法計算得到的清晰度評價值,為觀測噪聲;
24、利用溫度數據預測清晰度趨勢,可基于前一時刻的清晰度估計和當前時刻被觀測目標表面溫度,預測當前清晰度的先驗估計,狀態預測方程為:
25、;
26、協方差預測方程為:
27、;
28、為先驗估計協方差,反映預測不確定性;為過程噪聲協方差;為前一時刻的協方差估計值。
29、然后,用觀測值進行預測修正,卡爾曼增益的計算式如下:
30、;
31、上式中,如果觀測噪聲較小,趨近于1,更信任觀測值;反之則更信任預測值;再結合清晰度評價值修正先驗估計,得到清晰度的后驗估計的表達式:
32、;
33、修正后的協方差反映估計不確定性的降低,更新為:
34、;
35、進一步的技術方案,獲取清晰度評價值所依據的具體邏輯為:
36、對于圖像,其拉普拉斯變換定義為:
37、;
38、對灰度圖進行拉普拉斯模版卷積,得到邊緣響應圖;對于每個像素有:
39、;
40、那么,的計算式為:
41、;
42、上式中,為該圖像像素點的數量。又因的正負對稱性,均值常趨近于0,故簡化的均值:
43、。
44、進一步的技術方案,對于mdp決策模塊,mdp決策定義狀態空間的具體步驟為:
45、首先定義狀態空間,狀態包括:當前紅外相機焦距位置,圖像清晰度評價值,被觀測目標表面溫度,以及搜索歷史;
46、再定義動作空間,動作a包括相機鏡頭焦距調整的策略,若相機是固定步長,則有調焦+、調焦-以及停止三種動作;若相機是調焦距,那么將固定焦距定義為,有、以及0三種動作;
47、最后定義獎勵函數,分為清晰度提升獎勵、探索獎勵以及環境因素懲罰;
48、對于清晰度提升獎勵,若新狀態的圖像清晰度評價值優于當前的最優清晰度評價值,給予正獎勵,?為清晰度獎勵系數;
49、對于探索獎勵,對探索新的焦距區域的動作給予獎勵,其中,為聚焦位置的訪問次數,為清晰度獎勵系數;
50、對于環境因素懲罰,該部分對環境信息進行限定,給予負獎勵,為懲罰系數;整體公式如下:
51、;
52、進一步的技術方案,mdp決策在全局搜索階段的具體步驟為:
53、在紅外相機的焦距范圍內隨機設置初始焦距,或者將紅外相機開機時的焦距位置設置為,計算此時圖像的清晰度評價值,獲取當前溫度,設置初始的最優清晰度評價值,初始化搜索歷史為空,,得到初始狀態;
54、通過隨機策略或啟發式策略選擇初始選擇,假定焦距為定步長;初始階段采用均勻隨機選擇焦距調整動作,若相機類型與拍攝場景有對焦經驗,則采用啟發式策略結合先驗知識設定初始動作分布;
55、基于貪心策略的動作選擇,以概率隨機探索動作空間,以選擇當前最優策略;
56、;
57、其中為動作價值函數,表示在狀態下執行動作的長期累計獎勵期望;為狀態轉移概率;
58、執行動作,調整相機鏡頭焦距得到新焦距,采集新的圖像幀并計算其清晰度評價值,獲取此時的環境溫度,從而得到新狀態,同時將當前狀態和動作記錄到搜索歷史中;根據獎勵函數計算獎勵,更新累積獎勵,其中為折扣因子,。
59、使用時序查分(td)算法更新動作價值函數:
60、;
61、上式中為學習率,控制每次更新的步長,隨著迭代進行可減小,使更新逐漸穩定,值逐漸逼近最優動作價值,引導策略優化。
62、當累計獎勵趨于穩定,表明策略收斂;最優清晰度評價值連續次迭代都未更新,判定陷入局部最優后可考慮重新隨機初始化狀態繼續搜索;達到預設的最大迭代次數滿足上述三者任一條件后結束mdp決策過程。并輸出最優聚焦位置以及最優清晰度評價值。
63、進一步的技術方案,對于自動聚焦模塊,采用局部優化爬山算法,具體地:
64、設定當前焦距位置為標定點,此時清晰度評價值為;獲取它一個焦距增加時的圖像,設定焦距位置為,清晰度評價值為;再獲取它一個焦距減少時的圖像,設定焦距位置為,清晰度評價值為。
65、當時,標定點更新到位置,重新執行一次爬山動作。
66、當時,標定點更新到位置,重新執行一次爬山動作。
67、當 且時,隨機更新標定點至或位置,重新執行一次爬山動作。
68、當且時,判斷為最終焦距位置。
69、進一步的技術方案,對于中斷響應模塊,在爬山算法運行時,出現且時,當步進電機調整焦距至時,判定聚焦已穩定在最優區域后,立即向硬件發送電機剎車的停止指令。
70、本發明實施例的另一目的在于,一種基于mdp決策的紅外相機混合聚焦方法,基于上述的系統,包括以下具體步驟:
71、步驟1:通過紅外相機采集實時畫面,通過溫度傳感器采集環境溫度和被觀測目標表面溫度;
72、步驟2:通過空間域均值濾波進行圖像預處理,消除瞬時噪聲的同時獲取灰度圖像數據;
73、步驟3:計算當前圖像的清晰度評價值,然后通過卡爾曼濾波對清晰度評價值進行動態趨勢補償;
74、步驟4:結合圖像清晰度評價值信息,以及溫度數據,建立馬爾可夫決策模型,進行自動聚焦的全局搜索階段;
75、步驟5:?通過爬山算法進行局部優化,確定出最佳的焦距位置;
76、步驟6:步進電機到最佳焦距位置后,向硬件發送電機剎車的停止指令。
77、本發明實施例提供的一種基于mdp決策的紅外相機混合聚焦方法,其有益效果如下:
78、(1)采用雙模噪聲抑制模塊,融合空間域均值濾波和頻域卡爾曼預測;多幀均值濾波有效消除隨機噪聲,確保圖像質量,為后續準確聚焦奠定基礎;卡爾曼濾波依據環境溫度等數據對清晰度評價值進行動態趨勢補償,使系統能適應不同環境溫度下的成像變化,極大地提升了系統在復雜環境中的穩定性與可靠性,減少環境因素對聚焦效果的干擾。
79、(2)基于mdp決策模塊,通過創新的狀態-動作-獎勵建模方式,在全局范圍內進行搜索,再利用局部爬山算法在mdp預篩選區域內進一步搜索絕對最優聚焦位置,能有效避免陷入局部最優解。同時,結合不同的策略,如隨機策略和啟發式策略,系統可根據場景特點靈活選擇動作,提高搜索效率和準確性,為獲取高質量圖像提供有力保障。且當清晰度評價值突破預設閾值時,系統能實時觸發硬件閉環控制信號終止調焦。
80、相較傳統的自動聚焦方法,本發明大幅縮短了聚焦時間,提高了相機的響應速度,滿足適應復雜環境以及對動態目標的快速聚焦需求。