本發明涉及圖像重建,具體為一種圖像深度壓縮感知重建方法、系統、設備和存儲介質。
背景技術:
1、圖像是信息的重要載體,數據量龐大,通常占用較大的存儲空間,在快速傳輸與實時處理時面臨著挑戰。圖像壓縮可以有效減少數據的存儲需求和傳輸成本,提高數據處理的效率,但它以奈奎斯特采樣定理為理論基礎。壓縮感知突破了奈奎斯特采樣定理的限制,能夠在低采樣率下重建圖像,然而傳統壓縮感知方法在處理圖像時存在計算量大、重建質量較低等問題。
2、隨著深度學習的快速發展,深度神經網絡在圖像的表征學習和處理方面表現出顯著優勢。若將其應用于圖像的壓縮感知過程,可以自適應地提取圖像信息進行壓縮,通過深度學習驅動的重建方法重建出圖像,提高了壓縮感知的效率。但是現有的深度壓縮感知方法僅能學習到圖像的局部特征,在處理大尺寸以及復雜圖像時,不能完全捕獲全局圖像信息,容易造成信息丟失,降低了重建圖像的質量。
技術實現思路
1、本發明的目的是提供一種圖像深度壓縮感知重建方法、系統、設備和存儲介質。
2、本發明技術方案如下:
3、一種圖像深度壓縮感知重建方法,包括如下操作:
4、s1、將待處理圖像分別進行基于空間域的壓縮處理和基于頻率域的壓縮處理,得到空間域壓縮圖像和頻率域壓縮圖像;空間域壓縮圖像和頻率域壓縮圖像,經測量值按通道數合并處理,得到壓縮評估圖像;將空間域壓縮圖像和頻率域壓縮圖像,進行基于逆測量算子的反變換處理,得到初始重建圖像;基于壓縮評估圖像和待處理圖像,得到壓縮效果值;判斷壓縮效果值是否大于壓縮效果閾值;若大于,執行s2;若不大于,執行s3;
5、s2、分別獲取初始重建圖像的局部空間特征和多尺度注意力融合特征,經合并后進行卷積處理,得到重建圖像;
6、s3、將初始重建圖像依次進行高維特征稀疏化處理和通道特征稀疏化處理,得到稀疏特征圖;通過初始化一組神經元,將稀疏特征圖進行聚類映射處理,得到稀疏特征聚類圖;稀疏特征聚類圖經若干次加噪處理后,進行基于u-net網絡的去噪處理,得到去噪圖像;基于過完備字典的重建方法對去噪圖像進行處理,得到重建圖像。
7、s1中基于空間域的壓縮處理的操作具體為:將待處理圖像的低層次特征進行卷積處理、relu激活函數處理、卷積處理,得到待處理特征圖;將待處理圖像與待處理特征圖進行殘差連接后,提取全局特征,得到全局深層特征圖;待處理圖像經卷積和平均池化處理后,與全局深層特征圖經融合處理和掩碼函數處理,得到空間域壓縮圖像。
8、s1中基于頻率域的壓縮處理的操作,是通過將待處理圖像從空間域映射到頻率域后進行掩碼函數處理實現的。
9、s1中得到壓縮效果值的操作具體為:將壓縮評估圖像和待處理圖像分別進行多尺度分解后,得到若干個壓縮評估尺度分解圖和若干個待處理尺度分解圖;
10、將同一尺度,評估尺度分解圖、待處理尺度分解圖,和評估尺度分解圖與待處理尺度分解圖的殘差圖進行合并,得到若干個不同尺度的尺度合并圖;將不同尺度的尺度合并圖,分別進行若干次的批歸一化和relu激活函數處理后,進行殘差連接、卷積和平均池化處理,得到不同尺度的尺度池化圖;將所有尺度的尺度池化圖進行合并后,經多層感知機處理,得到壓縮效果值。
11、s2中,多尺度注意力融合特征是通過將初始重建圖像進行若干次的多尺度注意力特征提取得到的;多尺度注意力特征提取的操作具體為:初始重建圖像經通道特征拆分,得到第一通道特征圖和第二通道特征圖;第一通道特征圖經卷積、relu激活函數、卷積處理后,與第一通道特征圖進行殘差連接,得到殘差連接特征圖;第二通道特征圖被劃分成若干個窗口后,將所有窗口的多頭注意力特征進行加權求和處理,得到初始注意力融合特征;按照第二通道特征圖中窗口順序,對多頭注意力融合特征進行特征排列,得到多頭注意力融合特征;多頭注意力融合特征與殘差連接特征圖合并后經卷積處理,得到初始多尺度注意力融合特征;初始多尺度注意力融合特征與初始重建圖像經殘差連接處理,得到多尺度注意力融合特征。
12、s3中在若干次加噪處理的過程中,條件概率分布是通過如下公式得到的:
13、,
14、為條件概率分布,、分別為在輪、-1輪加噪處理后的輸出,表示高斯分布,為加噪處理的均值,表示第輪噪聲強度,表示噪聲項的方差,為稀疏鄰域中心。
15、稀疏鄰域中心是通過如下公式得到的:
16、,
17、為稀疏鄰域中心,為鄰域神經元集合,是鄰域內第 j個神經元,為稀疏特征聚類圖。
18、一種圖像深度壓縮感知重建系統,用于實現上述的圖像深度壓縮感知重建方法,包括:
19、壓縮模塊和壓縮效果判斷模塊,用于將待處理圖像分別進行基于空間域的壓縮處理和基于頻率域的壓縮處理,得到空間域壓縮圖像和頻率域壓縮圖像;空間域壓縮圖像和頻率域壓縮圖像,經測量值按通道數合并處理,得到壓縮評估圖像;將空間域壓縮圖像和頻率域壓縮圖像,進行基于逆測量算子的反變換處理,得到初始重建圖像;基于壓縮評估圖像和待處理圖像,得到壓縮效果值;判斷壓縮效果值是否大于壓縮效果閾值;若大于,執行第一重建圖像生成模塊;若不大于,執行第二重建圖像生成模塊;
20、第一重建圖像生成模塊,用于分別獲取初始重建圖像的局部空間特征和多尺度注意力融合特征,經合并后進行卷積處理,得到重建圖像;
21、第二重建圖像生成模塊,用于將初始重建圖像依次進行高維特征稀疏化處理和通道特征稀疏化處理,得到稀疏特征圖;通過初始化一組神經元,將稀疏特征圖進行聚類映射處理,得到稀疏特征聚類圖;稀疏特征聚類圖經若干次加噪處理后,進行基于u-net網絡的去噪處理,得到去噪圖像;基于過完備字典的重建方法對去噪圖像進行處理,得到重建圖像。
22、一種圖像深度壓縮感知重建設備,包括處理器和存儲器,其中,處理器執行存儲器中保存的計算機程序時實現上述的圖像深度壓縮感知重建方法。
23、一種計算機可讀存儲介質,用于存儲計算機程序,其中,計算機程序被處理器執行時實現上述的圖像深度壓縮感知重建方法。
24、本發明的有益效果在于:
25、本發明提供了一種圖像深度壓縮感知重建方法,首先將待處理圖像分別進行基于空間域的壓縮處理和基于頻率域的壓縮處理,得到兼顧全局和局部信息的空間域壓縮圖像,以及保留了反映圖像全局信息低頻部分的頻率域壓縮圖像,然后基于空間域壓縮圖像和頻率域壓縮圖像,獲取壓縮效果值;當壓縮效果值大于壓縮效果閾值時,證明壓縮質量好,為保證重建質量的基礎上提高計算效率,將初始重建圖像的局部空間特征和多尺度注意力融合特征,經合并后進行卷積處理,得到重建圖像;當壓縮效果值不大于壓縮效果閾值時,證明壓縮質量較差,為確保重建質量,將初始重建圖像依次進行高維特征稀疏化處理和通道特征稀疏化處理,去除冗余信息、突出關鍵特征后挖掘通道間的相關性,得到稀疏特征圖;并通過初始化一組神經元,將稀疏特征圖進行聚類映射處理,使得相似的特征歸為一類,得到稀疏特征聚類圖;稀疏特征聚類圖經若干次加噪處理后,進行基于u-net網絡的去噪處理,恢復原圖像固有結構和紋理信息,得到去噪圖像;基于過完備字典的重建方法對去噪圖像進行處理,更精確地逼近原始圖像,得到重建圖像,提高了圖像重建質量。