本發明涉及通信,特別涉及一種面向圖像傳輸的輕量級語義通信方法和系統。
背景技術:
1、隨著物聯網和虛擬現實等帶寬密集型應用的快速發展,無線通信網絡對數據傳輸的需求呈現指數級增長,這使得高效的無線通信系統設計成為研究熱點。其中,語義通信憑借其在提升傳輸效率、減少冗余以及適應復雜信道環境等方面的潛力,已成為6g通信技術的重要研究方向。
2、當前,語義通信系統性能提升的研究已取得諸多進展,但高效的語義提取仍是亟待解決的關鍵挑戰。傳統基于卷積神經網絡(convolutional?neural?network,cnn)的語義提取方法雖然能夠實現較高精度,卻需要消耗大量計算資源。深度學習(deep?learning,dl)憑借其自動提取語義特征的顯著優勢,已在語義通信系統中得到應用,但其對功耗與計算資源的需求依舊較高,且采用的網絡模型的參數量較大。而物聯網設備的功耗和計算資源有限,使得現有技術中的語義通信系統均難以高效應用至物聯網設備,限制了物聯網技術的發展。
技術實現思路
1、基于此,本發明的目的是提供一種面向圖像傳輸的輕量級語義通信方法和系統,以解決現有技術中的語義通信系統的資源消耗高,難以高效應用至物聯網設備,限制了物聯網技術的發展的問題。
2、本發明一方面提供一種面向圖像傳輸的輕量級語義通信方法,包括:
3、對目標圖像依次進行第一卷積處理、下采樣和第一空洞空間金字塔池化,以獲得編碼數據;
4、根據接收到的所述編碼數據依次進行上采樣、第二卷積處理和第二空洞空間金字塔池化,以獲得所述目標圖像的重構圖像;
5、以及,對所述目標圖像進行外移位卷積,以獲得第一特征圖,所述第一特征圖的特征尺寸與所述下采樣的輸入數據的特征尺寸一致;
6、其中,所述下采樣包括依次進行的特征拼接、內移位卷積和非線性激活,所述特征拼接用于將所述第一特征圖拼接至所述下采樣的輸入數據中;
7、所述第一特征圖還通過殘差連接疊加至所述內移位卷積的輸出數據中;
8、所述外移位卷積和所述內移位卷積均包括依次進行的移位、批量歸一化和點態卷積;
9、所述下采樣連續執行有多次。
10、可選地,所述下采樣還包括:
11、根據通道注意力機制調整所述下采樣的輸入數據的通道權重,獲得第一中間數據;
12、其中,所述特征拼接用于將所述第一特征圖拼接至所述第一中間數據,獲得第二中間數據,以根據所述第二中間數據進行內移位卷積。
13、可選地,根據通道注意力機制調整輸入數據的通道權重,獲得第一中間數據的步驟還包括:
14、依次進行的第三卷積處理、第一全局平均池化、全連接層降維、激活、全連接層升維、第二全局平均池化和通道加權;
15、其中,所述第三卷積處理的輸出還通過殘差連接疊加至所述第二全局平均池化的輸出數據中。
16、可選地,獲得編碼數據的步驟為順序處理模式,且還包括:根據當前所述下采樣的輸入數據的尺寸與所述目標圖像的尺寸差異獲得縮放因子,并根據所述縮放因子獲得所述外移位卷積的移位操作步長,以使獲得的所述第一特征圖的尺寸與當前所述下采樣的輸入數據的尺寸一致。
17、可選地,還包括:將所述第一特征圖拼接至所述第一空洞空間金字塔池化的輸入數據中。
18、本發明另一方面提供一種面向圖像傳輸的輕量級語義通信系統,包括:
19、編碼器,包括依次連接的第一卷積模塊、下采樣模塊和第一空洞空間金字塔池化模塊,用于對目標圖像依次進行第一卷積處理、下采樣和第一空洞空間金字塔池化,以獲得編碼數據;
20、解碼器,包括依次連接的上采樣模塊、第二卷積模塊和第二空洞空間金字塔池化模塊,用于根據接收到的所述編碼數據依次進行上采樣、第二卷積處理和第二空洞空間金字塔池化,以獲得所述目標圖像的重構圖像;
21、其中,所述編碼器還包括外移位卷積單元,所述外移位卷積單元用于對所述目標圖像進行外移位卷積,以獲得第一特征圖,所述第一特征圖的特征尺寸與所述下采樣的特征尺寸一致;
22、所述下采樣模塊包括依次連接的特征拼接單元、內移位卷積單元和非線性激活單元,其中,所述特征拼接用于將所述第一特征圖拼接至所述下采樣模塊的輸入數據中;
23、所述外移位卷積單元還連接至所述內移位卷積單元的輸出端,以將所述第一特征圖通過殘差連接疊加至所述內移位卷積單元的輸出數據中;
24、所述外移位卷積單元和所述內移位卷積單元均包括依次連接的移位層、批量歸一化層和點態卷積層;
25、所述下采樣模塊連續設置有多個。
26、可選地,所述下采樣模塊還包括:
27、壓縮激勵單元,用于根據通道注意力機制調整所述下采樣的輸入數據的通道權重,獲得第一中間數據;
28、其中,所述特征拼接單元用于將所述第一特征圖拼接至所述第一中間數據,以獲得第二中間數據,并將所述第二中間數據作為所述內移位卷積單元的輸入數據。
29、可選地,所述壓縮激勵單元包括:
30、依次連接的第三卷積層、第一全局平均池化層、全連接層降維層、激活層、全連接層升維層、第二全局平均池化層和通道加權層;
31、其中,所述第三卷積層的輸出還通過殘差連接疊加至所述第二全局平均池化層的輸出數據中。
32、可選地,所述編碼器的工作模式為順序處理模式,所述外移位卷積單元還用于:根據當前所述下采樣模塊的輸入數據的尺寸與所述目標圖像的尺寸差異獲得縮放因子,并根據所述縮放因子獲得所述外移位卷積單元的移位操作步長,以使獲得的所述第一特征圖的尺寸與當前所述下采樣模塊的輸入數據的尺寸一致。
33、可選地,所述第一特征圖還拼接至所述第一空洞空間金字塔池化模塊的輸入數據中。
34、本發明提供的面向圖像傳輸的輕量級語義通信方法通過移位卷積替換下采樣中的傳統卷積需求,可有效降低計算復雜度,且對輸入的目標圖像進行外移位卷積處理,將獲得的第一特征圖拼接至下采樣的輸入數據中,構成兩次移位卷積操作,可有效提升語義特征的提取效率;且下采樣連續執行多次,外移位卷積可復用,進一步降低對計算資源的需求,提升輕量化程度;第一特征圖為根據目標圖像獲得的原始信息,將原始信息拼接至各下采樣中,可降低連續多次移位卷積造成的原始信息損失影響,提高重構圖像質量。本發明提供的面向圖像傳輸的輕量級語義通信方法通過外移位卷積和多次下采樣的內移位卷積的組合,可有效降低對編碼端的計算資源需求,且可減少原始信息的損失,提升解碼獲得的重構圖像質量。
1.一種面向圖像傳輸的輕量級語義通信方法,其特征在于,包括:
2.根據權利要求1所述的面向圖像傳輸的輕量級語義通信方法,其特征在于,所述下采樣還包括:
3.根據權利要求2所述的面向圖像傳輸的輕量級語義通信方法,其特征在于,根據通道注意力機制調整輸入數據的通道權重,獲得第一中間數據的步驟還包括:
4.根據權利要求1所述的面向圖像傳輸的輕量級語義通信方法,其特征在于,獲得編碼數據的步驟為順序處理模式,且還包括:根據當前所述下采樣的輸入數據的尺寸與所述目標圖像的尺寸差異獲得縮放因子,并根據所述縮放因子獲得所述外移位卷積的移位操作步長,以使獲得的所述第一特征圖的尺寸與當前所述下采樣的輸入數據的尺寸一致。
5.根據權利要求1所述的面向圖像傳輸的輕量級語義通信方法,其特征在于,還包括:將所述第一特征圖拼接至所述第一空洞空間金字塔池化的輸入數據中。
6.一種面向圖像傳輸的輕量級語義通信系統,其特征在于,包括:
7.根據權利要求6所述的面向圖像傳輸的輕量級語義通信系統,其特征在于,所述下采樣模塊還包括:
8.根據權利要求7所述的面向圖像傳輸的輕量級語義通信系統,其特征在于,所述壓縮激勵單元包括:
9.根據權利要求6所述的面向圖像傳輸的輕量級語義通信系統,其特征在于,所述編碼器的工作模式為順序處理模式,所述外移位卷積單元還用于:根據當前所述下采樣模塊的輸入數據的尺寸與所述目標圖像的尺寸差異獲得縮放因子,并根據所述縮放因子獲得所述外移位卷積單元的移位操作步長,以使獲得的所述第一特征圖的尺寸與當前所述下采樣模塊的輸入數據的尺寸一致。
10.根據權利要求6所述的面向圖像傳輸的輕量級語義通信系統,其特征在于,所述第一特征圖還拼接至所述第一空洞空間金字塔池化模塊的輸入數據中。