本發明屬于無線通信，更具體地，涉及一種用于動態頻譜接入的深度循環q網絡的構建方法。
背景技術：
1、隨著5g的商業化推進以及6g的高速發展，無線通信網絡規模急速增長，用戶數量不斷增加，大型的高密集數據型應用接連涌現，加劇了頻譜資源競爭。傳統頻譜分配方法通常以固定分配為主，導致頻譜資源利用率較低。動態頻譜接入(dsa)技術使非授權用戶合理捕捉并充分利用由于授權用戶處于空閑狀態而產生的頻譜空洞，顯著提高了頻譜利用率。近年來，深度強化學習(drl)因其在高維狀態空間和連續動作空間中的強大學習能力，被廣泛應用于無線通信領域。
2、現有方法主要依賴機器學習、優化算法或強化學習(reinforcement?learning，rl)，但普遍存在以下問題：未充分建模用戶間的干擾關系，對于空間相關信息的挖掘較為有限，亦缺乏時間依賴性建模，無法準確預測未來頻譜占用趨勢。進一步地，決策過程復雜度高，難以實時優化大規模網絡中的頻譜分配；以上各種缺陷導致動態頻譜接入效率較低。
技術實現思路
1、針對現有技術的以上缺陷或改進需求，本發明提供了一種用于動態頻譜接入的深度循環q網絡的構建方法，其目的在于，解決現有動態頻譜接入方法往往接入效率低的技術問題。
2、為實現上述目的，按照本發明的一個方面，提供了一種用于動態頻譜接入的深度循環q網絡的構建方法，包括：
3、s1：構建表征用戶網絡狀態的時空圖；所述時空圖的節點包括授權用戶和非授權用戶；所述節點的特征向量為對應節點的網絡狀態編碼；所述時空圖的邊根據節點間的地理位置和干擾關系進行構建；
4、s2：將各個時刻所述時空圖對應的特征矩陣輸入空間注意力機制模塊得到各個時刻所述時空圖對應空間注意力權重；
5、s3：將各個時刻的空間注意力權重與時空圖的特征矩陣融合得到各個時刻的空間注意力特征；
6、s4：將各個時刻環境因素、歷史行為和空間注意力特征輸入時間注意力機制模塊，得到各個時刻的時間注意力權重；
7、s5：將每個時刻的時間注意力權重與相應的空間注意力特征進行融合，得到時空圖的綜合注意力特征；
8、s6：將所述時空圖的綜合注意力特征輸入初始深度循環q網絡進行深度強化學習訓練直至收斂，得到目標深度循環q網絡。
9、進一步地，所述s1包括：
10、以授權用戶和非授權用戶為所述時空圖的節點，以節點的網絡狀態編碼作為所述節點的特征向量；
11、若任意節點之間的通信距離超過預設距離或信道增益超過指定閾值則在所述時空圖中對應節點之間增加一條邊，以反映潛在的干擾耦合或協作關系。
12、進一步地，所述s2包括：
13、在第一時刻，將第一時刻對應時空圖的特征矩陣輸入空間注意力機制模塊得到第一時刻對應的空間注意力權重其中，eij表示節點i和節點j之間的注意力系數，eij＝leakyrelu(at·(whi||whj))，eik表示節點i和節點k之間的注意力系數，表示鄰居節點集合，leakyrelu()表示帶泄露系數的relu激活函數，at表示可學習的注意力權重向量，whi，whj表示圖注意力網絡的可學習變換矩陣，||表示向量拼接操作；
14、在第一時刻之后的每個時刻，將所述每個時刻對應時空圖的特征矩陣以及前一個時刻的各個節點的更新特征輸入注意力機制模塊得到所述每個時刻對應的空間注意力權重；h′表示節點i的節點更新特征，σ(·)為sigmoid函數。
15、進一步地，所述s4包括：
16、s41：將t時刻環境因素和歷史行為和空間注意力特征進行拼接得到t時刻的空間融合特征其中，wt,lt,qt分別表示天氣、地理位置、信號質量；tt,ft分別表示上網時長、訪問的頻譜段；
17、s42：將t時刻的空間融合特征輸入所述時間注意力機制模塊中，得到t時刻的時間注意力權重。
18、進一步地，所述s42包括：
19、將t時刻的空間融合特征輸入所述時間注意力機制模塊中，得到t時刻的時間注意力權重
20、
21、其中，環境因素的權重歷史行為的權重wenv表示環境因素的可學習權重矩陣；wbehabior表示歷史行為因素的可學習權重矩陣。
22、進一步地，所述s6包括：
23、以最小化帶嶺回歸約束的損失為目標，將所述時空圖的綜合注意力特征輸入初始深度循環q網絡進行深度強化學習訓練，直至模型收斂，得到目標深度循環q網絡。
24、進一步地，訓練過程中利用如下公式更新所述初始深度循環q網絡直至其收斂；
25、zt＝σ(wzxt+wz,inut+wz,feedbackyt)
26、
27、其中，σ(·)為sigmoid函數，wz,wz,in,wz,feedback均為可訓練網絡權重，xt為當前狀態向量，ut為外部輸入，yt表示反饋輸出，為在當前時刻收集到的輸入信號xt,ut,yt之上的新候選狀態，tanh(·)表示雙曲正切激活函數，xt+1表示最終狀態更新，⊙為元素hadamard乘，ηt表示額外的噪聲或擾動項。
28、按照本發明的另一方面，提供了一種非授權用戶的動態頻譜接入方法，包括：將當前時刻的網絡環境對應時空圖的綜合注意力特征輸入上述方法構建的目標深度循環q網絡，得到當前時刻的信道分配策略；利用所述當前信道分配策略實現非授權用戶的動態頻譜接入。
29、按照本發明的另一方面，提供了一種非授權用戶的動態頻譜接入系統，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現非授權用戶的動態頻譜接入方法的步驟。
30、按照本發明的另一方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現用于動態頻譜接入的深度循環q網絡的構建方法或非授權用戶的動態頻譜接入方法的步驟。
31、總體而言，通過本發明所構思的以上技術方案與現有技術相比，能夠取得下列有益效果：
32、(1)本發明提出的用于動態頻譜接入的深度循環q網絡的構建方法，通過引入空間注意力機制能夠動態識別不同位置的用戶之間的干擾強弱，精準建模用戶之間的空間關聯性，從而有效降低頻譜沖突及干擾的發生概率，提升整體網絡通信質量；通過引入時間注意力機制和transformer架構，有效捕捉用戶頻譜使用模式隨時間的演變特征，準確預測頻譜的占用與空閑狀態，大幅提高頻譜資源利用率；結合深度循環q網絡(drqn)的強化學習特性構建得到的深度循環q網絡，在用于動態頻譜接入時，實現了頻譜分配的智能化決策，動態適應用戶需求變化和網絡狀態的波動，降低決策時延，提升了接入效率。
33、(2)本方案中，若節點間距離或信道增益超過指定閾值，則在時空圖中該節點增加一條邊，以反映潛在的干擾耦合或協作關系；在每個時隙結束后根據用戶位置和干擾變化動態更新節點特征或邊集合。
34、(3)本方案中，采用時空圖注意力網絡(st-gat)對空間維度上的干擾關系以及時間維度上的頻譜使用模式進行有效分析，并通過拓展transformer模塊，充分考慮天氣、地理位置、信號質量，以及用戶歷史接入模式，用戶本身設備特征實現對頻譜使用模式的精準時序預測。在此基礎上，應用深度循環q網絡(drqn)，借助強化學習框架實現動態頻譜接入的智能決策，實時輸出最優信道分配策略，最大化頻譜資源的利用效率并最小化用戶間干擾。
35、(4)本方案中，嶺回歸方法的應用則進一步增強了模型在復雜動態場景中的泛化性能，避免過擬合風險，從而提高動態頻譜接入方法在實際場景中的穩定性與可靠性。
36、(5)本方案中，門控機制的加入能顯著提高模型訓練過程中的信息利用效率，防止無效或冗余信息干擾決策過程。