本發明涉及資源管理,尤其涉及基于服務流量預測的開源系統資源調度管理方法及系統。
背景技術:
1、隨著云計算和分布式系統的快速發展,開源系統已廣泛應用于各類互聯網服務和企業應用中。這些開源系統通常由多個服務節點組成,共同提供計算、存儲和網絡等資源服務。在實際運行過程中,各服務節點面臨的流量負載往往呈現出明顯的時間波動性和不均衡性,這對系統資源的高效調度和管理提出了嚴峻挑戰。傳統的資源調度管理方法主要基于靜態配置或簡單的負載均衡策略,難以適應復雜多變的服務流量環境。
2、現有的資源調度方法大多依賴于當前系統狀態進行決策,缺乏對未來流量變化的預測能力,導致系統在面對突發流量時反應滯后,無法提前做好資源準備,容易造成服務質量下降或資源浪費。
3、傳統的負載均衡算法通常采用固定權重或簡單的輪詢機制,未能充分考慮服務節點的異構性和動態變化特性,難以根據節點的實際計算能力和當前負載狀況進行精細化的資源分配,降低了系統整體的資源利用效率。
4、現有的資源調度策略往往缺乏全局優化視角,未能同時兼顧服務響應時間和資源利用率等多維度指標,在資源分配決策過程中難以平衡系統性能與資源成本之間的關系,導致在高負載情況下系統。
技術實現思路
1、本發明實施例提供基于服務流量預測的開源系統資源調度管理方法及系統,能夠解決現有技術中的問題。
2、本發明實施例的第一方面,獲取開源系統中各服務節點的歷史流量數據,基于所述歷史流量數據,構建深度神經網絡模型,通過所述深度神經網絡模型對各服務節點未來時間窗口內的流量進行預測,得到預測流量數據;
3、根據所述預測流量數據,結合各服務節點的計算能力參數,計算動態權重系數;
4、實時采集開源系統中各服務節點的資源狀態信息,并基于所述資源狀態信息計算得到各服務節點的資源可用度指標;
5、將所述動態權重系數和所述資源可用度指標輸入至改進的蟻群算法中,其中:使用所述動態權重系數作為蟻群算法的啟發式信息,使用所述資源可用度指標作為路徑選擇的約束條件,通過迭代優化過程生成資源分配方案,所述迭代優化過程中的信息素更新規則基于服務響應時間和資源利用率進行動態調整;
6、根據所述資源分配方案,生成服務遷移序列和資源分配指令,按照所述服務遷移序列的順序執行服務遷移操作,并根據所述資源分配指令調整各服務節點的資源配置。
7、通過所述深度神經網絡模型對各服務節點未來時間窗口內的流量進行預測,得到預測流量數據包括:
8、所述深度神經網絡模型包括:輸入層,用于接收預處理后的訓練數據;特征提取層,采用一維卷積網絡提取時序特征;注意力機制層,用于計算不同時間點的特征權重;長短時記憶網絡層,用于捕獲時序數據的長期依賴關系;全連接層,用于特征降維和組合;輸出層,輸出預測結果;
9、基于所述歷史流量數據采用滑動時間窗口方法構建訓練數據,通過所述訓練數據訓練所述深度神經網絡模型,使用自適應學習率的優化算法進行模型參數更新,引入早停機制防止過擬合,并通過交叉驗證確定最優模型參數;
10、設定預測時間窗口的長度,將所述歷史流量數據輸入已訓練的深度神經網絡模型,通過模型前向傳播得到未來時間窗口內的預測流量數據。
11、所述計算動態權重系數包括:
12、將所述預測流量數據與預設流量閾值的比值作為基礎權重,結合所述基礎權重與服務節點的計算能力參數確定表征服務節點負載均衡程度的動態權重系數;
13、將服務節點的處理器核心數乘以單核心基準性能得到處理器性能得分;將內存容量除以基準內存容量得到內存性能得分;將網絡傳輸速率除以基準傳輸速率得到網絡性能得分;
14、將所述基礎權重與所述處理器性能得分的乘積記為第一子權重;將所述基礎權重與所述內存性能得分的乘積記為第二子權重;將所述基礎權重與所述網絡性能得分的乘積記為第三子權重;
15、將所述第一子權重、所述第二子權重、第三子權重的加權平均值作為表征服務節點負載均衡程度的動態權重系數。
16、使用所述動態權重系數作為蟻群算法的啟發式信息,使用所述資源可用度指標作為路徑選擇的約束條件,通過迭代優化過程生成資源分配方案,所述迭代優化過程中的信息素更新規則基于服務響應時間和資源利用率進行動態調整包括:
17、設置蟻群算法的初始參數,包括螞蟻數量、信息素初始值、信息素揮發系數和最大迭代次數;
18、計算各服務節點的路徑選擇概率:將各服務節點的動態權重系數的倒數作為啟發式信息值;將可用cpu數量低于第一預設閾值或者可用內存容量低于第二預設閾值或者可用網絡帶寬低于第三預設閾值的服務節點的路徑選擇概率設置為零;對剩余服務節點,將信息素濃度與啟發式信息值的乘積除以所有可選服務節點乘積之和,得到路徑選擇概率;
19、分配螞蟻群在不同節點出發,每個螞蟻獨立執行以下步驟:
20、記錄已訪問的服務節點;基于路徑選擇概率選擇下一個可訪問的服務節點;計算當前路徑下的負載方差;當訪問完所有服務節點或負載方差小于預設負載均衡閾值時,完成一次路徑搜索;
21、對每條搜索路徑執行以下操作:獲取路徑上各服務節點的服務響應時間,計算平均響應時間;獲取路徑上各服務節點的資源利用率,計算平均資源利用率;計算平均響應時間與基準響應時間的比值,得到時間評價系數;計算平均資源利用率與基準利用率的比值,得到利用率評價系數;根據時間評價系數和利用率評價系數計算信息素增量;按照預設的信息素揮發系數更新路徑上的信息素濃度,并疊加信息素增量;
22、當達到最大迭代次數或連續多次迭代的負載方差變化小于收斂閾值時,選取負載方差最小的路徑作為資源分配方案。
23、根據時間評價系數和利用率評價系數計算信息素增量;按照預設的信息素揮發系數更新路徑上的信息素濃度,并疊加信息素增量包括:
24、將所述時間評價系數和所述利用率評價系數分別平方;將兩個評價系數的平方值相加;將相加結果除以評價系數數量;將計算結果乘以預設的路徑期望增益系數,得到信息素增量;
25、獲取路徑當前的信息素濃度;將信息素濃度乘以預設的信息素保留率;將信息素增量疊加至當前信息素濃度;判斷更新后的信息素濃度是否在預設區間內;若超出預設區間則將信息素濃度設置為區間邊界值。
26、根據所述資源分配方案,生成服務遷移序列和資源分配指令,按照所述服務遷移序列的順序執行服務遷移操作,并根據所述資源分配指令調整各服務節點的資源配置包括:
27、所述資源分配方案包括待遷移的源服務節點列表、目標服務節點列表以及每個服務節點的目標資源配置值;
28、獲取每個待遷移的源服務節點列表上運行的服務實例的資源占用量;計算目標服務節點列表中服務節點的剩余可用資源量;根據服務實例的資源占用量對源服務節點進行優先級排序;根據剩余可用資源量對目標服務節點進行優先級排序;將優先級最高的源節點與優先級最高的目標節點進行匹配,生成遷移序列;
29、計算每個服務節點當前的資源配置值與目標資源配置值的差值;對于需要擴容的服務節點,生成資源擴容指令;對于需要減容的服務節點,生成資源減容指令;將所述資源擴容指令和資源減容指令組成資源分配指令集。
30、本發明實施例的第二方面,提供基于服務流量預測的開源系統資源調度管理系統,包括:
31、第一單元,用于獲取開源系統中各服務節點的歷史流量數據,基于所述歷史流量數據,構建深度神經網絡模型,通過所述深度神經網絡模型對各服務節點未來時間窗口內的流量進行預測,得到預測流量數據;
32、第二單元,用于根據所述預測流量數據,結合各服務節點的計算能力參數,計算動態權重系數;
33、第三單元,用于實時采集開源系統中各服務節點的資源狀態信息,并基于所述資源狀態信息計算得到各服務節點的資源可用度指標;
34、第四單元,用于將所述動態權重系數和所述資源可用度指標輸入至改進的蟻群算法中,其中:使用所述動態權重系數作為蟻群算法的啟發式信息,使用所述資源可用度指標作為路徑選擇的約束條件,通過迭代優化過程生成資源分配方案,所述迭代優化過程中的信息素更新規則基于服務響應時間和資源利用率進行動態調整;
35、第五單元,用于根據所述資源分配方案,生成服務遷移序列和資源分配指令,按照所述服務遷移序列的順序執行服務遷移操作,并根據所述資源分配指令調整各服務節點的資源配置。
36、本發明實施例的第三方面,提供一種電子設備,包括:
37、處理器;
38、用于存儲處理器可執行指令的存儲器;
39、其中,所述處理器被配置為調用所述存儲器存儲的指令,以執行前述所述的方法。
40、本發明實施例的第四方面,提供一種計算機可讀存儲介質,其上存儲有計算機程序指令,所述計算機程序指令被處理器執行時實現前述所述的方法。
41、本技術的有益效果如下:
42、本發明通過構建深度神經網絡模型對服務節點流量進行預測,并結合計算能力參數計算動態權重系數,實現了對系統資源需求的準確預判,有效避免了傳統靜態資源分配方式導致的資源浪費和服務質量下降問題。
43、本發明將動態權重系數和資源可用度指標融入改進的蟻群算法中,使用動態權重作為啟發式信息,資源可用度作為約束條件,通過迭代優化生成資源分配方案,提高了資源調度的靈活性和適應性,能夠根據流量變化動態調整資源分配策略。
44、本發明基于預測流量和計算能力參數的動態權重計算機制,結合資源狀態的實時監控,實現了系統資源的高效分配和負載均衡,顯著提升了開源系統的整體性能和穩定性,降低了系統響應時間,提高了資源利用率,為用戶提供更加流暢的服務體驗。