本申請涉及集群管理,尤其涉及一種集群管理方法、目標集群系統、電子設備以及存儲介質。
背景技術:
1、在大數據與云計算蓬勃發展的當下,數據量呈爆發式增長,redis集群作為應對海量數據與高并發請求的解決方案,redis集群中的各個redis節點之間依賴網絡套接字通信,數據傳輸需要多次在內核態與用戶態之間進行切換,這個過程會引入額外的開銷,導致傳輸延遲顯著增加。比如在數據遷移時,大量的數據需要在不同存儲節點間傳輸,這種低效的傳輸方式,會導致數據遷移時間大幅延長。
技術實現思路
1、本申請提供了一種集群管理方法、目標集群系統、電子設備以及存儲介質,能夠提高各個存儲節點之間的數據遷移效率。所述技術方案如下:
2、根據本申請的一個方面,提供了一種集群管理方法,所述方法應用于目標集群系統,所述目標集群系統包括集群管理節點和多個存儲節點,每個所述存儲節點中配置有rdma網卡,所述方法包括:
3、在所述多個存儲節點中的源節點和目標節點之間存在數據遷移需求的情況下,通過所述集群管理節點控制所述源節點與所述目標節點基于rdma握手協議建立網絡連接;
4、通過所述源節點基于所述rdma網卡向所述目標節點的內存發送目標遷移數據;
5、通過所述目標節點基于所述rdma網卡接收所述源節點發送的所述目標遷移數據;
6、在傳輸所述目標遷移數據的過程中,通過所述集群管理節點接收所述源節點和所述目標節點反饋的所述目標遷移數據的已傳輸數據量和剩余數據量;
7、通過所述集群管理節點基于所述已傳輸數據量和所述剩余數據量,調整所述源節點和所述目標節點之間的數據遷移策略。
8、根據本申請的另一方面,提供了一種目標集群系統,所述目標集群系統包括集群管理節點和多個存儲節點,每個所述存儲節點中配置有rdma網卡:
9、所述集群管理節點,用于在所述多個存儲節點中的源節點和目標節點之間存在數據遷移需求的情況下,控制所述源節點與所述目標節點基于rdma握手協議建立網絡連接;
10、所述源節點,用于基于所述rdma網卡向所述目標節點的內存發送目標遷移數據;
11、所述目標節點,用于基于所述rdma網卡接收所述源節點發送的所述目標遷移數據;
12、所述集群管理節點,還用于在傳輸所述目標遷移數據的過程中,接收所述源節點和所述目標節點反饋的所述目標遷移數據的已傳輸數據量和剩余數據量;
13、所述集群管理節點,還用于基于所述已傳輸數據量和所述剩余數據量,調整所述源節點和所述目標節點之間的目標遷移策略。
14、根據本申請的一個方面,提供了一種電子設備,包括:處理器以及存儲程序的存儲器,所述程序包括指令,所述指令在由所述處理器執行時使所述處理器執行如上所述的集群管理方法。
15、根據本申請的另一方面,提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質,所述計算機指令用于使所述計算機執行如上所述的集群管理方法。
16、根據本申請的另一個方面,提供了一種計算機程序產品,該計算機程序產品包括計算機指令,該計算機指令存儲在計算機可讀存儲介質中。電子設備的處理器從計算機可讀存儲介質讀取該計算機指令,處理器執行該計算機指令,使得該計算機設備執行上述集群管理方法。
17、本申請實施例提供的技術方案帶來的有益效果至少包括:
18、通過為目標集群管理系統中的各個存儲節點配置rdma網卡,使得在存儲節點之間進行數據傳輸或數據遷移時,源節點可以直接通過rdma網卡將目標遷移數據傳輸至目標節點的內存,而無需源節點和目標節點的操作系統參與,對應不涉及用戶態和內核態切換,可以提高存儲節點之間的數據遷移效率;而且,還增加有傳輸進度監控和反饋功能,使得可以將數據遷移過程中的已傳輸數據量和剩余數據量等信息反饋給集群管理節點,使得集群管理節點可以根據反饋信息及時調整數據遷移策略,保障存儲節點之間的數據遷移效率。
1.一種集群管理方法,其特征在于,所述方法應用于目標集群系統,所述目標集群系統包括集群管理節點和多個存儲節點,每個所述存儲節點中配置有rdma網卡,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,所述目標集群系統還包括負載均衡節點,所述方法還包括:
3.根據權利要求2所述的方法,其特征在于,所述通過所述負載均衡節點基于所述多個關鍵負載指標,確定每個所述存儲節點的當前負載值,包括:
4.根據權利要求3所述的方法,其特征在于,所述通過所述負載均衡節點獲取所述多個關鍵負載指標中每個所述關鍵負載指標的指標權重,包括:
5.根據權利要求2所述的方法,其特征在于,所述方法還包括:
6.根據權利要求2所述的方法,其特征在于,所述方法還包括:
7.根據權利要求1至6任一所述的方法,其特征在于,所述方法還包括:
8.一種目標集群系統,其特征在于,所述目標集群系統包括集群管理節點和多個存儲節點,每個所述存儲節點中配置有rdma網卡:
9.一種電子設備,包括:
10.一種存儲有計算機指令的非瞬時計算機可讀存儲介質,其中,所述計算機指令用于使所述計算機執行根據權利要求1-7中任一項所述的集群管理方法。