本申請涉及人工智能領域,尤其涉及一種結合硬件部署的模型部署方法及裝置。
背景技術:
1、人工智能模型部署的目的是將大模型技術轉化為實際生產力,模型部署通過優化算力資源、提升數據處理效率和增強場景適配性,推動技術從實驗室走向產業應用。
2、當前模型部署實踐中,技術人員多采用經驗驅動的離線模型分割策略,通過人工預判將模型一次性部署至目標設備。該方法存在三方面局限性:其一,過度依賴技術人員對硬件拓撲的認知,易導致模型并行策略與實際硬件架構產生偏差;其二,當計算節點配置或網絡拓撲發生動態變化時,需人工重新進行資源評估與策略制定,缺乏實時響應能力;其三,整個部署過程缺乏自動化機制,難以實現模型分割策略與硬件環境的動態適配,這種靜態部署模式已成為制約ai系統彈性擴展的關鍵瓶頸。
技術實現思路
1、本申請提供一種結合硬件部署的模型部署方法及裝置,用以解決上述依賴技術人員經驗,容易導致模型并行策略與物理連接拓撲不匹配,而且硬件資源發生改變后,需要人工重新評估并采用新的模型分割策略,整個過程無法自動化的問題。
2、第一方面,本申請提供了一種結合硬件部署的模型部署方法,包括:
3、根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;
4、解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;
5、根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;
6、根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。
7、第二方面,本申請提供了一種結合硬件部署的模型部署裝置,包括:
8、硬件拓撲圖確定模塊,被配置為根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;
9、模型計算圖確定模塊,被配置為解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;
10、目標匹配值確定模塊,被配置為根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;
11、部署方案確定模塊,被配置為根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。
12、第三方面,本申請提供了一種可讀介質,包括執行指令,當電子設備的處理器執行所述執行指令時,所述電子設備執行如第一方面中任一所述的方法。
13、第四方面,本申請提供了一種電子設備,包括處理器以及存儲有執行指令的存儲器,當所述處理器執行所述存儲器存儲的所述執行指令時,所述處理器執行如第一方面中任一所述的方法。
14、本申請提供了一種結合硬件部署的模型部署方法,根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。通過實時感知硬件狀態與模型計算圖的動態匹配機制,自動生成最優部署策略,并在硬件拓撲或資源條件變化時觸發自適應優化,實現模型分割策略與異構環境的實時協同適配,顯著提升部署自動化水平與系統彈性。
15、上述的非慣用的優選方式所具有的進一步效果將在下文中結合具體實施方式加以說明。
1.一種結合硬件部署的模型部署方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述根據目標模型部署環境中的設備節點及各所述設備節點對應的連接關系,構建所述設備節點對應的硬件拓撲圖包括:
3.根據權利要求1所述的方法,其特征在于,所述解析所述目標模型中目標算子的依賴關系以及各所述目標算子對應的資源需求,以生成所述目標算子對應的模型計算圖包括:
4.根據權利要求1所述的方法,其特征在于,所述根據所述硬件拓撲圖和所述模型計算圖,利用預設的評估算法,計算所述設備節點與所述目標算子之間的目標匹配值包括:
5.根據權利要求4所述的方法,其特征在于,所述根據所述目標匹配值和預設的分級策略,確定所述目標模型對應的部署方案包括:
6.根據權利要求5所述的方法,其特征在于,所述基于所述目標匹配等級確定所述部署方案包括:
7.根據權利要求5所述的方法,其特征在于,所述基于所述目標匹配等級確定所述部署方案包括:
8.一種結合硬件部署的模型部署裝置,其特征在于,包括:
9.一種計算機可讀存儲介質,所述存儲介質存儲有計算機程序,其特征在于,所述計算機程序用于執行上述權利要求1-7任一所述的一種結合硬件部署的模型部署方法。
10.一種電子設備,其特征在于,所述電子設備包括: