国产精品无码一区二区三级,免费无码又爽又刺激网站,女人18一级毛片免费观看,久青草国产在线观看,91网在线,大桥未久亚洲一区二区,国产午睡沙发系列大全,免费无码又爽又刺激高潮的视频免费

      一種結合硬件部署的模型部署方法及裝置與流程

      文檔序號:42322240發布日期:2025-07-01 19:38閱讀:5來源:國知局

      本申請涉及人工智能領域,尤其涉及一種結合硬件部署的模型部署方法及裝置。


      背景技術:

      1、人工智能模型部署的目的是將大模型技術轉化為實際生產力,模型部署通過優化算力資源、提升數據處理效率和增強場景適配性,推動技術從實驗室走向產業應用。

      2、當前模型部署實踐中,技術人員多采用經驗驅動的離線模型分割策略,通過人工預判將模型一次性部署至目標設備。該方法存在三方面局限性:其一,過度依賴技術人員對硬件拓撲的認知,易導致模型并行策略與實際硬件架構產生偏差;其二,當計算節點配置或網絡拓撲發生動態變化時,需人工重新進行資源評估與策略制定,缺乏實時響應能力;其三,整個部署過程缺乏自動化機制,難以實現模型分割策略與硬件環境的動態適配,這種靜態部署模式已成為制約ai系統彈性擴展的關鍵瓶頸。


      技術實現思路

      1、本申請提供一種結合硬件部署的模型部署方法及裝置,用以解決上述依賴技術人員經驗,容易導致模型并行策略與物理連接拓撲不匹配,而且硬件資源發生改變后,需要人工重新評估并采用新的模型分割策略,整個過程無法自動化的問題。

      2、第一方面,本申請提供了一種結合硬件部署的模型部署方法,包括:

      3、根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;

      4、解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;

      5、根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;

      6、根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。

      7、第二方面,本申請提供了一種結合硬件部署的模型部署裝置,包括:

      8、硬件拓撲圖確定模塊,被配置為根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;

      9、模型計算圖確定模塊,被配置為解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;

      10、目標匹配值確定模塊,被配置為根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;

      11、部署方案確定模塊,被配置為根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。

      12、第三方面,本申請提供了一種可讀介質,包括執行指令,當電子設備的處理器執行所述執行指令時,所述電子設備執行如第一方面中任一所述的方法。

      13、第四方面,本申請提供了一種電子設備,包括處理器以及存儲有執行指令的存儲器,當所述處理器執行所述存儲器存儲的所述執行指令時,所述處理器執行如第一方面中任一所述的方法。

      14、本申請提供了一種結合硬件部署的模型部署方法,根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。通過實時感知硬件狀態與模型計算圖的動態匹配機制,自動生成最優部署策略,并在硬件拓撲或資源條件變化時觸發自適應優化,實現模型分割策略與異構環境的實時協同適配,顯著提升部署自動化水平與系統彈性。

      15、上述的非慣用的優選方式所具有的進一步效果將在下文中結合具體實施方式加以說明。



      技術特征:

      1.一種結合硬件部署的模型部署方法,其特征在于,包括:

      2.根據權利要求1所述的方法,其特征在于,所述根據目標模型部署環境中的設備節點及各所述設備節點對應的連接關系,構建所述設備節點對應的硬件拓撲圖包括:

      3.根據權利要求1所述的方法,其特征在于,所述解析所述目標模型中目標算子的依賴關系以及各所述目標算子對應的資源需求,以生成所述目標算子對應的模型計算圖包括:

      4.根據權利要求1所述的方法,其特征在于,所述根據所述硬件拓撲圖和所述模型計算圖,利用預設的評估算法,計算所述設備節點與所述目標算子之間的目標匹配值包括:

      5.根據權利要求4所述的方法,其特征在于,所述根據所述目標匹配值和預設的分級策略,確定所述目標模型對應的部署方案包括:

      6.根據權利要求5所述的方法,其特征在于,所述基于所述目標匹配等級確定所述部署方案包括:

      7.根據權利要求5所述的方法,其特征在于,所述基于所述目標匹配等級確定所述部署方案包括:

      8.一種結合硬件部署的模型部署裝置,其特征在于,包括:

      9.一種計算機可讀存儲介質,所述存儲介質存儲有計算機程序,其特征在于,所述計算機程序用于執行上述權利要求1-7任一所述的一種結合硬件部署的模型部署方法。

      10.一種電子設備,其特征在于,所述電子設備包括:


      技術總結
      本申請公開了一種結合硬件部署的模型部署方法及裝置,根據目標模型部署環境中的設備節點及各設備節點對應的連接關系,構建設備節點對應的硬件拓撲圖;解析目標模型中目標算子的依賴關系,以生成目標算子對應的模型計算圖;根據硬件拓撲圖和模型計算圖,利用預設的評估算法,計算設備節點與目標算子之間的目標匹配值;根據目標匹配值和預設的分級策略,確定目標模型對應的部署方案。通過實時感知硬件狀態與模型計算圖的動態匹配機制,自動生成最優部署策略,并在硬件拓撲或資源條件變化時觸發自適應優化,實現模型分割策略與異構環境的實時協同適配,顯著提升部署自動化水平與系統彈性。

      技術研發人員:郝虹,張浩智,仝其勝,郝運凱
      受保護的技術使用者:山東浪潮科學研究院有限公司
      技術研發日:
      技術公布日:2025/6/30
      網友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1
      主站蜘蛛池模板: 人妻系列无码专区久久五月天| 免费在线观看亚洲视频| 亚洲精品成人av一区| 一区二区高清视频在线观看| 论坛| 亚洲精品日本久久久中文字幕| 中文日产幕无线码一区中文| 国产精品亚洲综合色区丝瓜| 错那县| 亚洲一区二区高清精品| 日韩精品有码中文字幕在线| 日本精品极品视频在线| 肇源县| 铁力市| 渑池县| 丹棱县| 乌恰县| 日韩偷拍一区二区三区视频| AV在线中出| 国产18禁黄美女网站一区二区| 日本成人免费一区二区三区| 国产一区二区三区免费看视频| 鄂伦春自治旗| 平舆县| 东丰县| av无码特黄一级| 永修县| 中国国内新视频在线不卡免费看| 晴隆县| 富民县| 沅江市| 松江区| 加勒比在线一区二区三区| 凤阳县| 固阳县| 国产一区二区三区资源在线观看| 安达市| 亚洲av免费不卡一区二区| 无码精品国产午夜| 日韩在线观看中文字幕一区二区 | 晋江市|