本申請屬于人工智能,特別是涉及一種大模型微調方法、裝置、計算機設備及介質。
背景技術:
1、通用變換器(transformer)結構的提出極大促進了人工智能技術發展。通用變換器使得大模型(large?model)可以采用百億甚至千億參數級別的變換器結構,通過預訓練的方式學習海量的文本知識。
2、在大模型技術落地過程中,其中一個關鍵環節就是數字和文本混合模態的大模型訓練和推理。例如,若大模型輸入為“數字信息為111和222,請執行這兩個數的乘法運算”,則大模型需要輸出24642。若大模型輸入為“數字信息為2,4,6,8,10,請輸出數字序列的趨勢”,則大模型需要輸出遞增。
3、在簡單的數字和文本的交互推理中,大語言模型可以準確得到答案。但是對于復雜的數學邏輯推理和文本知識演繹,僅靠大語言模型往往容易出現錯誤。
4、例如,在針對一個公司的財務報告分析中,為了獲得本年度的營收(假如數字為a)相比上一年度營收增加(假如數字為b)的知識,在數字上要求大模型執行運算a-b>0。對于復雜的加減或者乘法運算,大語言模型的推理能力難以完成。
5、基于此,需要提高大語言模型的運算和推理能力。
技術實現思路
1、有鑒于此,本申請實施例提供了一種大模型微調方法、裝置、計算機設備及介質,用以提高大模型的運算能力和推理能力。
2、本申請實施例的第一方面提供了大模型的微調方法,該方法包括:
3、確定待微調的大模型中的大語言模型和提示詞重組小模型,所述大語言模型用于根據輸入的數字數據和文本數據輸出用于解釋運算邏輯的中間文本輸出數據,所述提示詞重組小模型用于根據所述中間文本輸出數據進行提示詞重組,以得到調用運算器的參數;
4、獲取用于訓練所述大語言模型的第一訓練數據和用于訓練所述提示詞重組小模型的第二訓練數據,所述第一訓練數據和所述第二訓練數據均為已經標注的數據;
5、使用所述第一訓練數據和所述第二訓練數據對所述大模型進行微調。
6、本申請實施例的第二方面提供了大模型的微調裝置,該方法包括:
7、確定模塊,用于確定待微調的大模型中的大語言模型和提示詞重組小模型,所述大語言模型用于根據輸入的數字數據和文本數據輸出用于解釋運算邏輯的中間文本輸出數據,所述提示詞重組小模型用于根據所述中間文本輸出數據進行提示詞重組,以得到調用運算器的參數;
8、獲取模塊,用于獲取用于訓練所述大語言模型的第一訓練數據和用于訓練所述提示詞重組小模型的第二訓練數據,所述第一訓練數據和所述第二訓練數據均為已經標注的數據;
9、微調模塊,用于使用所述第一訓練數據和所述第二訓練數據對所述大模型進行微調。
10、本申請實施例的第三方面提供了一種計算機設備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現如上述第一方面所述的方法。
11、本申請實施例的第四方面提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現如上述第一方面所述的方法。
12、本申請實施例的第五方面提供了一種計算機程序產品,當所述計算機程序產品在計算機設備上運行時,使得所述計算機設備執行上述第一方面所述的方法。
13、與現有技術相比,本申請實施例包括至少具有以下優點:
14、使用本申請實施例中方法可以進行大模型的微調,大模型可以包括大語言模型和提示詞重組小模型。大語言模型用于根據輸入的數字數據和文本數據輸出用于解釋運算邏輯的中間文本輸出數據,提示詞重組小模型用于根據中間文本輸出數據進行提示詞重組,以得到調用運算器的參數。在對大模型進行訓練時,可以使用用于訓練大語言模型的第一訓練數據和用于訓練提示詞重組小模型的第二訓練數據,對大模型進行訓練。在大模型中,可以基于大語言模型根據輸入的數字數據和文本數據對運算場景進行理解,并根據運算理解,對問題進行拆分,得到用于解釋運算邏輯的中間文本輸出數據;提示詞重組小模型可以根據中間文本輸出數據進行提示詞重組,從而得到調用運算器的參數,使得大模型在中間的推理計算過程中可以調用運算器,而不是單純地依賴大語言模型的學習能力,從而可以提高大模型的運算能力和推理能力。
1.一種大模型的微調方法,其特征在于,包括:
2.如權利要求1所述的方法,其特征在于,所述使用所述第一訓練數據和所述第二訓練數據對所述大模型進行微調,包括:
3.如權利要求2所述的方法,其特征在于,所述第一訓練數據包括第一樣本輸入數據和第一樣本輸出數據,所述第一樣本輸入數據包括數字數據和文本數據,所述基于所述第一訓練數據對所述大語言模型進行微調,包括:
4.如權利要求3所述的方法,其特征在于,所述第一樣本輸出數據包括提示詞模板,所述提示詞模板包括調用運算邏輯信息、運算單元信息、待執行數字信息、待執行運算邏輯信息以及輸出期望信息。
5.如權利要求2所述的方法,其特征在于,所述第二訓練數據包括多個第二樣本輸入數據和對應的多個第二樣本輸出數據,所述基于所述第二訓練數據對所述提示詞重組小模型進行訓練,包括:
6.如權利要求5所述的方法,其特征在于,所述將各個所述第二訓練輸出數據和對應的多個第二樣本輸出數據進行比對,以確定所述提示詞重組小模型是否訓練完成,包括:
7.如權利要求1所述的方法,其特征在于,所述方法還包括:
8.一種大模型的微調裝置,其特征在于,包括:
9.一種計算機設備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執行所述計算機程序時實現如權利要求1-7任一項所述的方法。
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現如權利要求1-7任一項所述的方法。