背景技術(shù)：
1、本說明書涉及數(shù)據(jù)處理，且具體來說，使用大型語言模型和提煉來生成特異性（specificity）感知學生模型。
2、選擇將作為數(shù)字內(nèi)容或數(shù)字信息的離散單元的數(shù)字組件包括在派發(fā)給請求用戶裝置的數(shù)字內(nèi)容中。為了選擇要派發(fā)的數(shù)字組件，系統(tǒng)需要能夠評估對于特定派發(fā)實例哪些數(shù)字組件最適合派發(fā)。選擇數(shù)字組件的一種方法是通過使用匹配查詢來查詢與數(shù)字組件相關(guān)聯(lián)的登陸頁面。
3、系統(tǒng)可以基于各種建模技術(shù)來預(yù)測查詢是否與登陸頁面“相關(guān)”。如本說明書中所使用的，確定查詢是否與登陸頁面相關(guān)是部分地基于登陸頁面滿足向信息處理系統(tǒng)發(fā)出查詢的用戶的用戶信息需求的可能性。這種確定可以基于流量日志、查詢和登陸頁面的語義分析以及其他因素。
4、然而，對于確定為相關(guān)的給定查詢和登陸頁面對，登陸頁面的特異性和查詢的特異性可能對查詢和登陸頁面對的性能產(chǎn)生顯著影響。例如，查詢“可回收袋”可以指多種袋(雜貨袋、垃圾袋、可重新密封袋等)，且因此比特定登陸頁面更為通用。另一方面，查詢“透明可回收可重新密封袋”與許多特定登陸頁面的特異性大致類似，而查詢“4×4透明可回收可重新密封塑料袋”通常比特定登陸頁面更具體。
5、然而，現(xiàn)有的模型很難預(yù)測查詢是更通用、更具體，還是與登陸頁面具有相同的特異性。由于現(xiàn)有模型無法區(qū)分特異性，因此模型傾向于增加通用查詢與具體登陸頁面的匹配。這導致數(shù)字組件過度派發(fā)，進而導致系統(tǒng)效率低下。
技術(shù)實現(xiàn)思路
1、一般而言，本說明書中描述的主題的一個創(chuàng)新方面可以體現(xiàn)在包括以下動作的方法中：對于多個查詢和登陸頁面對中的每一個，每個查詢和登陸頁面對是針對該查詢選擇的特定查詢和特定登陸頁面：針對該查詢，獲得響應(yīng)于該查詢的搜索結(jié)果的真子集，該搜索結(jié)果的真子集是被確定為響應(yīng)于該查詢的搜索結(jié)果集中排名高于其他搜索結(jié)果的搜索結(jié)果，其中每個搜索結(jié)果鏈接到搜索結(jié)果頁面；對于每個搜索結(jié)果頁面和登陸頁面：由經(jīng)過訓練以確定標簽概率的大型語言模型生成多個標簽概率，每個標簽概率是針對標簽集中的特定標簽生成的并且由該大型語言模型的單獨的推理調(diào)用生成，從該多個標簽概率中確定文檔到文檔分數(shù)，該文檔到文檔分數(shù)是該登陸頁面的特異性相對于該搜索結(jié)果頁面的特異性的量化，并從所述文檔到文檔分數(shù)中確定查詢到文檔分數(shù)，該查詢到文檔分數(shù)量化查詢到登陸頁面特異性偏離（drift）；在教師模型特異性訓練集中存儲訓練元組，每個訓練元組是查詢和登陸頁面對以及為該查詢和登陸頁面對確定的該查詢到文檔分數(shù)；以及在該教師模型訓練集上訓練教師模型，以針對查詢的輸入和為該查詢選擇的登陸頁面確定查詢到文檔分數(shù)，其中該查詢到文檔分數(shù)是在沒有被確定為響應(yīng)于該查詢的搜索結(jié)果和搜索結(jié)果頁面的情況下確定的。上述特征還可體現(xiàn)在系統(tǒng)和非暫時性計算機存儲介質(zhì)中。
2、這些和其他實施例可以各自任選地包括以下方面中的一個或多個方面。在一個方面，該方法包括：在該教師模型經(jīng)過訓練后使用該教師模型來處理多個查詢和登陸頁面對，以針對每個查詢和登陸頁面對確定查詢到文檔分數(shù)；以及將訓練元組存儲為學生模型特異性訓練集，每個訓練元組是查詢和登陸頁面對以及針對該查詢和登陸頁面對確定的該查詢到文檔分數(shù)。
3、在另一方面，該方法包括使用該學生模型特異性訓練集和不量化該查詢到登陸頁面特異性偏離的至少一個其他學生模型訓練集，對學生模型進行集成訓練以預(yù)測針對登陸頁面的查詢的性能。
4、在另一方面，對該學生模型進行該集成訓練包括對雙編碼器進行集成訓練。
5、在另一方面，該雙編碼器包括：查詢編碼器，該查詢編碼器從兩個或更多個查詢維度的所組合的嵌入生成查詢嵌入；以及文檔編碼器，該文檔編碼器從兩個或更多個文檔維度的所組合的嵌入生成文檔嵌入。
6、在另一方面，該教師模型包括交叉注意力模型，該交叉注意力模型包括：transformer（變換）層，該transformer層接收來自兩個或更多個查詢維度的所組合的嵌入以及輸入查詢和登陸頁面對的兩個或更多個文檔嵌入作為輸入；以及池化器層，該池化器層接收該transformer層的該輸出并為該輸入查詢和登陸頁面對生成查詢到文檔評分數(shù)據(jù)。
7、在另一方面，該其他學生模型訓練集包括經(jīng)信息質(zhì)量(iq)標記的數(shù)據(jù)和登陸頁面質(zhì)量(lq)，并且該集成訓練包括：當該經(jīng)信息質(zhì)量(iq)標記的數(shù)據(jù)和經(jīng)登陸頁面質(zhì)量(lq)標記的數(shù)據(jù)均指示均超過相應(yīng)高分數(shù)閾值的分數(shù)時，提升樣本的訓練損失；以及當該經(jīng)信息質(zhì)量(iq)標記的數(shù)據(jù)和該經(jīng)登陸頁面質(zhì)量(lq)標記的數(shù)據(jù)均指示均不滿足相應(yīng)低分數(shù)閾值的分數(shù)時，降低樣本的訓練損失。
8、在一個方面，從該文檔到文檔分數(shù)確定量化查詢到登陸頁面特異性偏離的該查詢到文檔分數(shù)包括：確定針對該查詢和登陸頁面對確定的該文檔到文檔分數(shù)的集中趨勢值。
9、本說明書中描述的主題的另一創(chuàng)新方面可以體現(xiàn)在包括以下動作的方法中：對于多個查詢和登陸頁面對中的每一個，每個查詢和登陸頁面對是針對該查詢選擇的特定查詢和特定登陸頁面：針對該查詢，獲得響應(yīng)于該查詢的搜索結(jié)果的真子集，該搜索結(jié)果的真子集是被確定為響應(yīng)于該查詢的搜索結(jié)果集中排名高于其他搜索結(jié)果的搜索結(jié)果，其中每個搜索結(jié)果鏈接到搜索結(jié)果頁面；對于每個搜索結(jié)果頁面和登陸頁面：由經(jīng)過訓練以確定多個標簽概率的大型語言模型來生成多個標簽概率，每個標簽概率是針對標簽集中的特定標簽生成的并且由該大型語言模型的單個推理調(diào)用生成，從該多個標簽概率中確定文檔到文檔分數(shù)，該文檔到文檔分數(shù)是該登陸頁面的特異性相對于該搜索結(jié)果頁面的特異性的量化，從所述文檔到文檔分數(shù)中確定查詢到文檔分數(shù)，該查詢到文檔分數(shù)量化查詢到登陸頁面特異性偏離，以及存儲訓練元組作為教師模型特異性訓練集，每個訓練元組是查詢和登陸頁面對以及為該查詢和登陸頁面對確定的該查詢到文檔分數(shù)；以及在該教師模型訓練集上訓練教師模型，以針對查詢的輸入和為該查詢選擇的登陸頁面確定查詢到文檔分數(shù)，其中該查詢到文檔分數(shù)是在沒有被確定為響應(yīng)于該查詢的搜索結(jié)果和搜索結(jié)果頁面的情況下確定的。上述特征還可體現(xiàn)在系統(tǒng)和非暫時性計算機存儲介質(zhì)中。
10、這些和其他實施例可以各自任選地包括以下方面中的一個或多個方面。在一個方面，該大型語言模型是僅編碼器模型。
11、在另一方面，該方法包括：在該教師模型經(jīng)過訓練后使用該教師模型來處理多個查詢和登陸頁面對，以針對每個查詢和登陸頁面對確定查詢到文檔分數(shù)；以及將訓練元組存儲為學生模型特異性訓練集，每個訓練元組是查詢和登陸頁面對以及針對該查詢和登陸頁面對確定的該查詢到文檔分數(shù)。
12、在另一方面，該方法包括使用該學生模型特異性訓練集和不量化該查詢到登陸頁面特異性偏離的至少一個其他學生模型訓練集，對學生模型進行集成訓練以預(yù)測針對登陸頁面的查詢的性能。
13、在另一方面，對該學生模型進行集成訓練包括對雙編碼器進行集成訓練。
14、在另一方面，雙編碼器包括：查詢編碼器，該查詢編碼器從兩個或更多個查詢維度的所組合的嵌入生成查詢嵌入；以及文檔編碼器，該文檔編碼器從兩個或更多個文檔嵌入的所組合的嵌入生成文檔嵌入。
15、在另一方面，所述查詢維度包括知識圖譜實體以及查詢文本數(shù)據(jù)、位置數(shù)據(jù)和顯著詞項的詞項數(shù)據(jù)中的一個或多個，并且該文檔維度包括知識圖譜實體以及統(tǒng)一資源定位符數(shù)據(jù)、顯著詞項的詞項數(shù)據(jù)和文檔標題數(shù)據(jù)中的一個或多個。
16、在另一方面，該其他學生模型訓練集包括經(jīng)信息質(zhì)量(iq)標記的數(shù)據(jù)和登陸頁面質(zhì)量(lq)，并且該集成訓練包括：當該經(jīng)信息質(zhì)量(iq)標記的數(shù)據(jù)和經(jīng)登陸頁面質(zhì)量(lq)標記的數(shù)據(jù)均指示均超過相應(yīng)高分數(shù)閾值的分數(shù)時，提升樣本的訓練損失；以及當該經(jīng)信息質(zhì)量(iq)標記的數(shù)據(jù)和該經(jīng)登陸頁面質(zhì)量(lq)標記的數(shù)據(jù)均指示均不滿足相應(yīng)低分數(shù)閾值的分數(shù)時，降低樣本的訓練損失。
17、在另一方面，該教師模型包括交叉注意力模型，該交叉注意力模型包括：transformer層，該transformer層接收來自兩個或更多個查詢維度的所組合的嵌入以及輸入查詢和登陸頁面對的兩個或更多個文檔嵌入作為輸入；以及池化器層，該池化器層接收該transformer層的該輸出并為該輸入查詢和登陸頁面對生成查詢到文檔評分數(shù)據(jù)。
18、在另一方面，所述查詢維度包括知識圖譜實體以及查詢文本數(shù)據(jù)、位置數(shù)據(jù)和顯著詞項的詞項數(shù)據(jù)中的一個或多個；并且該文檔維度包括知識圖譜實體以及統(tǒng)一資源定位符數(shù)據(jù)、顯著詞項的詞項數(shù)據(jù)和文檔標題數(shù)據(jù)中的一個或多個。
19、在另一方面，從該文檔到文檔分數(shù)確定量化查詢到登陸頁面特異性偏離的該查詢到文檔分數(shù)包括：確定針對該查詢和登陸頁面對確定的該文檔到文檔分數(shù)的集中趨勢值。
20、可以實現(xiàn)本說明書中描述的主題的特定實施例，以便實現(xiàn)以下優(yōu)點中的一個或多個優(yōu)點。教師模型的訓練產(chǎn)生可以生成經(jīng)特異性標記的查詢到文檔評分的學生訓練集的教師模型，與使用文檔到文檔大型語言模型時相比，該教師模型所需的資源更少，處理時間更快。這是因為文檔到文檔大型語言模型單獨預(yù)測文檔對的文檔到文檔特異性分數(shù)，然后使用這些值來生成對應(yīng)查詢到文檔特異性分數(shù)。另一方面，教師模型僅基于登陸頁面和查詢來預(yù)測查詢到文檔分數(shù)。假設(shè)每個登陸頁面的m個文檔都針對特異性進行評分，并且假設(shè)每個登陸頁面至少需要n個特異性推理，則教師模型產(chǎn)生的推理比使用文檔到文檔大型語言模型生成經(jīng)特異性標記的查詢到文檔評分的學生訓練集時少至少(n×m?–?m)個。因此，在構(gòu)建訓練數(shù)據(jù)集時，本文所述系統(tǒng)和方法實現(xiàn)了處理優(yōu)化，該處理優(yōu)化減少了構(gòu)建數(shù)據(jù)集的時間并且減少了構(gòu)建數(shù)據(jù)集所需的計算機資源。
21、此外，由于教師模型不需要搜索結(jié)果所鏈接到的頁面，因此在構(gòu)建更大訓練集時不需要利用搜索引擎資源。這繞過了對搜索處理的需要，從而釋放了計算機資源和系統(tǒng)帶寬。
22、在一些實現(xiàn)方式中，文檔到文檔大型語言模型可以通過僅編碼器模型來實現(xiàn)，并且可以從單個編碼過程而不是m個單獨的推理中確定m個文檔到文檔預(yù)測。這使得減少生成用于訓練教師模型的經(jīng)特異性標記的查詢到文檔評分的教師訓練集所需的處理時間。
23、使用教師模型又使得能夠?qū)嶋H生成非常大的經(jīng)特異性標記的查詢到文檔評分的學生訓練集。這種大型訓練集確保了預(yù)測針對登陸頁面的查詢的性能的所得雙編碼器學生模型是特異性感知的。這種感知克服了以前的學生模型的不準確性，因為集成訓練沒有考慮查詢和登陸頁面的特異性偏離。
24、在一些實現(xiàn)方式中，學生模型和教師模型在訓練期間考慮查詢和登陸頁面的知識圖譜實體。此外，通過考慮給定查詢存在的平均實體數(shù)量以及給定登陸頁面存在的平均實體數(shù)量，可以選擇查詢實體和文檔實體的特征長度以避免訓練和推理時間衰減，同時仍實現(xiàn)總體性能的提高。這使得學生模型的性能比不考慮知識圖譜實體的學生模型的更穩(wěn)健。
25、本說明書中描述的總體工作流程是分階段的工作流程，其中確定查詢到文檔特異性分數(shù)的教師模型是從訓練語料庫訓練的，該訓練語料庫從由大型語言模型生成的文檔到文檔分數(shù)的經(jīng)標記的訓練語料庫生成。然后使用教師模型來生成更大的經(jīng)特異性標記的查詢到文檔評分的示例語料庫，然后將其用作學生模型的集成訓練的一部分。工作流程中的每個訓練階段都會實現(xiàn)一個模型，該模型利用比使用其前身時所需的更少的處理資源來生成輸出。
26、本說明書中描述的主題的一個或多個實施例的細節(jié)在附圖和以下描述中進行闡述。根據(jù)所述描述、附圖和權(quán)利要求書，本主題的其他特征、方面和優(yōu)點將變得顯而易見。