1.一種基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述對所述實時圖像進行預(yù)處理和標簽信息提取,確定預(yù)處理后的目標圖像和商品標簽對應(yīng)的文字信息包括:
3.根據(jù)權(quán)利要求2所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述對所述目標圖像進行實例分割,確定商品位置信息包括:
4.根據(jù)權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述根據(jù)預(yù)收集的智能售貨場景下的多源私有化數(shù)據(jù),對開源多模態(tài)視覺語言模型進行微調(diào)與優(yōu)化處理,得到用于商品識別的多模態(tài)大模型包括:
5.根據(jù)權(quán)利要求1至4任一項所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述將所述商品圖像特征信息和所述文字信息輸入所述多模態(tài)大模型中進行信息融合,根據(jù)融合特征信息,確定商品目標識別結(jié)果包括:
6.根據(jù)權(quán)利要求5所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述當(dāng)存在相似商品時,根據(jù)所述初始商品類別,獲取待提取特征的局部區(qū)域和待提取的目標特征包括:
7.根據(jù)權(quán)利要求6所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述對各所述候選區(qū)域進行綜合評分,根據(jù)評分結(jié)果,得到所述局部區(qū)域包括:
8.根據(jù)權(quán)利要求6所述的基于多模態(tài)數(shù)據(jù)處理的多目標商品識別方法,其特征在于,所述對所述局部區(qū)域進行候選特征提取和特征評估,根據(jù)特征評估結(jié)果,從提取的候選特征中篩選得到所述目標特征包括:
9.一種基于多模態(tài)數(shù)據(jù)處理的多目標商品識別裝置,其特征在于,所述裝置包括:
10.一種基于多模態(tài)數(shù)據(jù)處理的多目標商品識別系統(tǒng),其特征在于,包括:圖像采集設(shè)備、至少一個處理器、至少一個存儲器以及存儲在所述存儲器中的計算機程序指令,當(dāng)所述計算機程序指令被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-8中任一項所述的方法。