本發(fā)明涉及異常識(shí)別，特別是涉及一種面向目標(biāo)視頻的異常識(shí)別方法、電子設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù)：
1、近年來(lái)，隨著自然語(yǔ)言處理技術(shù)的發(fā)展，大語(yǔ)言模型被廣泛應(yīng)用于各種領(lǐng)域，不僅限于文本處理，還通過(guò)與計(jì)算機(jī)視覺(jué)模型等其他技術(shù)結(jié)合，形成多模態(tài)系統(tǒng)，多模態(tài)系統(tǒng)能夠處理多種類(lèi)型的數(shù)據(jù)(如圖像、視頻、文本、向量等)，并通過(guò)多模態(tài)融合技術(shù)將這些數(shù)據(jù)結(jié)合起來(lái)，執(zhí)行更加復(fù)雜的識(shí)別任務(wù)，例如異常識(shí)別任務(wù)，多模態(tài)系統(tǒng)結(jié)合了大語(yǔ)言模型和計(jì)算機(jī)視覺(jué)模型的能力，能夠綜合分析多模態(tài)數(shù)據(jù)，輸出異常識(shí)別結(jié)果。
2、在現(xiàn)有技術(shù)中，將與對(duì)象相關(guān)的圖像或視頻輸入到多模態(tài)系統(tǒng)中，獲取多模態(tài)系統(tǒng)對(duì)應(yīng)的異常識(shí)別結(jié)果，用戶根據(jù)異常識(shí)別結(jié)果確定對(duì)象是否存在異常，其中，異常包括但不限于對(duì)象執(zhí)行了錯(cuò)誤的操作、對(duì)象執(zhí)行的操作不規(guī)范等情況。
3、但是上述方法也存在以下技術(shù)問(wèn)題：
4、盡管多模態(tài)系統(tǒng)可以提供比單一模態(tài)更多的信息，但在某些情況下仍可能缺乏足夠的領(lǐng)域知識(shí)或上下文理解能力，從而影響判斷的準(zhǔn)確性。例如，在化工生產(chǎn)車(chē)間中，特定的操作流程可能不易被通用模型完全理解和應(yīng)用，因此，現(xiàn)今的多模態(tài)系統(tǒng)只能簡(jiǎn)單的根據(jù)圖像或視頻判斷對(duì)象是否存在異常從而生成異常識(shí)別結(jié)果，獲取到的異常識(shí)別結(jié)果的準(zhǔn)確度較低。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案為：
2、根據(jù)本發(fā)明的第一方面，提供了一種面向目標(biāo)視頻的異常識(shí)別方法，方法包括如下步驟：
3、s1、每當(dāng)達(dá)到預(yù)設(shè)時(shí)長(zhǎng)時(shí)，將目標(biāo)視頻采集設(shè)備在預(yù)設(shè)時(shí)長(zhǎng)內(nèi)采集到的視頻作為sp并獲取mb，sp為目標(biāo)視頻，mb為sp對(duì)應(yīng)的目標(biāo)設(shè)備參數(shù)列表集，mb中包括若干個(gè)目標(biāo)設(shè)備對(duì)應(yīng)的目標(biāo)設(shè)備參數(shù)列表組。
4、s2、將sp和mb輸入到預(yù)設(shè)大語(yǔ)言模型中，以獲取預(yù)設(shè)大語(yǔ)言模型輸出的目標(biāo)對(duì)象數(shù)據(jù)集，目標(biāo)對(duì)象數(shù)據(jù)集中包括若干個(gè)目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表，目標(biāo)對(duì)象數(shù)據(jù)列表中包括目標(biāo)對(duì)象對(duì)應(yīng)的人員類(lèi)型、目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備的設(shè)備類(lèi)型、目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備的設(shè)備名稱(chēng)、目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備的工作狀態(tài)和目標(biāo)對(duì)象對(duì)應(yīng)的初始意圖，其中，目標(biāo)對(duì)象為sp中的對(duì)象，目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備為sp中與目標(biāo)對(duì)象之間的直線距離最小的目標(biāo)設(shè)備。
5、s3、獲取目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備的設(shè)備類(lèi)型對(duì)應(yīng)的預(yù)設(shè)意圖樹(shù)。
6、s4、根據(jù)目標(biāo)對(duì)象數(shù)據(jù)列表和目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備的設(shè)備類(lèi)型對(duì)應(yīng)的預(yù)設(shè)意圖樹(shù)中的節(jié)點(diǎn)，確定目標(biāo)對(duì)象的最終意圖。
7、s5、將目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表、目標(biāo)對(duì)象的最終意圖和目標(biāo)對(duì)象對(duì)應(yīng)的召回信息輸入到預(yù)設(shè)大語(yǔ)言模型中，以獲取預(yù)設(shè)大語(yǔ)言模型輸出的目標(biāo)對(duì)象對(duì)應(yīng)的異常識(shí)別結(jié)果。
8、根據(jù)本發(fā)明的第二方面，提供了一種非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序由處理器加載并執(zhí)行以實(shí)現(xiàn)前述的方法。
9、根據(jù)本發(fā)明的第三方面，提供了一種電子設(shè)備，包括：處理器、存儲(chǔ)器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)前述的方法。
10、本發(fā)明至少具有以下有益效果：
11、本發(fā)明提供了一種面向目標(biāo)視頻的異常識(shí)別方法、電子設(shè)備及存儲(chǔ)介質(zhì)，所述方法能夠獲取目標(biāo)視頻和目標(biāo)視頻對(duì)應(yīng)的目標(biāo)設(shè)備參數(shù)列表集，將目標(biāo)視頻和目標(biāo)視頻對(duì)應(yīng)的目標(biāo)設(shè)備參數(shù)列表集輸入到預(yù)設(shè)大語(yǔ)言模型中，獲取目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表，根據(jù)目標(biāo)對(duì)象數(shù)據(jù)列表和目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備的設(shè)備類(lèi)型對(duì)應(yīng)的預(yù)設(shè)意圖樹(shù)中的節(jié)點(diǎn)，確定目標(biāo)對(duì)象的最終意圖，將目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表、目標(biāo)對(duì)象的最終意圖和目標(biāo)對(duì)象對(duì)應(yīng)的召回信息輸入到預(yù)設(shè)大語(yǔ)言模型中，以獲取預(yù)設(shè)大語(yǔ)言模型輸出的目標(biāo)對(duì)象對(duì)應(yīng)的異常識(shí)別結(jié)果。可知，在本發(fā)明中，目標(biāo)對(duì)象對(duì)應(yīng)的召回信息能夠?yàn)楫惓ＷR(shí)別任務(wù)提供必要的上下文信息或數(shù)據(jù)支持，獲取目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表和目標(biāo)對(duì)象的最終意圖，將目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表、目標(biāo)對(duì)象的最終意圖和目標(biāo)對(duì)象對(duì)應(yīng)的召回信息輸入到預(yù)設(shè)大語(yǔ)言模型中獲取異常識(shí)別結(jié)果，綜合利用了多種數(shù)據(jù)源，并非簡(jiǎn)單的只根據(jù)圖像或視頻判斷目標(biāo)對(duì)象是否存在異常從而生成異常識(shí)別結(jié)果，有利于提高獲取到的異常識(shí)別結(jié)果的準(zhǔn)確度。
1.一種面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，所述方法包括如下步驟：
2.根據(jù)權(quán)利要求1所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，目標(biāo)設(shè)備參數(shù)列表組中包括目標(biāo)設(shè)備的每一個(gè)參數(shù)對(duì)應(yīng)的目標(biāo)設(shè)備參數(shù)列表，目標(biāo)設(shè)備參數(shù)列表中包括sp的每一秒內(nèi)參數(shù)的具體參數(shù)值。
3.根據(jù)權(quán)利要求1所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，預(yù)設(shè)意圖樹(shù)的結(jié)構(gòu)共有6層，第一層節(jié)點(diǎn)表示設(shè)備類(lèi)型，第二層節(jié)點(diǎn)表示設(shè)備類(lèi)型對(duì)應(yīng)的指定設(shè)備的設(shè)備名稱(chēng)，第三層節(jié)點(diǎn)表示指定設(shè)備的工作狀態(tài)，第四層節(jié)點(diǎn)表示與指定設(shè)備的工作狀態(tài)相關(guān)的人員類(lèi)型，第五層節(jié)點(diǎn)表示人員類(lèi)型對(duì)應(yīng)的原始意圖，第六層節(jié)點(diǎn)表示原始意圖對(duì)應(yīng)的目標(biāo)意圖，其中，每個(gè)第五層節(jié)點(diǎn)僅有一個(gè)子節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求3所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，在步驟s4中包括如下步驟s41-s45：
5.根據(jù)權(quán)利要求1所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，目標(biāo)對(duì)象對(duì)應(yīng)的異常識(shí)別結(jié)果包括正常和異常，當(dāng)目標(biāo)對(duì)象對(duì)應(yīng)的異常識(shí)別結(jié)果為正常時(shí)，表示sp中目標(biāo)對(duì)象的操作不存在異常，當(dāng)目標(biāo)對(duì)象對(duì)應(yīng)的異常識(shí)別結(jié)果為異常時(shí)，表示sp中目標(biāo)對(duì)象的操作存在異常。
6.根據(jù)權(quán)利要求1所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，目標(biāo)對(duì)象對(duì)應(yīng)的召回信息包括視頻召回信息，視頻召回信息為根據(jù)目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表和目標(biāo)對(duì)象的最終意圖，從設(shè)備數(shù)據(jù)庫(kù)中搜索到的標(biāo)準(zhǔn)操作視頻，其中，設(shè)備數(shù)據(jù)庫(kù)中包括每一指定設(shè)備對(duì)應(yīng)的若干個(gè)標(biāo)準(zhǔn)操作視頻，每一標(biāo)準(zhǔn)操作視頻均對(duì)應(yīng)一個(gè)真實(shí)意圖，當(dāng)目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備與指定設(shè)備為同一設(shè)備，且目標(biāo)對(duì)象的最終意圖與所述指定設(shè)備對(duì)應(yīng)的標(biāo)準(zhǔn)操作視頻對(duì)應(yīng)的真實(shí)意圖相同時(shí)，將所述標(biāo)準(zhǔn)操作視頻作為視頻召回信息。
7.根據(jù)權(quán)利要求1所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，目標(biāo)對(duì)象對(duì)應(yīng)的召回信息包括文本召回信息，文本召回信息為根據(jù)目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)對(duì)象數(shù)據(jù)列表和目標(biāo)對(duì)象的最終意圖，從文本數(shù)據(jù)庫(kù)中搜索到的標(biāo)準(zhǔn)操作手冊(cè)，其中，文本數(shù)據(jù)庫(kù)中包括每一指定設(shè)備對(duì)應(yīng)的若干個(gè)標(biāo)準(zhǔn)操作手冊(cè)，每一標(biāo)準(zhǔn)操作手冊(cè)均對(duì)應(yīng)一個(gè)真實(shí)意圖，當(dāng)目標(biāo)對(duì)象對(duì)應(yīng)的中間設(shè)備與指定設(shè)備為同一設(shè)備，且目標(biāo)對(duì)象的最終意圖與所述指定設(shè)備對(duì)應(yīng)的標(biāo)準(zhǔn)操作手冊(cè)對(duì)應(yīng)的真實(shí)意圖相同時(shí)，將所述標(biāo)準(zhǔn)操作手冊(cè)作為文本召回信息。
8.根據(jù)權(quán)利要求1所述的面向目標(biāo)視頻的異常識(shí)別方法，其特征在于，在步驟s2之后，在步驟s5之前還包括如下步驟s010-s020確定目標(biāo)對(duì)象的最終意圖：
9.一種非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序由處理器加載并執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1-8中任意一項(xiàng)所述的面向目標(biāo)視頻的異常識(shí)別方法。
10.一種電子設(shè)備，包括：處理器、存儲(chǔ)器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-8中任意一項(xiàng)所述的面向目標(biāo)視頻的異常識(shí)別方法。