本發明涉及數據分析,尤其涉及一種基于屬性引導的視覺情感分析方法、系統、終端及計算機可讀存儲介質。
背景技術:
1、情感是人獨特且不可或缺的特征,滲透到日常生活的方方面面。隨著社交媒體的興起,越來越多的人通過分享圖片來表達自己的情感體驗。因此,視覺情感分析受到了廣泛關注,其目標是深入理解個體對各種視覺刺激的情感反應,并對這些預測提供解釋。在視覺情感分析研究中,一個固有的挑戰被稱為“情感鴻溝”。情感是大腦對外部刺激和內部狀態的復雜反應,而圖像中包含的是不同形態的視覺元素,然而像素層面的語義信息相對容易識別,但對高度復雜情感的感知則更具挑戰性。這種主要源于視覺元素與人類情感體驗之間的表征差異就是所謂的情感鴻溝。
2、盡管深度學習方法在視覺表征提取方面取得了顯著進展,但忽略了情感表達中的細微差異,例如,色彩、光照和構圖等低級視覺表征可以提供某種情感暗示。為了解決此問題,現有技術通過多模態學習、注意力機制和大規模數據驅動的方法來縮小此情感鴻溝。例如,利用語言描述增強情感語義理解,或者通過生成模型構建更具情感感知能力的視覺表征。但現有技術使用神經網絡提取全局的表征信息,沒有提及使用專用的屬性網絡來獲取屬性表征,而是通過所提出的網絡獲取相應的屬性表征;其次,在情感分析中沒有分析屬性之間的關聯,直接進行情感推理分析,還直接對表征進行情感類別的分類預測,從而導致情感分析的結果不夠準確。
3、因此,現有技術還有待于改進和發展。
技術實現思路
1、本發明的主要目的在于提供一種基于屬性引導的視覺情感分析方法、系統、終端及存儲介質,旨在解決現有技術在情感分析中沒有使用專用的屬性網絡來獲取特屬性表征,且沒有分析屬性之間的關聯,并進行情感推理分析,從而導致情感分析結果不夠準確的問題。
2、為實現上述目的,本發明提供一種基于屬性引導的視覺情感分析方法,所述基于屬性引導的視覺情感分析方法包括如下步驟:
3、獲取目標用戶的待分析情感圖像,對所述待分析情感圖像進行表征提取,得到多個視覺屬性表征,并對所述待分析情感圖像進行文本表征提取,得到多個文本屬性表征;
4、將所有所述視覺屬性表征和所有所述文本屬性表征進行對齊處理,得到多個目標視覺屬性表征,并對所有所述目標視覺屬性表征進行屬性關聯分析,得到屬性關聯信息;
5、根據所述屬性關聯信息構建屬性情感圖譜,對所述屬性情感圖譜進行優化處理,得到目標屬性情感圖譜,并根據所述目標屬性情感圖譜進行情感預測,得到情感預測結果。
6、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述獲取目標用戶的待分析情感圖像,對所述待分析情感圖像進行表征提取,得到多個視覺屬性表征,并對所述待分析情感圖像進行文本表征計算,得到多個文本屬性表征,具體包括:
7、獲取目標用戶的待分析情感圖像,并構建多層級屬性專家模塊;
8、通過所述多層級屬性專家模塊對所述待分析情感圖像進行表征提取,得到多層級屬性表征,其中,所述多層級屬性表征包括低級屬性表征、中級屬性表征和高級屬性表征;
9、對所述多層級屬性表征進行非線性變換,得到多個視覺屬性表征;
10、對所述待分析情感圖像進行文本表征提取,得到多個文本屬性表征。
11、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述對所述多層級屬性表征進行非線性變換,具體為:
12、;
13、所述對所述待分析情感圖像進行文本表征提取,具體為:
14、;
15、其中,為視覺屬性表征集,為激活函數,為低級屬性表征,為中級屬性表征,為高級屬性表征,和均為可學習參數,為屬性模塊的個數,為文本屬性表征集,為文本適配器,為文本編碼器,為屬性嵌入編碼。
16、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述將所有所述視覺屬性表征和所有所述文本屬性表征進行對齊處理,得到多個目標視覺屬性表征,具體包括:
17、對所有所述視覺屬性表征和所有所述文本屬性表征進行尺度同化,并將所有尺度同化后的視覺屬性表征和文本屬性表征進行對齊處理,得到多個對齊后的視覺屬性表征;
18、對所有尺度同化后的視覺屬性表征和文本屬性表征進行損失計算,得到屬性對齊損失,并根據所述屬性對齊損失對所有對齊后的視覺屬性表征進行優化處理,得到多個目標視覺屬性表征。
19、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述對所有所述目標視覺屬性表征進行屬性關聯分析,得到屬性關聯信息,具體包括:
20、對所有所述目標視覺屬性表征的屬性相關性進行分值計算,得到多個相關性得分;
21、根據所有所述相關性得分對所有屬性進行屬性關聯分析,得到屬性關聯信息。
22、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述根據所述屬性關聯信息構建屬性情感圖譜,對所述屬性情感圖譜進行優化處理,得到目標屬性情感圖譜,并根據所述目標屬性情感圖譜進行情感預測,得到情感預測結果,具體包括:
23、對所述屬性關聯信息進行空間映射,得到屬性映射結果,并根據所述屬性映射結果構建屬性情感圖譜;
24、對所有所述視覺屬性表征進行損失計算,得到情感分類損失,并對所述情感分類損失和所述屬性對齊損失進行總損失計算,得到目標總損失;
25、根據所述目標總損失對所述屬性情感圖譜進行優化處理,得到目標屬性情感圖譜,并根據所述目標屬性情感圖譜進行情感預測,得到情感預測結果,其中,所述情感預測結果包括情感信息和情感解釋。
26、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述對所有所述視覺屬性表征進行損失計算,具體為:
27、;
28、所述對所述情感分類損失和所述屬性對齊損失進行總損失計算,具體為:
29、;
30、其中,為情感分類損失,為情感類別的總數,為屬性模塊的個數,為第個真實標簽,為非線性映射, f為由視覺屬性表征構成的集合,為屬性間的關聯分析,為情感類別的個數,為目標總損失,為超參數,為屬性對齊損失。
31、可選地,所述的基于屬性引導的視覺情感分析方法,其中,所述基于屬性引導的視覺情感分析系統包括:
32、表征處理模塊,用于獲取目標用戶的待分析情感圖像,對所述待分析情感圖像進行表征提取,得到多個視覺屬性表征,并對所述待分析情感圖像進行文本表征提取,得到多個文本屬性表征;
33、屬性分析模塊,用于將所有所述視覺屬性表征和所有所述文本屬性表征進行對齊處理,得到多個目標視覺屬性表征,并對所有所述目標視覺屬性表征進行屬性關聯分析,得到屬性關聯信息;
34、情感預測模塊,用于根據所述屬性關聯信息構建屬性情感圖譜,對所述屬性情感圖譜進行優化處理,得到目標屬性情感圖譜,并根據所述目標屬性情感圖譜進行情感預測,得到情感預測結果。
35、此外,為實現上述目的,本發明還提供一種終端,其中,所述終端包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于屬性引導的視覺情感分析程序,所述基于屬性引導的視覺情感分析程序被所述處理器執行時實現如上所述的基于屬性引導的視覺情感分析方法的步驟。
36、此外,為實現上述目的,本發明還提供一種計算機可讀存儲介質,其中,所述計算機可讀存儲介質存儲有基于屬性引導的視覺情感分析程序,所述基于屬性引導的視覺情感分析程序被處理器執行時實現如上所述的基于屬性引導的視覺情感分析方法的步驟。
37、本發明中,獲取目標用戶的待分析情感圖像,對所述待分析情感圖像進行表征提取,得到多個視覺屬性表征,并對所述待分析情感圖像進行文本表征提取,得到多個文本屬性表征;將所有所述視覺屬性表征和所有所述文本屬性表征進行對齊處理,得到多個目標視覺屬性表征,并對所有所述目標視覺屬性表征進行屬性關聯分析,得到屬性關聯信息;根據所述屬性關聯信息構建屬性情感圖譜,對所述屬性情感圖譜進行優化處理,得到目標屬性情感圖譜,并根據所述目標屬性情感圖譜進行情感預測,得到情感預測結果。本發明通過多層級屬性專家級特征提取方法,并引入文本引導的多層級對齊模塊,同時將提取多個視覺屬性表征在文本屬性表征的引導下,優化視覺屬性表征的提取;在情感推理任務中提出屬性關聯分析,以分析所有屬性及動態調整每個屬性表征的權重,并將屬性關聯圖映射到情感空間進行情感推理。通過構建屬性情感圖譜,能夠深入分析情緒與屬性之間的關系,不僅考慮單一表征,還融合了多種屬性間的相互作用,增強了情緒識別的可解釋性,從而提升了情感分析結果的準確性。