本發明涉及圖譜數據管理，具體是一種基于認知圖譜的多模態數據動態推理系統及方法。
背景技術：
1、隨著人工智能技術的不斷發展，知識圖譜作為人工智能領域的知識支柱，以其強大的知識表示和推理能力受到學術界和產業界的廣泛關注。近年來，多模態知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。
2、傳統系統對用戶重復提問或否定反饋的處理能力薄弱。一方面，系統僅根據單次對話記錄判斷問題重復性，未結合歷史交互的時空關聯性和跨用戶共性模式，難以區分偶發錯誤與系統性缺陷。另一方面，認知圖譜的節點權重調整依賴人工配置，缺乏自動化反饋驅動機制，容易造成推理效率低下。
3、所以，本發明公開一種基于認知圖譜的多模態數據動態推理系統及方法以解決上述問題。
技術實現思路
1、本發明的目的在于提供一種基于認知圖譜的多模態數據動態推理系統及方法，以解決現有技術中提出的問題。
2、為實現上述目的，本發明提供如下技術方案：一種基于認知圖譜的多模態數據動態推理方法，該方法包括如下步驟：
3、s1：提取用戶輸入的文本、語音及圖像數據，對用戶數據進行分析結合用戶標識與時間戳生成結構化交互記錄；
4、s2：分析歷史交互記錄，檢測同一用戶對相似問題的連續查詢事件，集合負反饋信號，分析重復事件在所用用戶中的重復頻次，分析輸出重復行為的反饋強度系數；
5、s3：根據重復行為特征定位認知圖譜中對應節點，分析衰減系數，激活關聯的備選推理路徑，輸出待更新節點集及候選路徑；
6、s4：基于衰減系數調整節點權重，按候選路徑的語義相關度更新權重，更新圖譜連接關系，輸出優化后的認知圖譜。
7、根據上述方案，在s1中，包括以下內容：
8、s101：提取用戶終端采集的語音流、圖像數據及問題文本；基于預先訓練的端到端模型，將語音流轉換為中間文本，并輸出語音識別置信度ca；基于預置的目標檢測網絡，對圖像數據執行檢測，得到實體集合e={ei|i∈[1，i]}，i表示實體總數量；提取各個實體的視覺特征向量，將實體ei的視覺特征向量記為vi；
9、s102：提取語音流轉換的中間文本，生成語音文本向量q，分析各個視覺特征向量與文本向量的特征相似度，將其中視覺特征向量v?和語音文本向量q的特征相似度記為sim（v?，q），其中sim（）表示余弦相似度函數，并依據調節系數τ，分析注意力權重，所述調節系數等于基礎調節值和語音識別置信度偏差值的乘積，語音識別置信度偏差值等于語音識別置信度參考值與語音識別置信度的差值，語音識別置信度參考值為系統預設常數；將實體ei的注意力權重記為αi，整合各個實體的注意力權重生成注意力分布向量，記為α=[α1，α2，…，αi]：；
10、其中exp（）表示以自然數為底的指數函數；將實體ei的視覺特征向量vi與實體類別嵌入向量embed（ei）級聯，輸入兩層隱藏層、relu激活的多層感知機分析融合特征向量，記為f?；
11、其中，多層感知機的一級隱藏層中，hi（1）=relu（w（1）[vi；embed（ei）]+b（1））；其中hi（1）表示實體ei的第一層的隱藏狀態，w（1）表示第一層的權重矩陣，b（1）表示第一層的偏置向量；
12、二級隱藏層中，f?=w（2）hi（1）+b（2）；w（2）表示第二層的權重矩陣，b（2）表示第二層的偏置向量；
13、結合文本向量、注意力權重和融合特征向量分析聯合意圖向量，記為q：；
14、s103：提取設備當前時間戳與時間補償量，所述時間補償量等于當前時間戳與上一次采樣時間戳的差值，生成時空編碼st；基于用戶唯一標識u、聯合意圖向量、問題文本、時空編碼及注意力分布指紋hash(a)，生成整合成交互記錄rn={u，q，ta，st，hash(a)}，將交互記錄寫入分布式歷史數據庫。
15、本技術視覺特征向量與語音文本向量的相似度計算，結合基于置信度的動態調節系數，顯著提升低置信度語音場景的魯棒性；注意力權重，使模型聚焦于與語音內容強相關的視覺實體，抑制無關實體干擾；聯合意圖向量融合文本、注意力權重、多模態特征，結合時間戳補償的編碼和注意力指紋，確保交互記錄包含時空上下文，為后續推理提供完備數據基礎。
16、根據上述方案，在s2中，包括以下內容：
17、s201：根據用戶進行歷史問題文本集調取，將各個歷史問題文本調用bert-base模型生成歷史問題文本向量，采用余弦相似度函數分析同一個用戶的任意兩個歷史問題文本之間的相似度；若兩個歷史問題文本之間的相似度大于第一相似度閾值，且對應的時間戳差小于預設時間間隔閾值，標記兩個歷史問題文本為重復事件；
18、s202：提取重復事件觸發后的用戶操作，識別“重問”或“否定”關鍵詞觸發負反饋；當檢測到負反饋時，提取所有用戶的重復事件，分析任意兩個重復事件的相似度，若兩個重復事件的相似度大于第二相似度閾值，標記為相似重復事件，統計同一個相似重復事件的總次數，記為m；根據同一個相似重復事件的總次數分析反饋強度系數β，β=β1+log（m），其中β1為系統預設常數。
19、本技術通過雙閾值判定識別重復事件，避免單次誤判；觸發負反饋標記，跨用戶聚合相似重復事件，用對數函數計算反饋強度。
20、根據上述方案，在s3中，包括以下內容：
21、s301：對認知圖譜中所有節點集中每個節點進行結構化與語義化編碼，調用圖嵌入算法，生成節點向量庫；采用余弦相似度函數分析當前重復事件的問題文本向量與各個節點向量的相似度，將其中最高相似度對應的節點標記為主節點；
22、s302：分析當前時間戳與上次重復事件觸發時間戳的時間間隔δt，基于反饋強度系數和時間間隔分析衰減系數△d，△d=β2×β×exp（-λδt）；其中β2表示基礎衰減率，λ表示時間衰減因子；所述基礎衰減率和時間衰減因子為系統預設常數；
23、s303：依據主節點，在認知圖譜中檢索與主節點直接相連的g跳的鄰居節點集合，并獲取對應的邊權重，g為系統預設常數；將每條由主節點至鄰居節點的路徑視為候選路徑，提取每條候選路徑的終點節點的節點向量與當前重復事件的問題文本向量的相似度，并篩選出相似度大于第三相似度閾值的候選路徑；對篩選出的各個候選路徑分別計算邊權重之和記為候選路徑權重，按照候選路徑權重從大到小選取預設數量的候選路徑生成最終候選路徑集，記為p={pr|r∈[1，r]}，其中pr表示第r條最終候選路徑，r表示最終候選路徑集中最終候選路徑的總數量。
24、本技術快速定位與當前問題最相關的主節點，衰減系數融合反饋強度和時間衰減實現"越頻繁、越近期的錯誤，對圖譜影響越大"的動態調整邏輯；三重過濾確保路徑質量，避免圖譜搜索爆炸，聚焦高價值推理路徑。
25、根據上述方案，在s4中，包括以下內容：
26、s401：基于衰減系數對主節點的權重進行更新：wz*=max（wz－△d×γ，wmin），其中γ表示學習參數，所述學習參數基于節點活躍度預設，max（）表示最大值函數；wz表示主節點的原權重；wmin表示預設權重最小值；
27、s402：提取最終候選路徑的終點節點向量與當前重復事件的問題文本向量的相似度，基于最終候選路徑的終點節點向量與當前重復事件的問題文本向量的相似度分析權重增量，將第r條最終候選路徑的權重增量記為△wr=σ（△d×sr/ssum）；其中σ表示sigmoid函數，sr表示第r條最終候選路徑的終點節點向量與當前重復事件的問題文本向量的相似度；ssum表示最終候選路徑集中各條最終候選路徑的終點節點向量與當前重復事件的問題文本向量的相似度的總和；
28、對各條最終候選路徑的權重進行更新，更新后的權重等于原最終候選路徑的權重與權重增量之和；
29、s403：提取權重更新后的新生成答案和原答案，將新生成答案和原答案生成語義向量，分析新生成答案和原答案的語義向量的特征距離；所述特征距離采用歐氏距離；若特征距離小于或等于特征距離閾值，自動確認更新有效；若特征距離大于特征距離閾值，觸發人工審核流程；所述特征距離閾值基于特征距離的歷史均值和標準差設定。
30、本技術主節點權重更新公式按節點活躍度差異化調整，且防止權重歸零導致節點"失效"；候選路徑增量分配，相似度高的路徑獲得更多權重，約束增量范圍，避免突變；在自動化更新與系統安全性間取得平衡。
31、本技術的另一個方面，提供了一種基于認知圖譜的多模態數據動態推理系統，所述系統應用于上述的一種基于認知圖譜的多模態數據動態推理方法實現，該系統包括交互記錄生成模塊、重復行為特征分析單元、知識節點候選模塊和動態權重更新模塊；
32、所述交互記錄生成模塊用于提取用戶輸入的文本、語音及圖像數據，對用戶數據進行分析結合用戶標識與時間戳生成結構化交互記錄；
33、所述重復行為特征分析單元用于分析歷史交互記錄，檢測同一用戶對相似問題的連續查詢事件，集合負反饋信號，分析重復事件在所用用戶中的重復頻次，分析輸出重復行為的反饋強度系數；
34、所述知識節點候選模塊用于根據重復行為特征定位認知圖譜中對應節點，分析衰減系數，激活關聯的備選推理路徑，輸出待更新節點集及候選路徑；
35、所述動態權重更新模塊用于基于衰減系數調整節點權重，按候選路徑的語義相關度更新權重，更新圖譜連接關系，輸出優化后的認知圖譜。
36、根據上述方案，所述交互記錄生成模塊包括數據采集轉換單元和數據融合單元；
37、所述數據采集轉換單元用于提取用戶終端采集的語音流、圖像數據及問題文本；基于預先訓練的端到端模型，將語音流轉換為中間文本，并輸出語音識別置信度；基于預置的目標檢測網絡，對圖像數據執行檢測，得到實體集合；提取各個實體的視覺特征向量；
38、所述數據融合單元用于分析各個視覺特征向量與文本向量的特征相似度，依據調節系數，分析注意力權重，結合文本向量、注意力權重和融合特征向量分析聯合意圖向量；提取設備當前時間戳與時間補償量，生成時空編碼；基于用戶唯一標識、聯合意圖向量、問題文本、時空編碼及注意力分布指紋，生成整合成交互記錄。
39、根據上述方案，所述重復行為特征分析單元包括重復事件標記單元和頻次分析單元；
40、所述重復事件標記單元用于根據用戶進行歷史問題文本集調取，將各個歷史問題文本生成歷史問題文本向量，采用余弦相似度函數分析同一個用戶的任意兩個歷史問題文本之間的相似度；若兩個歷史問題文本之間的相似度大于第一相似度閾值，且對應的時間戳差小于預設時間間隔閾值，標記兩個歷史問題文本為重復事件；
41、所述頻次分析單元用于提取重復事件觸發后的用戶操作，識別“重問”或“否定”關鍵詞觸發負反饋；當檢測到負反饋時，提取所有用戶的重復事件，分析任意兩個重復事件的相似度，若兩個重復事件的相似度大于第二相似度閾值，標記為相似重復事件，統計同一個相似重復事件的總次數；根據同一個相似重復事件的總次數分析反饋強度系數。
42、根據上述方案，所述知識節點候選模塊包括主節點分析單元、衰減系數分析單元和候選路徑分析單元；
43、所述主節點分析單元用于對認知圖譜中所有節點集中每個節點進行結構化與語義化編碼，調用圖嵌入算法，生成節點向量庫；采用余弦相似度函數分析當前重復事件的問題文本向量與各個節點向量的相似度，將其中最高相似度對應的節點標記為主節點；
44、所述衰減系數分析單元用于分析當前時間戳與上次重復事件觸發時間戳的時間間隔，基于反饋強度系數和時間間隔分析衰減系數；
45、所述候選路徑分析單元用于依據主節點，在認知圖譜中檢索與主節點直接相連的鄰居節點集合，并獲取對應的邊權重；將每條由主節點至鄰居節點的路徑視為候選路徑，提取每條候選路徑的終點節點的節點向量與當前重復事件的問題文本向量的相似度，并篩選出相似度大于第三相似度閾值的候選路徑；對篩選出的各個候選路徑分別計算邊權重之和記為候選路徑權重，按照候選路徑權重從大到小選取預設數量的候選路徑生成最終候選路徑集。
46、根據上述方案，所述動態權重更新模塊包括權重更新單元和更新確認單元；
47、所述權重更新單元用于基于衰減系數對主節點的權重進行更新，提取最終候選路徑的終點節點向量與當前重復事件的問題文本向量的相似度，基于最終候選路徑的終點節點向量與當前重復事件的問題文本向量的相似度分析權重增量，對各條最終候選路徑的權重進行更新，更新后的權重等于原最終候選路徑的權重與權重增量之和；
48、所述更新確認單元用于提取權重更新后新生成答案和原答案，將新生成答案和原答案分別生成語義向量，分析新生成答案和原答案的語義向量的特征距離；若特征距離小于或等于特征距離閾值，自動確認更新有效；若特征距離大于特征距離閾值，觸發人工審核流程；所述特征距離閾值基于特征距離的歷史均值和標準差設定。
49、與現有技術相比，本發明的有益效果是：本技術視覺特征向量與語音文本向量的相似度計算，結合基于置信度的動態調節系數，顯著提升低置信度語音場景的魯棒性；注意力權重，使模型聚焦于與語音內容強相關的視覺實體，抑制無關實體干擾；聯合意圖向量融合文本、注意力權重、多模態特征，結合時間戳補償的編碼和注意力指紋，確保交互記錄包含時空上下文，為后續推理提供完備數據基礎；本技術通過雙閾值判定識別重復事件，避免單次誤判；觸發負反饋標記，跨用戶聚合相似重復事件，用對數函數計算反饋強度；本技術快速定位與當前問題最相關的主節點，衰減系數融合反饋強度和時間衰減實現動態調整邏輯；三重過濾確保路徑質量，避免圖譜搜索爆炸，聚焦高價值推理路徑。本技術主節點權重更新公式按節點活躍度差異化調整，且防止權重歸零導致節點"失效"；候選路徑增量分配，相似度高的路徑獲得更多權重，約束增量范圍，避免突變；在自動化更新與系統安全性間取得平衡。