本申請屬于數字孿生,具體涉及一種基于數字孿生的在線教學交互增強方法及系統。
背景技術:
1、在當今數字技術蓬勃發展的時代,數字孿生技術與在線教學領域逐漸融合。數字孿生通過構建與現實場景高度相似的虛擬模型,為在線教學提供了更加直觀、生動的教學環境。在線教學借助數字孿生模型,能夠呈現出豐富多樣的教學內容,打破了傳統教學在時間和空間上的限制。即便如此,現有的數字孿生和在線教學技術仍然存在一定缺陷。例如,虛擬教學場景往往缺乏與用戶行為的實時交互性,教學元素大多以預設的方式展示,無法根據用戶的實際行為做出及時、準確的響應。此外,虛擬化身與用戶行為的同步性較差,不能精準復現用戶動作,導致虛擬教學場景的真實感不足。
技術實現思路
1、本申請提供了一種基于數字孿生的在線教學交互增強方法及系統,用以實現多模態數據驅動下虛擬教學場景與用戶行為的深度交互。
2、第一方面,本申請實施例提供一種基于數字孿生的在線教學交互增強方法,應用于在線教學交互增強系統,所述方法包括:通過多模態數據采集裝置獲取用戶行為數據集合;對所述用戶行為數據集合進行時空對齊處理,生成與用戶行為同步的虛擬化身驅動數據集合,并將所述虛擬化身驅動數據集合輸入虛擬教學場景的數字孿生模型中,驅動所述數字孿生模型中的虛擬化身執行與用戶行為對應的實時動作;基于所述虛擬化身的實時動作與所述虛擬教學場景中教學元素之間的空間關系數據,生成交互指令集合,所述交互指令集合用于指示所述虛擬教學場景中教學元素的響應操作;根據所述交互指令集合調整所述虛擬教學場景的交互反饋配置信息,并基于調整后的交互反饋配置信息更新所述數字孿生模型的渲染輸出數據。
3、第二方面,本申請實施例提供一種在線教學交互增強系統,其包括處理器和存儲器,其中,所述存儲器存儲有計算機程序,當所述計算機程序被所述處理器執行時,使得所述處理器執行上述方法的步驟。
4、第三方面,本申請實施例提供一種計算機可讀存儲介質,其包括計算機程序,當所述計算機程序在在線教學交互增強系統上運行時,所述計算機程序用于使所述在線教學交互增強系統執行上述方法的步驟。
5、應用本申請實施例,實現了多模態數據驅動下虛擬教學場景與用戶行為的深度交互。詳細地,通過獲取豐富的用戶行為數據集合并經過時空對齊處理,能精準生成與用戶行為同步的虛擬化身驅動數據集合,使得虛擬化身在數字孿生模型中實時復現用戶動作;基于虛擬化身動作與教學元素空間關系生成的交互指令集合,能動態指示教學元素響應操作,有效增強了虛擬教學場景的交互性(教學元素不再是靜態展示,而是依據用戶行為實時變化);同時,根據交互指令集合調整交互反饋配置信息,并更新渲染輸出數據,使得虛擬教學場景的呈現效果更加貼合用戶行為,有效提升了虛擬教學場景的真實感和互動性,讓虛擬教學更接近真實教學場景中的交互效果。
1.一種基于數字孿生的在線教學交互增強方法,其特征在于,包括:
2.根據權利要求1所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述用戶行為數據集合包含用戶動作數據、用戶語音數據及用戶觸控操作數據,所述對所述用戶行為數據集合進行時空對齊處理,生成與用戶行為同步的虛擬化身驅動數據集合,包括:
3.根據權利要求2所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述將所述關鍵骨骼節點坐標序列與所述觸控軌跡坐標進行空間坐標系轉換處理,得到統一空間坐標系下的動作融合坐標序列,包括:
4.根據權利要求1所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述基于所述虛擬化身的實時動作與所述虛擬教學場景中教學元素之間的空間關系數據,生成交互指令集合,包括:
5.根據權利要求4所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述識別所述虛擬化身的實時動作中與所述虛擬教學場景中教學元素發生空間交疊的碰撞檢測區域,包括:
6.根據權利要求1所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述根據所述交互指令集合調整所述虛擬教學場景的交互反饋配置信息,包括:
7.根據權利要求6所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述基于所述物理引擎參數集合調整所述數字孿生模型中教學元素的運動軌跡計算規則,包括:
8.根據權利要求1所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述基于調整后的交互反饋配置信息更新所述數字孿生模型的渲染輸出數據,包括:
9.根據權利要求8所述的基于數字孿生的在線教學交互增強方法,其特征在于,所述對所述候選圖像數據進行幀率同步編碼處理,生成所述目標分辨率的輸出圖像幀序列,包括:
10.一種在線教學交互增強系統,其特征在于,其包括處理器和存儲器,其中,所述存儲器存儲有計算機程序,當所述計算機程序被所述處理器執行時,使得所述處理器執行權利要求1~9中任一所述方法的步驟。