本發明涉及信息,尤其涉及一種應用于虛擬展館展示區域的圖像處理方法及系統。
背景技術:
1、vr(virtual?reality,虛擬現實技術)又稱靈境技術,是以沉浸性、交互性和構想性為基本特征的計算機高級人機界面。它綜合利用了計算機圖形學、仿真技術、多媒體技術、人工智能技術、計算機網絡技術、并行處理技術和多傳感器技術,模擬人的視覺、聽覺、觸覺等感覺器官功能,使人能夠沉浸在計算機生成的虛擬境界中,并能夠通過語言、手勢、鼠標和鍵盤等方式與之進行實時交互,創建了一種適人化的多維信息空間,是一項發展中的、具有深遠的潛在應用方向的新技術。
2、隨著vr的發展對于gpu(graphic?processing?unit,圖像處理器)的處理效率要求越來越高,當gpu處理效率低時圖像的渲染速度跟不上用戶頭動和視野的移動速度造成圖像的延遲,研究表明,頭動和視野的延遲不能超過20ms,否則會有很明顯的拖影感,長時間的拖影感易造成頭暈現象。
技術實現思路
1、為了減低移動帶來造成圖像的延遲和拖影感,本發明提供了一種應用于虛擬展館展示區域的圖像處理方法,所述方法主要包括步驟:
2、?s101.獲取眼動追蹤傳感器采集的觀看距離數據與視角偏移角度數據;
3、s102.根據所述觀看距離數據與視角偏移角度數據判斷頭部位置狀態,生成動態感知結果;
4、s103.?采用卷積神經網絡處理所述動態感知結果對應的原始圖像像素密度與焦點區域坐標,確定分辨率閾值范圍;若所述分辨率閾值范圍超出預設標準值,則對所述原始圖像像素密度執行雙三次插值重采樣,生成自適應分辨率圖像;
5、s104.當檢測到所述焦點區域坐標發生位移時,對所述自適應分辨率圖像執行快速傅里葉變換,獲取指定窗口尺寸的頻域數據,根據預設頻域平滑系數對所述頻域數據實施高通濾波處理,得到濾波后的頻域數據;
6、s105.對所述濾波后的頻域數據執行逆傅里葉變換精度控制處理,還原生成優化后的焦點細節圖像;
7、s106.將所述焦點細節圖像與預先建立的低頻背景模板輸入實時渲染引擎,生成最終顯示幀數據,并將所述最終顯示幀數據至輸出虛擬展館的展示區域;
8、s107.?將所述最終顯示幀數據輸入至用戶行為分析與預測模塊,獲取網絡延遲時預加載的展示內容。
9、優選地,所述步驟102,包括:
10、通過傳感器收集所述觀看距離數據與視角偏移角度數據,并對收集到的數據進行預處理;
11、將預處理后的數據與預定義的頭部位置狀態進行匹配,以確定用戶的實時頭部狀態;
12、根據所述實時頭部狀態生成動態感知結果。
13、優選地,所述步驟s103,包括:
14、獲取原始圖像的像素密度信息以及基于動態感知結果利用顯著性分析確定所述原始圖像中的焦點區域坐標;
15、將所述像素密度信息和焦點區域坐標輸入卷積神經網絡,輸出分辨率閾值范圍,其中,使用卷積層提取所述焦點區域的局部特征,使用池化層降低所述局部特征維度,實用全連接層輸出分辨率閾值范圍;
16、將所述分辨率閾值范圍與預設標準值進行比較,若所述分辨率閾值范圍在預設標準值內,則直接使用原始圖像像素密度進行處理,若所述分辨率閾值范圍超出預設標準值,則對所述原始圖像進行雙三次插值重采樣,生成自適應分辨率圖像。
17、優選地,所述步驟s104,包括:
18、比較當前焦點區域坐標與上一幀焦點區域坐標,判斷是否發生位移;
19、若確定發生位移,則對所述自適應分辨率圖像執行快速傅里葉變換,將所述自適應分辨率圖像從空間域轉換到頻率域,在所述頻率域中,選擇一個預定大小的窗口來提取所述當前焦點區域坐標附近的頻域數據,獲取預定窗口尺寸的頻域數據;
20、通過預設的頻域平滑系數構建高通濾波器,對頻域數據進行濾波,得到濾波后的頻域數據,將所述濾波后的頻域數據轉換回空間域,得到頻域焦點圖像。
21、優選地,所述步驟s107,包括:
22、對所述最終顯示幀數據進行清洗、去噪、提取特征處理,獲取用戶當前的行為軌跡;
23、通過分析用戶的歷史行為數據,識別出用戶的典型行為模式;
24、根據用戶的歷史操作頻率和歷史停留時間,提取用戶感興趣的區域,基于所述用戶當前的行為軌跡結合用戶的典型行為模式和所述用戶感興趣的區域,獲取預加載的內容,結合當前的網絡狀態,動態調整預加載的內容。
25、優選地,所述結合當前的網絡狀態,動態調整預加載的內容,包括:
26、根據歷史網絡延遲數據,構建延遲預測模型,預測在當前網絡條件下可能出現的延遲情況;
27、根據用戶行為預測結果,對需要展示的內容進行優先級排序;結合預測的網絡延遲,動態調整預加載的內容。
28、第二方面,本發明提供了一種應用于虛擬展館展示區域的圖像處理系統,所述系統包括:
29、數據采集模塊,獲取眼動追蹤傳感器采集的觀看距離數據與視角偏移角度數據;
30、動態感知結果生成模塊,根據所述觀看距離數據與視角偏移角度數據判斷頭部位置狀態,生成動態感知結果;
31、自適應分辨率圖像生成模塊,采用卷積神經網絡處理所述動態感知結果對應的原始圖像像素密度與焦點區域坐標,確定分辨率閾值范圍;若所述分辨率閾值范圍超出預設標準值,則對所述原始圖像像素密度執行雙三次插值重采樣,生成自適應分辨率圖像;
32、頻域焦點圖像生成模塊,當檢測到所述焦點區域坐標發生位移時,對所述自適應分辨率圖像執行快速傅里葉變換,獲取指定窗口尺寸的頻域數據,根據預設頻域平滑系數對所述頻域數據實施高通濾波處理,得到頻域焦點圖像;
33、焦點細節圖像生成模塊,對所述頻域焦點圖像執行逆傅里葉變換精度控制處理,還原生成優化后的焦點細節圖像;
34、展示模塊,將所述焦點細節圖像與預先建立的低頻背景模板輸入實時渲染引擎,生成最終顯示幀數據,并將所述最終顯示幀數據至輸出虛擬展館的展示區域;
35、展示內容預測模塊,將所述最終顯示幀數據輸入至用戶行為分析與預測模塊,獲取網絡延遲時預加載的展示內容。
36、第三方面,本發明提供了一種電子設備,包括存儲器、圖像處理器及存儲在存儲器上并可在圖像處理器上運行的計算機程序,圖像處理器執行程序時實現所述的應用于虛擬展館展示區域的圖像處理方法。
37、第四方面,本方面提供了一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被圖像處理器執行時實現所述的應用于虛擬展館展示區域的圖像處理方法。
38、本發明實施例提供的技術方案可以包括以下有益效果:通過開發自適應清晰度增強算法,根據用戶的觀看距離和角度自動調整展示對象的清晰度。當用戶靠近某個展品時,系統能夠自動提高該區域的分辨率和細節;當用戶從不同角度查看展品時,系統能夠根據視角變化實時調整圖像的清晰度和焦點,確保用戶在任何位置都能獲得最佳的觀看體驗。還可以根據用戶的瀏覽軌跡和興趣偏好,預測用戶接下來可能查看的展品,提前緩存相關內容,即使在網絡延遲時都可減少等待時間。同時,通過漸進式圖像加載技術,使用戶在等待高清圖像的同時也能獲得基本的視覺體驗。