本發(fā)明涉及智能心理健康篩查，具體涉及一種腦電-眼動多模態(tài)數(shù)據(jù)融合的抑郁癥早期篩查智能系統(tǒng)及方法。
背景技術(shù)：
1、抑郁癥是一種常見且嚴(yán)重影響患者社會功能的精神疾病，其核心癥狀包括情緒低落、興趣減退等。抑郁癥具有高患病率和高危害性，已成為全球亟待應(yīng)對的公共健康問題。尤其是輕度抑郁處于抑郁癥的早期階段，若能及早發(fā)現(xiàn)并干預(yù)，對于防止病情加重具有重要意義。然而，由于輕度抑郁的早期癥狀往往不明顯，就診率低，傳統(tǒng)診斷主要依賴患者自述和臨床問診，容易出現(xiàn)漏診或誤診?，F(xiàn)有的一些量表評估方法(如phq-9問卷)具有主觀性，而腦功能影像、語音分析等輔助手段對輕微癥狀的特異性檢測效果有限，導(dǎo)致對輕度抑郁的及時關(guān)注和識別仍存在不足。
2、腦電圖(eeg)作為一種非侵入式的神經(jīng)生理信號，對大腦活動的微小變化十分敏感，且具有毫秒級的高時間分辨率，能夠客觀反映大腦功能狀態(tài)。在抑郁癥研究中，已有文獻(xiàn)報道eeg信號例如α波不對稱、某些事件相關(guān)電位(erp)成分等與抑郁癥狀相關(guān)聯(lián)。然而，僅依靠eeg單一模態(tài)進(jìn)行抑郁檢測面臨個體差異大、特異性不足的問題，不同受試者的腦電特征差異可能導(dǎo)致分類結(jié)果不穩(wěn)定、泛化性能較差。
3、眼動追蹤技術(shù)可記錄被試者的注視點(diǎn)、凝視持續(xù)時間、瞳孔直徑變化等行為數(shù)據(jù)。這些眼動特征能夠直觀體現(xiàn)個體的注意力分配和情緒反應(yīng)。例如，抑郁個體在觀看情緒刺激時可能存在負(fù)性注意偏向，表現(xiàn)為更長時間注視消極刺激或更難從消極信息上移開視線。單獨(dú)使用眼動數(shù)據(jù)進(jìn)行抑郁識別在一定程度上取得了一些進(jìn)展，但同樣存在特征不全面、準(zhǔn)確率受限的問題。
4、基于多模態(tài)數(shù)據(jù)融合的抑郁癥識別成為近年研究熱點(diǎn)。腦電和眼動作為兩個互補(bǔ)的生理信號來源，在抑郁檢測中具有很大潛力：腦電提供內(nèi)部神經(jīng)活動信息，眼動反映外部行為特征，兩者結(jié)合有望更全面地表征抑郁相關(guān)狀態(tài)。然而，目前針對腦電-眼動融合的抑郁識別研究仍處于起步階段?，F(xiàn)有方法多為將兩種信號的特征簡單拼接輸入分類器，缺乏對多模態(tài)數(shù)據(jù)之間相關(guān)性和互補(bǔ)關(guān)系的深入建模。此外，以往采用的認(rèn)知任務(wù)范式相對單一，如自由瀏覽情緒面孔、靜態(tài)刺激反應(yīng)等，對于輕度抑郁細(xì)微癥狀的激發(fā)可能不夠敏感。在技術(shù)實(shí)現(xiàn)上，目前尚未見將虛擬現(xiàn)實(shí)、腦機(jī)接口、遙感信號處理等先進(jìn)技術(shù)引入此領(lǐng)域以提升篩查性能的方案。
5、綜上所述，現(xiàn)有技術(shù)在輕度抑郁的早期客觀篩查方面存在以下不足：(1)單模態(tài)生理信號手段有限，難以全面準(zhǔn)確地識別輕度抑郁；(2)多模態(tài)融合方法尚不完善，未充分挖掘不同信號間的關(guān)聯(lián)特征，融合策略簡單，導(dǎo)致識別準(zhǔn)確率和泛化能力有待提高；(3)缺乏針對輕度抑郁特征精心設(shè)計(jì)的認(rèn)知任務(wù)刺激范式，現(xiàn)有測試靈敏度不足；(4)尚未將其他領(lǐng)域的先進(jìn)技術(shù)有機(jī)結(jié)合進(jìn)來，實(shí)現(xiàn)對抑郁篩查的新架構(gòu)和性能提升。為解決上述問題，有必要提供一種全新的結(jié)合eeg和眼動的抑郁癥早期智能篩查系統(tǒng)及方法，以提高對輕度抑郁的檢測敏感性和準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)思路
1、技術(shù)目的：針對現(xiàn)有技術(shù)在抑郁的早期客觀篩查方面的不足，本發(fā)明公開了一種腦電-眼動多模態(tài)數(shù)據(jù)融合的抑郁癥早期篩查智能系統(tǒng)及方法，通過融合腦電和眼動兩種生理信號，并設(shè)計(jì)特定的認(rèn)知任務(wù)范式，本發(fā)明能夠敏感捕捉輕度抑郁患者的細(xì)微認(rèn)知異常，實(shí)現(xiàn)對抑郁癥早期風(fēng)險的客觀、高效篩查。
2、技術(shù)方案：為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用了如下技術(shù)方案：
3、一種腦電-眼動多模態(tài)數(shù)據(jù)融合的抑郁癥早期篩查智能系統(tǒng)，包括：
4、腦電信號采集模塊，用于在受試者執(zhí)行認(rèn)知任務(wù)過程中采集其腦電eeg信號，并輸出多通道的腦電數(shù)據(jù)；
5、眼動追蹤模塊，用于同步捕獲受試者眼球運(yùn)動信息并生成眼動數(shù)據(jù)，包括注視點(diǎn)位置、凝視持續(xù)時間和瞳孔直徑變化；
6、認(rèn)知任務(wù)呈現(xiàn)模塊，用于向受試者提供預(yù)先設(shè)計(jì)的認(rèn)知任務(wù)和刺激情景，以誘發(fā)與抑郁相關(guān)的認(rèn)知過程和情緒反應(yīng)，所述認(rèn)知任務(wù)包括情緒刺激瀏覽和認(rèn)知功能測試環(huán)節(jié)；
7、數(shù)據(jù)處理與融合分析模塊，用于接收所述腦電數(shù)據(jù)和眼動數(shù)據(jù)，對其進(jìn)行預(yù)處理、特征提取，并采用多模態(tài)數(shù)據(jù)融合算法對腦電特征和眼動特征進(jìn)行關(guān)聯(lián)建模與綜合分析，輸出受試者的抑郁風(fēng)險評估結(jié)果；
8、結(jié)果輸出模塊，用于將所述評估結(jié)果以人機(jī)可讀形式呈現(xiàn)或存儲，包括顯示受試者的抑郁傾向評分、判別結(jié)論及相應(yīng)解釋信息。
9、優(yōu)選地，所述認(rèn)知任務(wù)呈現(xiàn)模塊包括虛擬現(xiàn)實(shí)顯示裝置，認(rèn)知任務(wù)在虛擬現(xiàn)實(shí)場景中進(jìn)行，以模擬真實(shí)情景并增強(qiáng)認(rèn)知任務(wù)對受試者的沉浸感；
10、認(rèn)知任務(wù)范式包括：同時呈現(xiàn)正性與負(fù)性情緒刺激以檢測受試者的注意偏向，在高認(rèn)知負(fù)荷任務(wù)中測量其行為和生理反應(yīng)，以及在獎勵決策情景下觀察其情緒反應(yīng)，從多角度激發(fā)輕度抑郁受試者的特異性反應(yīng)模式。
11、優(yōu)選地，所述數(shù)據(jù)處理與融合分析模塊包括：
12、信號同步單元，用于根據(jù)統(tǒng)一時間戳或觸發(fā)信號對腦電數(shù)據(jù)和眼動數(shù)據(jù)進(jìn)行時間對齊；
13、預(yù)處理單元，用于對腦電數(shù)據(jù)進(jìn)行濾波和偽跡消除，對眼動數(shù)據(jù)進(jìn)行平滑和校準(zhǔn)；
14、特征提取單元，用于從腦電數(shù)據(jù)提取頻域特征、事件相關(guān)電位特征、腦網(wǎng)絡(luò)連接特征，以及從眼動數(shù)據(jù)提取注視分布、凝視序列、瞳孔變化特征；
15、多模態(tài)融合單元，用于將提取的腦電特征和眼動特征輸入多模態(tài)數(shù)據(jù)融合算法模型，建立兩者之間的關(guān)聯(lián)并輸出融合特征表示；
16、決策分類單元，用于對所述融合特征表示進(jìn)行模式識別或分類，生成抑郁風(fēng)險評估結(jié)果。
17、優(yōu)選地，所述多模態(tài)融合單元通過構(gòu)建包含腦電特征節(jié)點(diǎn)和眼動特征節(jié)點(diǎn)的關(guān)聯(lián)圖，并在該圖上運(yùn)行圖神經(jīng)網(wǎng)絡(luò)模型以提取腦電與眼動數(shù)據(jù)之間的關(guān)聯(lián)模式，且所述多模態(tài)融合單元采用如下加權(quán)融合公式，將腦電特征向量he與眼動特征向量ho及其逐元素乘積相結(jié)合，從而構(gòu)造出融合特征：
18、
19、其中，表示從eeg信號中提取的特征向量，包含n個特征分量，表示從眼動數(shù)據(jù)中提取的特征向量，包含m個特征分量，表示向量的逐元素乘積，即對he和ho中對應(yīng)元素相乘，生成一個長度為min(n,m)的向量，表示腦電與眼動特征之間的交互作用，α、β和γ為權(quán)重系數(shù)，其取值在(0,1)范圍內(nèi)，用于調(diào)節(jié)腦電單模態(tài)、眼動單模態(tài)以及兩者交互項(xiàng)對最終融合特征的貢獻(xiàn)比例。
20、優(yōu)選地，所述腦電信號采集模塊為可穿戴無線設(shè)備，包含多個干電極傳感器和信號放大器，能夠通過藍(lán)牙將腦電數(shù)據(jù)實(shí)時傳輸至所述數(shù)據(jù)處理與融合分析模塊；
21、所述眼動追蹤模塊包括高幀率紅外眼動儀或集成于頭戴式顯示器的眼動傳感器，并通過同步觸發(fā)機(jī)制確保眼動數(shù)據(jù)與腦電數(shù)據(jù)的毫秒級對齊。
22、一種腦電-眼動多模態(tài)數(shù)據(jù)融合的抑郁癥早期篩查智能方法，應(yīng)用于如以上所述的一種腦電-眼動多模態(tài)數(shù)據(jù)融合的抑郁癥早期篩查智能系統(tǒng)，包括以下步驟：
23、通過腦電信號采集模塊和眼動追蹤模塊，執(zhí)行眼動校準(zhǔn)程序并記錄靜息狀態(tài)下的基線腦電eeg信號和眼動信號；
24、通過認(rèn)知任務(wù)呈現(xiàn)模塊向受試者展示預(yù)定的認(rèn)知任務(wù)序列，所述認(rèn)知任務(wù)包含情緒刺激瀏覽和認(rèn)知功能測試多個環(huán)節(jié)，同時實(shí)時標(biāo)記關(guān)鍵事件；
25、在受試者執(zhí)行認(rèn)知任務(wù)時同步采集腦電eeg信號和眼動信號，并將兩種數(shù)據(jù)按照事件標(biāo)記進(jìn)行時間同步；
26、對采集的腦電eeg信號進(jìn)行濾波去噪和偽跡處理，對眼動信號進(jìn)行平滑濾波和凝視事件檢測，獲得高質(zhì)量的腦電數(shù)據(jù)和眼動數(shù)據(jù)序列；
27、從預(yù)處理后的腦電數(shù)據(jù)中提取表征受試者神經(jīng)活動的多個腦電特征指標(biāo)，從眼動數(shù)據(jù)中提取表征受試者注視行為和瞳孔反應(yīng)的多個眼動特征指標(biāo)；
28、將腦電特征和眼動特征輸入多模態(tài)融合分析模型，融合兩種模態(tài)的信息以識別抑郁相關(guān)模式，輸出受試者的抑郁風(fēng)險評估結(jié)果；
29、將判別結(jié)果及相關(guān)信息通過結(jié)果輸出模塊呈現(xiàn)給用戶或存儲于數(shù)據(jù)庫，并在需要時提供后續(xù)處理建議。
30、優(yōu)選地，多模態(tài)融合分析包括：構(gòu)建腦電特征與眼動特征之間的關(guān)聯(lián)圖譜，根據(jù)腦電通道與視線興趣區(qū)域的同步活動計(jì)算邊權(quán)重，并采用圖神經(jīng)網(wǎng)絡(luò)提取跨模態(tài)特征模式；或者通過公式融合方法將腦電特征與眼動特征及其交互項(xiàng)結(jié)合形成融合特征向量，并將該融合特征輸入預(yù)先訓(xùn)練的機(jī)器學(xué)習(xí)分類器進(jìn)行抑郁狀態(tài)判別。
31、優(yōu)選地，認(rèn)知任務(wù)呈現(xiàn)模塊使用虛擬現(xiàn)實(shí)技術(shù)呈現(xiàn)所述認(rèn)知任務(wù)，各任務(wù)場景以沉浸式三維環(huán)境展示，并記錄受試者在虛擬環(huán)境中的視角、操作行為；通過豐富的多感官刺激提高任務(wù)誘發(fā)效應(yīng)，從而放大輕度抑郁受試者在腦電和眼動上的反應(yīng)差異。
32、優(yōu)選地，提取的腦電特征包括以下至少一種：不同頻段的功率譜強(qiáng)度、事件相關(guān)電位的振幅和潛伏期、功能連接網(wǎng)絡(luò)指標(biāo)；
33、提取的眼動特征包括以下至少一種：對負(fù)性刺激的注視時間比例、注視點(diǎn)的轉(zhuǎn)移頻率、瞳孔對刺激的最大擴(kuò)大幅度；通過多維特征的結(jié)合更全面地表征受試者的心理狀態(tài)。
34、有益效果：本發(fā)明所提供的一種腦電-眼動多模態(tài)數(shù)據(jù)融合的抑郁癥早期篩查智能系統(tǒng)及方法具有如下有益效果：
35、1、本發(fā)明通過采用eeg和眼動兩種模態(tài)信號的深度融合及新型認(rèn)知任務(wù)刺激的設(shè)計(jì)，實(shí)現(xiàn)了對輕度抑郁征兆的高敏感性檢測，利用eeg的高時間分辨率捕捉大腦各區(qū)域的細(xì)微電活動變化，同時通過眼動追蹤記錄注視行為、凝視時間以及瞳孔動態(tài)變化，系統(tǒng)能夠提取出諸如特定頻段功率變化、erp成分及異常注視偏向等多維度特征。所提出的融合單元采用多模態(tài)加權(quán)融合公式，其中引入了逐元素乘積交互項(xiàng)，顯式建模腦電與眼動特征之間的耦合作用，從而有助于捕捉“眼動異常時腦電響應(yīng)”的特征聯(lián)動效應(yīng)，顯著提高了篩查結(jié)果的準(zhǔn)確率和穩(wěn)定性。
36、2、本發(fā)明在系統(tǒng)設(shè)計(jì)中引入了虛擬現(xiàn)實(shí)與腦機(jī)接口技術(shù)，構(gòu)建出一個高度沉浸且多感官刺激的認(rèn)知任務(wù)范式。該范式通過展示情緒刺激、執(zhí)行工作記憶或注意力任務(wù)、以及參與決策反饋等多環(huán)節(jié)任務(wù)，能夠在不同認(rèn)知負(fù)荷下激發(fā)受試者的情感與認(rèn)知反應(yīng)，進(jìn)一步放大輕度抑郁相關(guān)的神經(jīng)和行為異常；虛擬現(xiàn)實(shí)環(huán)境不僅提高了任務(wù)的真實(shí)感和用戶參與度，同時借助腦機(jī)接口實(shí)現(xiàn)數(shù)據(jù)采集和任務(wù)反饋的實(shí)時閉環(huán)監(jiān)控，從而確保了數(shù)據(jù)采集的高精度和系統(tǒng)響應(yīng)的靈活調(diào)控，為早期診斷提供了有力技術(shù)保障。
37、3、本發(fā)明采用無線可穿戴設(shè)備與高幀率眼動追蹤儀器，構(gòu)成了便攜、實(shí)時在線監(jiān)測的智能篩查平臺；系統(tǒng)通過多模態(tài)數(shù)據(jù)同步采集、信號預(yù)處理、特征提取及深度融合分析，能夠?qū)V泛人群進(jìn)行快速、無創(chuàng)的抑郁癥早期篩查。同時，該平臺所得的細(xì)粒度生理和行為數(shù)據(jù)為后續(xù)心理健康大數(shù)據(jù)分析、臨床精準(zhǔn)干預(yù)以及自我調(diào)節(jié)和康復(fù)訓(xùn)練提供了客觀依據(jù)，推動了智能心理健康監(jiān)測與干預(yù)技術(shù)在公共衛(wèi)生領(lǐng)域的廣泛應(yīng)用。