本發(fā)明涉及醫(yī)療檢測(cè)，具體涉及基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法。
背景技術(shù)：
1、眼科疾病的早期診斷對(duì)于預(yù)防視力喪失和降低致盲風(fēng)險(xiǎn)至關(guān)重要。然而，傳統(tǒng)的診斷方法主要依賴(lài)于專(zhuān)業(yè)醫(yī)生的經(jīng)驗(yàn)和手動(dòng)閱片，這種方法雖然在一定程度上能夠保證診斷的準(zhǔn)確性，但存在效率低下、主觀性強(qiáng)等問(wèn)題，難以滿足大規(guī)模篩查和快速診斷的需求。近年來(lái)，隨著人工智能和深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的圖像識(shí)別系統(tǒng)逐漸應(yīng)用于眼科領(lǐng)域，為輔助診斷提供了新的可能性。然而，現(xiàn)有的圖像識(shí)別技術(shù)仍存在一些局限性，限制了其在臨床實(shí)踐中的廣泛應(yīng)用。
2、首先，現(xiàn)有系統(tǒng)在多模態(tài)數(shù)據(jù)利用方面存在不足。大多數(shù)系統(tǒng)僅依賴(lài)眼底圖像進(jìn)行識(shí)別，忽略了患者的年齡、性別、病史等臨床數(shù)據(jù)對(duì)疾病診斷的重要影響。這些臨床數(shù)據(jù)與眼底圖像相結(jié)合，可以為疾病診斷提供更全面的信息，從而提高診斷的準(zhǔn)確性。
3、其次，現(xiàn)有深度學(xué)習(xí)模型的可解釋性較差。深度學(xué)習(xí)模型通常被視為“黑箱”，其決策過(guò)程難以被醫(yī)生理解和信任。這在一定程度上限制了其在臨床中的廣泛應(yīng)用，特別是在需要醫(yī)生對(duì)診斷結(jié)果進(jìn)行進(jìn)一步分析和判斷的情況下。
4、此外，現(xiàn)有模型在多標(biāo)簽分類(lèi)任務(wù)中的性能也存在局限性。眼底病變通常伴隨多種并發(fā)癥，但現(xiàn)有模型對(duì)并發(fā)疾病的識(shí)別準(zhǔn)確率不足，難以滿足臨床對(duì)多種疾病同時(shí)進(jìn)行輔助診斷的需求。
5、在現(xiàn)有技術(shù)中，單一圖像模型（如resnet、傳統(tǒng)efficientnet）僅處理圖像數(shù)據(jù)，無(wú)法融合臨床信息，且缺乏決策解釋性。部分系統(tǒng)在深度學(xué)習(xí)輸出后添加固定閾值規(guī)則，但這種方法靈活性差，無(wú)法自適應(yīng)患者個(gè)體差異。同時(shí)，數(shù)據(jù)不平衡問(wèn)題也是現(xiàn)有技術(shù)面臨的一個(gè)重要挑戰(zhàn)。罕見(jiàn)病標(biāo)簽（如高血壓視網(wǎng)膜病變）的樣本量不足，導(dǎo)致模型對(duì)這些疾病的誤識(shí)別率較高。
技術(shù)實(shí)現(xiàn)思路
1、鑒于此，本發(fā)明提出了一種基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，以及基于該方法的多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的決策樹(shù)（dedt）模型，通過(guò)在模型的網(wǎng)絡(luò)結(jié)構(gòu)中嵌入可訓(xùn)練決策樹(shù)層，融合圖像特征與臨床數(shù)據(jù)，結(jié)合多模態(tài)融合技術(shù)，聯(lián)合優(yōu)化圖像與非圖像數(shù)據(jù)，并引入臨床邏輯嵌入的分裂準(zhǔn)則，有效提高圖像識(shí)別結(jié)果的準(zhǔn)確性、可解釋性和魯棒性，同時(shí)優(yōu)化了系統(tǒng)的資源效率，使其能夠?qū)ρ劭萍膊〉脑\斷起到更好的協(xié)助作用。
2、為解決上述至少一個(gè)技術(shù)問(wèn)題，本發(fā)明提供的技術(shù)方案是，一種基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，包括以下步驟：
3、步驟s1：收集患者雙眼樣本的多模態(tài)數(shù)據(jù)，對(duì)多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，得到向量化的多模態(tài)數(shù)據(jù)，其中，所述多模態(tài)數(shù)據(jù)包括眼底圖像、文本描述和臨床數(shù)據(jù)；
4、步驟s2：將預(yù)處理過(guò)的雙眼眼底圖像輸入兩組共享權(quán)重的雙流efficientnet-b3網(wǎng)絡(luò)中提取特征向量，融合雙眼圖像特征生成雙眼綜合圖像特征向量；
5、步驟s3：對(duì)雙眼綜合圖像特征向量與文本特征向量進(jìn)行交互融合；
6、步驟s4：將交互融合后得到的圖像-文本融合特征向量與臨床數(shù)據(jù)向量進(jìn)行加權(quán)融合，得到最終融合特征向量；
7、步驟s5：根據(jù)臨床邏輯嵌入節(jié)點(diǎn)分裂規(guī)則，對(duì)臨床邏輯嵌入節(jié)點(diǎn)分裂規(guī)則與最終融合特征向量執(zhí)行動(dòng)態(tài)門(mén)控網(wǎng)絡(luò)融合，得到?jīng)Q策特征向量；
8、步驟s6：將決策特征向量輸入決策樹(shù)中，判斷決策特征向量在決策樹(shù)各中間節(jié)點(diǎn)分支的流向，從而將決策特征向量對(duì)應(yīng)的患者雙眼樣本匹配至決策樹(shù)末端的識(shí)別結(jié)果上，輸出最終結(jié)果；
9、其中，決策樹(shù)由多節(jié)點(diǎn)相連組成，決策樹(shù)始端為根節(jié)點(diǎn)，決策樹(shù)末端為多組葉節(jié)點(diǎn)，根節(jié)點(diǎn)與任一葉節(jié)點(diǎn)之間通過(guò)多組中間節(jié)點(diǎn)相連形成一組子樹(shù)，每組中間節(jié)點(diǎn)包含左右兩組分支，且每組分支均連接至后續(xù)相鄰中間節(jié)點(diǎn)上。
10、本發(fā)明起到的技術(shù)效果是：
11、1、本發(fā)明公開(kāi)了一種基于跨模態(tài)特征與決策樹(shù)的眼科疾病圖像識(shí)別方法和模型，通過(guò)融合多模態(tài)數(shù)據(jù)，關(guān)聯(lián)影響疾病的多因素特征，并訓(xùn)練決策樹(shù)對(duì)融合后的特征進(jìn)行判斷，充分考慮多因素特征對(duì)于疾病判斷的協(xié)同影響，從而有效提升了針對(duì)復(fù)雜眼科疾病的圖像識(shí)別結(jié)果的可靠性和準(zhǔn)確性。
12、2、本發(fā)明注重跨模態(tài)特征的交互，可充分模擬實(shí)際醫(yī)療診斷過(guò)程中的綜合診斷思維，確保融合后的特征既包含豐富的診斷信息，又符合眼科疾病的病理生理學(xué)規(guī)律；同時(shí)建立了圖像特征與臨床指標(biāo)之間的深層聯(lián)系，可進(jìn)一步發(fā)掘常規(guī)診療中難以直觀把握的復(fù)雜醫(yī)學(xué)規(guī)律，保證了識(shí)別結(jié)果的全面性，使其能夠更好地輔助醫(yī)生的診斷過(guò)程。
13、3、本發(fā)明通過(guò)門(mén)控注意力機(jī)制實(shí)現(xiàn)模態(tài)權(quán)重的自適應(yīng)分配，系統(tǒng)能夠根據(jù)輸入數(shù)據(jù)的質(zhì)量動(dòng)態(tài)調(diào)整特征提取策略，當(dāng)圖像質(zhì)量欠佳時(shí)自動(dòng)增強(qiáng)結(jié)構(gòu)化臨床特征的權(quán)重，在臨床數(shù)據(jù)缺失時(shí)則側(cè)重圖像和文本特征分析，確保在任何數(shù)據(jù)條件下都能提取最具判別性的特征組合，從而顯著提升了模型在非理想數(shù)據(jù)環(huán)境下的魯棒性，擴(kuò)大了模型的適用范圍。
14、4、本發(fā)明引入了臨床邏輯嵌入節(jié)點(diǎn)分裂規(guī)則用于指導(dǎo)決策樹(shù)中節(jié)點(diǎn)的分布走向，在圖像識(shí)別過(guò)程中引入實(shí)際醫(yī)學(xué)診斷經(jīng)驗(yàn)并將其轉(zhuǎn)化為可學(xué)習(xí)的節(jié)點(diǎn)分裂規(guī)則，不僅僅限于數(shù)值判斷，大幅提高決策路徑與真實(shí)臨床診斷流程的吻合程度，進(jìn)一步提高圖像識(shí)別的準(zhǔn)確程度。
1.基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：所述臨床數(shù)據(jù)包括年齡、性別、bmi、血壓、血糖水平、眼壓和病史。
3.根據(jù)權(quán)利要求1所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s1中針對(duì)眼底圖像進(jìn)行預(yù)處理的方法，包括以下步驟：
4.根據(jù)權(quán)利要求1所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s1中針對(duì)文本描述進(jìn)行預(yù)處理的方法，包括以下步驟：
5.根據(jù)權(quán)利要求2所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s1中針對(duì)臨床數(shù)據(jù)進(jìn)行預(yù)處理的方法，包括以下步驟：
6.根據(jù)權(quán)利要求1所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s3中所述雙眼綜合圖像特征向量與文本特征向量進(jìn)行交互融合的方法如式（6）所示：
7.根據(jù)權(quán)利要求1所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s4中所述最終融合特征向量的生成方法如式（8）所示：
8.根據(jù)權(quán)利要求1所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s5中所述的臨床邏輯嵌入節(jié)點(diǎn)分裂規(guī)則具體如式（10）所示：
9.根據(jù)權(quán)利要求8所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：步驟s5中所述執(zhí)行門(mén)控網(wǎng)絡(luò)融合的方法，包括以下步驟：
10.根據(jù)權(quán)利要求9所述的基于雙流efficientnet和決策樹(shù)的眼科疾病圖像識(shí)別方法，其特征在于：所述決策特征向量在決策樹(shù)中以根節(jié)點(diǎn)、中間節(jié)點(diǎn)、葉節(jié)點(diǎn)的順序依次流動(dòng)，其中，判斷決策特征向量在決策樹(shù)各中間節(jié)點(diǎn)分支的流向的方法為：計(jì)算決策特征向量在中間節(jié)點(diǎn)左右兩組分支的流動(dòng)概率，將概率較大的一方作為流動(dòng)的分支，流動(dòng)概率計(jì)算具體如式（14）所示：