記者13日從澳門科技大學獲悉，由澳科大醫(yī)學院、四川大學華西醫(yī)院、香港大學等機構(gòu)研究人員組成的研究團隊，率先提出一個基于人工智能的多模態(tài)融合肺部影像醫(yī)療診斷模型“IRENE”，這是一個使用統(tǒng)一的人工智能模型對多模態(tài)臨床信息同時進行整體表征學習的醫(yī)學輔助診斷方法。

相關研究報告已發(fā)表于最新一期的《自然·生物醫(yī)學工程》。

在醫(yī)學臨床實踐中，醫(yī)生通常需要綜合考慮多種不同模態(tài)的醫(yī)學信息來做出診斷，比如病人病歷、血液檢查、影像報告等等，這種綜合分析能力需要醫(yī)生有豐厚的醫(yī)學專業(yè)知識和長期臨床實踐經(jīng)驗。

如果能利用人工智能獲得這種綜合分析的能力，輔助醫(yī)生診斷，將極大提高醫(yī)療效率、緩解醫(yī)療資源短缺?；谌斯ぶ悄艿尼t(yī)學圖像診斷近年來取得了很大的進展，但如何讓計算機將醫(yī)學圖像及其相關的臨床信息綜合起來解讀仍是一個較大的難題。

為解決上述問題，澳門科技大學教授張康領銜的團隊開發(fā)了“IRENE”。該模型包含了統(tǒng)一的數(shù)據(jù)輸入處理模塊和雙向的跨模態(tài)注意力機制模塊，旨在通過共同學習不同信息間的整體特征和其關聯(lián)性來做出決策。該模型可以有效整合醫(yī)學圖像、非結(jié)構(gòu)化的病歷信息和實驗室檢測數(shù)據(jù)，運用統(tǒng)一的跨模態(tài)分析流程，實現(xiàn)綜合處理不同數(shù)據(jù)，從而做出更為準確的判斷。

據(jù)張康介紹，團隊將統(tǒng)一模型應用到了識別肺部疾病和預測新冠不良臨床癥狀。相較于只使用圖像的模型和非整合的多模態(tài)診斷模型，在識別肺部疾病方面的準確率分別提升了12%和9%，在預測新冠患者的不良臨床結(jié)果方面提升了29%和7%。

張康表示，這一新開發(fā)的醫(yī)學輔助診斷方法，為緩解醫(yī)療資源緊張?zhí)峁┝擞辛ぞ撸瑫r也為后續(xù)以醫(yī)學人工智能整合任何多模態(tài)信息提供了新的思路。

新華社澳門電 記者劉剛 李寒芳