2024年11月4日，上海交通大学生物医学工程学院金成团队在《Patterns》上发表了题为“An objective quantitative diagnosis of depression using a local-to-global multimodal fusion graph neural network”的研究论文。该研究使用局部-全局多模态融合图神经网络（LGMF-GNN）来应对抑郁症客观定量诊断的挑战。

研究背景

工作介绍

图1 基于LGMF-GNN的抑郁症客观定量诊断系统

      局部ROI-GNN将个体脑部感兴趣区域作为图节点，以ROI BOLD信号为输入，通过bi-GRU捕获脑信号中的时序特征，进一步构建可学习的脑功能连接矩阵，在训练中优化图结构，为每个受试者生成脑功能图级嵌入。全局Subject-GNN将受试者作为图节点，基于功能性MRI、结构性MRI和电子健康记录多模态数据构建功能特征、结构特征和人口学特征三个群体图。模态特异图卷积模块（MS-GCN Block）用于在各个模态的群体图中提取模态独有的特征；模态公共图卷积模块（MC-GCN Block）用于提取三个模态共有的特征；M-Attention Block采用注意力机制对三个模态独有特征以及一个模态共有特征进行高效融合。

图2 LGMF-GNN与其他方法的对比

      该研究在来自中国、日本和俄罗斯24个机构的1,182名健康对照组和1,260名MDD患者的队列中进行了模型构建及测试，取得了78.75%的分类准确率、80.64%的受试者工作特征曲线下面积（AUROC），并能够有效区分MDD亚型。对比实验显示， LGMF-GNN在MDD诊断中表现出最佳性能。相较于SOTA方法，LGMF-GNN在SRPBS数据集中实现了至少3.65%的ACC提升和5.39%的AUROC提升；在REST-meta-MDD数据集上实现了至少4.20%的ACC提升和5.18%的AUROC提升。相比之下，其他方法受站点效应（site effect）的影响较大，无法准确分类，ACC徘徊在70%左右。除MAMF-GCN外，其他对比方法的AUROC均小于75%。

图3 通过可学习功能连接矩阵发现的MDD患者的异常功能连接及脑区

      此外，通过模型可解释，该研究进一步发现了MDD中不同的脑连接模式，包括左侧直回与右侧小脑叶VIIB之间的功能连接减弱，以及左侧Roland operculum与右侧海马之间的连接增加。从解剖学特征分析，研究发现MDD与脑灰白质界面的厚度变化相关。

团队介绍

      上海交通大学金成团队的研究专注于医学多模态、多组学数据融合，从医学数理出发，开发主动可解释的人工智能方法在医学中的应用。团队的工作聚焦：

01数字标志物与生化标志物的关系

      探索数字标志物（基于计算和数据分析得出的指标）与传统生化标志物之间的关系链路，建立具有关系特征的标志物集合，提高对复杂疾病的预测能力，并帮助优化诊断和治疗方案。

02疾病发生发展的信息通路

      团队还关注于疾病发生发展过程中信息通路的挖掘，通过系统生物学全局视角和生理、病理机制的层级知识注入，分析不同组学数据中的相互作用，探讨微观异常如何在组织、器官乃至整个生物体水平上引发连锁反应，最终导致疾病的发生和发展。通过构建多层级联模型，团队能够更准确地预测疾病进展的趋势，识别潜在的治疗靶点，并为个性化医疗策略的制定提供科学依据。

03知识图谱与大模型的结合

      通过构建相关的知识图谱，强化大模型的学习能力，使其能够更好地理解和解析复杂的医学数据。将知识图谱与大模型相结合应用于虚拟医师系统，更新医院诊疗模式。

总之，本团队首先基于医院多维数据融合，开发医疗垂直领域专精大模型，同步实现Clinical AI诊疗工具开发和开展临床疾病研究两大功能；进一步研究聚焦于联合住院前、住院及住院后患者的长程多维度数据，进行复杂疾病的系统分析；最终目标是拓展至基于大规模患者全生命周期、全维度数据的Health AI系统开发。   

关于本文

      该项工作是上海交通大学生物医学工程学院金成团队，首都医科大学附属安定医院王刚、张玲团队和上海人工智能实验室王延峰团队的合作成果。上海交通大学生物医学工程学院博士生刘抒予，首都医科大学附属安定医院周晶晶、朱雪泉，上海人工智能实验室张娅为本文的共同第一作者。该研究工作得到了科技创新2030 -脑科学与脑启发智能技术重大专项和国家重点研发计划和的支持

原文链接

      https://www.sciencedirect.com/science/article/pii/S266638992400240X