换一批融合计算机视觉和结构化数据的多模态模型在糖尿病视网膜病变转诊中的应用
Application of multimodal model in diabetic retinopathy referral based on computer vision and structured data
摘要目的:融合计算机视觉和临床结构化数据,探讨多模态模型在糖尿病视网膜病变(DR)转诊中的应用.方法:纳入苏州大学理想眼科医院和苏州市立医院就诊的糖尿病患者,收集眼底照片及临床资料,根据临床指南相关标准,将患者分为DR无需转诊组和需转诊组.以EfficientNetV2S作为后骨框架进行迁移学习,构建计算机视觉模型α;并融合计算机视觉模型α的输出以及患者临床结构化数据,使用H2O的AutoML平台,建立多模态模型β,判断糖尿病患者是否需要DR转诊.结果:视觉分类模型α在内部验证集中,准确度为0.918,敏感度为1.000,特异度为0.891,ROC曲线下面积(AUC)为0.946;在外部测试集中,准确度为0.879,敏感度为1.000,特异度为0.831,AUC为0.918.基于XGBoost算法的多模态模型β在内部验证集准确度为0.965,特异度为0.953,敏感度为1.000,AUC为0.977;在外部测试集中,其准确度为0.985,特异度为0.986,敏感度为0.983,AUC为0.984o SHAP特征可视化结果,可以观察到基于XGBoost算法的最佳模型中,排名靠前的变量在二分类结局患者中的分布.其中,空腹血糖、胰岛素、谷草转氨酶、收缩压及三酰甘油与DR转诊呈正相关,而高密度脂蛋白与DR转诊呈负相关.结论:相比单模态模型,基于计算机视觉和结构化数据的多模态融合模型判断DR患者转诊的准确性显著提高.
更多相关知识
关键词
多模态融合糖尿病视网膜病变机器学习计算机视觉人工智能Multimodal integrationDiabetic retinopathyMachine learningComputer visionArtificial intelligence
栏目名称
DOI
10.3969/j.issn.1673-7571.2024.07.006
发布时间
2024-07-29（万方平台首次上网日期，不代表论文的发表时间）
基金项目
苏州市科技计划项目（SKY2021025）
- 浏览46
- 被引0
- 下载25
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
