换一批基于多模态多示例学习的免疫介导性肾小球疾病自动分类方法
Automatic classification of immune-mediated glomerular diseases based on multi-modal multi-instance learning
摘要目的 探讨如何利用多模态深度学习方法,联合光学显微镜(OM)、免疫荧光显微镜(IM)及透射电子显微镜(TEM)对应的3种图像进行免疫介导性肾小球疾病分类.方法 基于273例患者的病理图像进行回顾性研究,构建多模态多示例模型对3种免疫介导性的肾小球疾病——免疫球蛋白A肾病(IgAN)、膜性肾病(MN)、狼疮性肾炎(LN)进行分类.该模型采用示例水平的多示例学习(I-MIL)方法挑选患者的TEM图像并与同一患者的OM图像和IM图像进行多模态特征融合.通过该模型与单模态、双模态模型的比较,探究3种模态之间的不同组合形式以及模态特征融合方式的特性.结果 联合OM、IM以及TEM图像建立的多模态多示例模型准确率为(88.34±2.12)%,优于准确率为(87.08±4.25)%的最优的单模态模型,以及准确率为(87.92±3.06)%的最优的双模态模型.结论 本研究成功建立基于OM、IM及TEM三种模态图像的多模态多示例模型,并验证了采用多示例学习结合多模态学习方法对免疫介导性肾小球疾病分类的有效性.
更多相关知识
关键词
肾活检病理肾小球疾病深度学习多模态融合多示例学习renal biopsy pathologyglomerular diseasedeep learningmulti-modal fusionmulti-instance learning
栏目名称
DOI
10.12122/j.issn.1673-4254.2024.03.21
发布时间
2024-04-19（万方平台首次上网日期，不代表论文的发表时间）
- 浏览32
- 被引5
- 下载8
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
