换一批基于图-文自适应加权融合的多模态胎儿辅助诊断系统
Multi-FHRNet:Multimodal Fetal Diagnosis Based on Image and Text with Adaptive Weighting Fusion
摘要由于缺氧导致的窘迫或酸中毒会导致胎儿器官受损甚至死亡等不可挽回的后果.智能胎心宫缩监护(ICTG)可连续、同步记录胎心率(FHR)信号,评估胎儿状况并识别早期风险,是孕晚期监测胎儿健康的重要工具.传统的ICTG算法或聚焦于原始的FHR信号特征提取,或只依据FHR的形态学参数,忽视了临床因素的影响以及不同模态数据间的互补性.本研究提出了图-文融合的胎儿辅助诊断模型(Multi-FHRNet).根据临床生理信息结合FHR信号形态学特征构建文本模态数据,并通过马尔可夫转移场实现一维信号到二维图片的转换,构建出更为丰富的图-文双模态数据;设计两个不同的编码器:基于Vision Transformer的图片编码器与基于卷积神经网络的文本编码器,分别提取图片特征与文本特征;提出特征向量随机赋权重代替直接拼接的方法,获得多模态信息特征.经200组网络公开临床实测FHR数据,从参数优化、模型选择多角度进行了多项性能对比实验,Multi-FHRNet实现了最高达96.02％的异常识别准确率,且查准率、查全率、F1分数、曲线下面积分别为93.10％、99.29％、95.45％、93.48％,优于传统单模态算法.所提出算法可为智能化的胎儿监护实现提供理论基础和技术支撑.
更多相关知识
关键词
智能胎儿辅助诊断胎心率信号多模态学习自适应权重Vision Transformer(ViT)intelligent cardiotocographyfetal heart ratemultimodal learningadaptive weightingVision Transformer(ViT)
分类号
R318（医用一般科学）
栏目名称
DOI
10.3969/j.issn.0258-8021.2025.05.006
发布时间
2025-11-28（万方平台首次上网日期，不代表论文的发表时间）
基金项目
- 浏览2
- 被引0
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
