用于精确图像分割的特征细化金字塔视觉转换器
FR-PVT:A feature-refined pyramid vision transformer for accurate image segmentation
摘要目的:准确提取用于形态评估和临床疾病监测的医学图像中的目标区域,改进将卷积神经网络(CNN)与转换器(Transformer)结合的混合网络用以学习图像局部信息和全局信息.方法:①通过引入基于CNN的解码器并将其与金字塔视觉转换器(PVT)整合,开发了一种新颖的特征细化分割网络称为特征细化金字塔视觉转换器(FR-PVT).解码器用于细化PVT捕获的多尺度全局特征,由特征细化模块(FRM)和上下文注意模块(CAM)以及相似性聚合模块(SAM)共同构成.②为了验证FR-PVT,将其用于五个公共结肠镜图像数据集(ClinicDB、ColonDB、EndoScene、ETIS和KvasirSEG)的息肉分割和温州医科大学附属眼视光医院提供的眼部视频数据集的睑裂分割.③使用四种不同的指标评估FR-PVT的性能,包括Dice系数、IOU、Matthew 系数(MCC)和 Hausdorff 距离(Hdf).FR-PVT与现有网络[即息肉 PVT(Polyp-PVT)、U-Net 及其变体]在相同的分割任务上进行比较.结果:①FR-PVT能够处理各种成像条件下获取的结肠镜图像,并在分割ClinicDB、ColonDB、EndoScene、ETIS和KvasirSEG数据集时获得平均Dice分别为 0.937、0.819、0.892、0.800和0.909.②在眼部视频数据集中的图像上进行的实验结果显示,FR-PVT获得的平均Dice、IOU、MCC和Hdf分别为0.966、0.943、0.957和4.706.③在五个息肉数据集上的分割性能对比显示,FR-PVT分别获得了平均Dice系数和IOU分别为0.840和0.764,优于Polyp-PVT(0.834和0.760)、U-Net(0.561 和0.493)、U-Net++(0.546和0.476)、SFA(0.476和0.367)、PraNet(0.741和0.675).在眼部视频图像上的分割性能显示,FR-PVT分别获得了 0.840的平均Dice系数和0.764的平均IOU.结论:FR-PVT实现了比Polyp-PVT和现有的几种基于CNN的网络(如U-Net及其变体)更好的分割性能.
更多相关知识
- 浏览17
- 被引1
- 下载1

相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文


换一批



