换一批用于胸部X光片长尾分布多标签分类的双路注意力分类头研究
Dual-attention classification head for long-tailed and multi-label classification on chest X-rays
摘要目的 根据注意力机制,创新设计出合适的分类头,应对传统多标签分类方法对长尾尾部标签分类效果较差的问题.方法 本文提出了一种新的分类头结构(双路注意力分类头,Dual-Attention Head,DAH),一路使用嵌入维度的注意力机制,一路使用子图维度的注意力机制,进而整合特征层面和样本层面的交互信息,提高模型进行多标签分类时对尾部标签的分类效果以及全类平均精度(mean Average Precision,mAP).本文还对比不同图像预处理方法,进而分析图像分辨率及空间关系对多标签分类结果的影响,对比不同结构的图像编码器,分析更适合多标签分类的图像编码器.结果 通过引入DAH作为分类头,相比使用多标签解码器(ML-Decoder),mAP从0.2698提高到0.2904,其中对尾部标签的平均精度(Average Precision,AP)从0.1511提高到0.2306.结论 DAH结合嵌入维度和子图维度的注意力机制,使得模型进一步平衡长尾分布的多标签分类任务中尾部标签的分类效果,相比ML-Decoder,进一步改善了长尾分布中的不平衡问题,其中使用的嵌入维度的注意力机制为分类头中注意力的引入方式提供了新的思路.此外,本研究发现直接输入高分辨率的胸部X光片相比减小图片分辨率和分割子图两种方法更加适配于使用DAH进行多标签分类的场景.
更多相关知识
关键词
深度学习多标签分类长尾分布注意力机制分类头Deep learningMulti-label classificationLong-tailed distributionAttention MechanismClassification Head
栏目名称
DOI
10.11876/mimt202406001
发布时间
2025-01-13（万方平台首次上网日期，不代表论文的发表时间）
基金项目
国家重点研发计划（2021ZD0113404）
- 浏览4
- 被引0
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
