换一批中英文对照的影像学报告在预测模型中的一致性评价
Agreement Evaluation of Predictive Models on Radiology Reports in Both Chinese and English
摘要目的 结合不同的文本向量化方法和分类模型,评估中英文对照的X线影像学报告在分类任务中的一致性.方法 提取Medical Information Mart for Intensive Care(MIMIC)数据集中的X线影像报告并翻译为中文,使用Doc2vec、词频-逆文档频率算法、双向编码器表示(Bidirectional Encoder Representation from Transformers,BERT)等方法对文本进行向量化,利用随机森林、卷积神经网络(Convolutional Neural Networks,CNN)、TextCNN、Softmax等算法和模型完成分类任务.利用一致率和Kappa值对中英文对照的影像学报告的分类结果进行一致性评价.结果 在二分类任务下,中英文版本影像学报告分类一致率可以达到0.7～0.9,Kappa值为0.3～0.7,其中BERT-Softmax模型可以得到一致率为0.922,Kappa值为0.724;在三分类任务下,中英文版本的影像学报告分类一致率可以达到0.6～0.7,Kappa值可以达到0.3～0.4;在五分类任务下,BERT-Softmax得到中英文文本分类一致率为0.744,Kappa值为0.638.结论 X线影像报告的中英文版本在分类任务中具有较高的一致性,且一致性与文本向量化方法、分类模型性能及具体分类任务有关.
更多相关知识
关键词
中英文对照MIMIC数据集影像学报告文本向量化方法一致性分类任务written in Chinese and EnglishMIMIC datasetradiology reportvectorizationagreementclassification
栏目名称
DOI
10.3969/j.issn.1674-1633.2023.10.001
发布时间
2023-10-24（万方平台首次上网日期，不代表论文的发表时间）
基金项目
北京市自然科学基金-海淀原始创新联合基金重点项目（L222006）
- 浏览30
- 被引0
- 下载5
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
