换一批基于RoBERTa-wwm动态融合模型的中文电子病历命名实体识别
Identifying Named Entities of Chinese Electronic Medical Records Based on RoBERTa-wwm Dynamic Fusion Model
摘要[目的]提出基于RoBERTa-wwm动态融合的实体识别模型,提高中文电子病历实体识别效果.[方法]将预训练语言模型RoBERTa-wwm各Transformer层生成的语义表示进行动态融合后,输入双向长短时记忆网络和条件随机场模块完成电子病历中的实体识别.[结果]在"2017全国知识图谱与语义计算大会(CCKS2017)"数据集与自主标注的电子病历数据集上F1值分别达到94.08％和90.08％,在RoBERTa-wwm-BiLSTM-CRF模型的基础上提高了 0.23％与0.39％.[局限]本文所采用的RoBERTa-wwm基于非医学语料完成预训练过程.[结论]语义层的动态融合能更好利用各编码层的不同信息,提升下游实体识别任务效果.
更多相关知识
分类号
TP391
栏目名称
DOI
10.11925/infotech.2096-3467.2021.0951
发布时间
2022-06-23（万方平台首次上网日期，不代表论文的发表时间）
基金项目
- 浏览2
- 被引55
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
