基于MFE-BERT与FNNAttention的心理医学知识图谱构建

Construction of Psychomedical Knowledge Graph Based on MFE-BERT and FNNAttention

二维码有效期 120s

摘要针对心理医学领域文本段落冗长、数据稀疏、知识散乱且规范性差的问题,提出一种基于多层级特征抽取能力预训练模型(MFE-BERT)与前向神经网络注意力机制(FNNAttention)的心理医学知识图谱构建方法.MFE-BERT在BERT模型基础上将其内部所有Encoder层特征进行合并输出,以获取包含更多语义的特征向量,同时对两复合模型采用FNNAttention机制强化词级关系,解决长文本段落语义稀释问题.在自建的心理医学数据集中,设计MFE-BERT-BiLSTM-FNNAttention-CRF 和 MFE-BERT-CNN-FNNAttention 复合神经网络模型分别进行心理医学实体识别和实体关系抽取,实体识别F1值达到93.91％,实体关系抽精确率达到了 89.29％,通过融合文本相似度与语义相似度方法进行实体对齐,将所整理的数据存储在Neo4j图数据库中,构建出一个含有3 652个实体,2396条关系的心理医学知识图谱.实验结果表明,在MFE-BERT模型与FNNAttention机制的基础上构建心理医学知识图谱切实可行,提出的改进模型所搭建的心理医学知识图谱可以更好地应用于心理医学信息管理中,为心理医学数据分析提供参考.