换一批摘要预训练语言模型BERT/RoBERTa/MacBERT等虽然能够通过预训练任务中的掩码语言模型(MLM)很好地学习字和词的语法、语义及上下文特征,但其缺乏拼写错误识别及纠正能力,且在中文拼写纠错(CSC)任务中面临预训练与下游任务微调目标不一致的问题.为了进一步提升BERT/RoBERTa/MacBERT等模型的拼写错误识别及纠正能力,提出一种面向中文拼写纠错的自监督预训练方法MASC.MASC在MLM的基础上将对被掩码字的正确值预测转换成对拼写错误字的识别和纠正.首先,MASC将MLM对字的掩码扩展为相应的全词掩码,目的是提升BERT对单词级别的语义表征学习能力;接着,利用混淆集从音调相同、音调相近和字形相近等方面对MLM中的被掩码字进行替换,并将MLM的训练目标更改为识别正确的字,从而增强了BERT的拼写错误识别及纠正能力;最后,在 3个公开的CSC语料集sighan13、sighan14和sighan15上的实验结果表明,MASC可在不改变BERT/RoBERTa/MacBERT等模型结构的前提下进一步提升它们在下游CSC任务中的效果,并且消融实验也证明了全词掩码、音调和字形等信息的重要性.
更多相关知识
关键词
中文拼写纠错文本纠错自然语言处理预训练语言模型深度学习自监督Chinese spelling correctiontext correctionnatural language processingpre-trained language modeldeep learningself-supervisory
分类号
TP183
栏目名称
DOI
10.12141/j.issn.1000-565X.230031
发布时间
2023-10-10（万方平台首次上网日期，不代表论文的发表时间）
- 浏览2
- 被引6
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
