首页 > 北京生物医学工程 > 一种基于知识蒸馏和注意力损失的时间增量学习系统

一种基于知识蒸馏和注意力损失的时间增量学习系统

A session-incremental learning system based on knowledge distillation and attention loss

二维码有效期 120s

摘要目的基于深度学习的运动想像脑机接口技术在智能康复领域具有很好的发展前景.然而,运动想像脑电信号(motor imagery-electroencephalogram,MI-EEG)是一种非平稳信号,其数据分布和特征空间会随着康复进程的推进而发生变化,这会导致卷积神经网络(convolutional neural network,CNN)模型的识别能力下降.为改善运动想像解码模型对时间的自适应性,本文提出一种基于知识蒸馏和注意力损失的时间增量学习系统(session-incremental learning system,SILS).方法首先,对运动想象脑电信号进行带通滤波和下采样等预处理,以增强与运动想象相关的信息;其次,设计一种多分支双注意力多模块卷积神经网络对多导联MI-EEG进行多尺度时间特征和空间特征的提取与整合,并基于注意力机制增强通道和空间维度的关键信息;然后,利用知识蒸馏技术及注意力损失改善增量时期解码模型持续学习新知识和保留旧知识的能力;进一步,基于最近邻法挑选少量优质旧样本进行数据回放,提升增量模型的抗遗忘性能力;最后,基于BCI Competition Ⅳ Dataset 2b公开数据集进行大量实验研究,通过可塑性和稳定性两项指标验证 SILS 性能.结果 SILS 对第 1～5 阶段的数据依次取得 79.21％、79.05％、89.06％、88.38％和88.47％的平均准确率,第5 阶段的SILS对第 1～4 时段(session)数据的平均遗忘率分别为9.72％、9.10％、9.88％和6.04％.结论 SILS具有自动调整模型参数,保持持续学习和自我更新的能力,表现出很好的时间适应性和性能稳定性.