换一批
换一批基于3D分层卷积融合的多模态生理信号情绪识别
Multi-modal physiological signal emotion recognition based on 3D hierarchical convolution fusion
摘要近年来,脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象.然而,单模态的脑电信号存在情绪信息特征不完备问题,多模态生理信号存在情绪信息交互不充分问题.针对这些问题,提出基于3D分层卷积的多模态特征融合模型,旨在充分挖掘多模态交互关系,更准确地刻画情感信息.首先通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息,再对得到的多模态初级情绪特征信息进行3D卷积融合操作,实现两两模态间的局部交互以及所有模态间的全局交互,获取包含不同生理信号情绪特征的多模态融合特征.实验结果表明,提出的模型在DEAP数据集的效价、唤醒度的二分类和四分类任务中达到了98％的平均准确率.
更多相关知识
栏目名称
DOI
10.11959/j.issn.2096−6652.202108
发布时间
2021-09-16
基金项目
国家重点研发计划基金资助项目（No.2017YFE0116800）；
国家自然科学基金资助项目（No.U1909202.No.U20B2074.No.61971173）；
浙江省科技计划项目（No.2018C04012）；
浙江省"脑机协同智能"重点实验室开放基金项目（No.20200E10010）
- 浏览1
- 被引8
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
