检索历史 清除

摘要抑郁症是最常见的精神障碍之一，其主要特征为情绪低落、负罪感或低自我价值感、睡眠或食欲障碍、疲劳感或注意力不集中。这些症状持续时间长、反复发作，会严重损害个人的日常工作、生活和学习能力，最严重的情况还可能出现自杀倾向。近年来，抑郁症患病人数逐年增加，加重了全球心理疾病负担。因此，全球范围内提高抑郁症早期发现及准确识别对尤为关键。抑郁症识别研究已成为当前情感计算领域的研究热点。情感计算领域对于心理、生理和认知与人工智能技术的研究为抑郁症识别奠定了坚实的理论基础和技术支撑。本文以临床发现的抑郁症患者在面部、语音、生理和文本等数据的特异性为前提，通过有效融合抑郁症患者的多模态数据特征并建立深度学习模型，从而有效地提升抑郁症识别的准确率。<br>　　本文的主要工作和创新点如下：<br>　　（1）针对现有抑郁症识别技术存在的特征选择不合理问题，提出一种基于注意力机制与特征层融合的多模态抑郁症识别方法。首先，提取多模态数据的低级特征描述符（LowLevelDescriptions,LLDs），并在粗粒度特征层面高效融合提取的浅层特征验证抑郁症识别特征选择的有效性；其次，利用设计的深度学习特征编码器提取浅层特征中隐含的深层特征，实现了细粒度特征层面的有效融合。最后，本文利用多级模态互注意力机制对粗、细粒度两个层面的特征进行了融合，实现了通过视觉、音频和转录文本信息预测抑郁严重程度的目标。本文在音频/视觉情感挑战和研讨会（TheAudio/VisualEmotionChallengeandWorkshop,AVEC2017和AVEC2019）发布的抑郁症多模态数据集上进行了多次实验验证，提出的基于注意力机制的多模态特征层融合模型（MFF-Att）在抑郁识别中取得了较好的效果，也验证了特征选择的合理性。所提出的模型在验证集上的均方根误差（RootMeanSquareError,RMSE）和平均绝对误差（MeanAverageError,MAE）分别为4.03和3.05，优于基线和当前大部分基于多模态融合的抑郁症识别方法的性能。<br>　　（2）为了解决现有基于多模态融合的抑郁症识别方法存在的数据特征信息利用不充分、很难有效提取与抑郁症识别关联性强的特征等问题，提出一种基于多尺度融合特征的多任务学习抑郁症识别方法。首先，通过构建CNN_LSTM特征编码器提取多尺度特征，利用分辨率较高的浅层特征增强数据的表征能力，同时通过分辨率较低的深层特征提高语义信息的表征能力，提高抑郁症患者多源信息的利用率。通过在多尺度-多模态融合空间上构建多任务学习模型，将抑郁症患者PHQ分数评估的回归任务与分类任务共享参数，并得到两种任务更加泛化的表示。本文利用多尺度特征融合和多任务学习技术，提取与抑郁症识别具有关联性的深层特征，提高数据信息的利用率，从而提高抑郁症识别模型的性能。所提出的模型的多任务回归在DAIC-WOZ数据集的验证集上的均方根误差为5.28，其分类任务的Accuracy和F1分数分别为72.72％和0.66；在E-DAIC数据集的验证集上的多任务回归平均绝对误差为3.34，其分类任务的Accuracy和F1分别为85.71%和0.73，在对比实验中均达到了最优结果，并且在DAIC-WOZ数据集的结果优于基线结果，证明了所提出的抑郁症识别模型的优异性能。