换一批基于骨骼的脑卒中患者手势识别与康复评估
Skeleton-Based Gesture Recognition and Rehabilitation Assessment for Stroke Patients
摘要为实现脑卒中患者手功能康复情况的自动、精准定量评估,本文提出一种基于手部骨骼的手势识别与功能评估方法.首先,利用MediaPipe框架提取手部关键点并连接形成手骨骼模型,将传统的RGB视频数据集转化为手骨骼数据集.然后,通过C3D模型进行训练,实现手功能动作的识别.最后,在正确识别的基础上进一步评估,采用动态时间规整(dynamic time warping,DTW)算法,在实现时序对齐的同时引入空间对齐机制,通过计算患者健侧手与患侧手完成同一动作的DTW距离,量化动作执行的相似度,为每个动作找到最佳阈值作为定量评估的标准.实验结果表明,用骨骼数据代替传统视频数据,使手势识别的准确率提升至99.01％,缩短了训练时间,并结合DTW算法,实现了手功能康复情况的自动评估.
更多相关知识
关键词
动态手势识别3D卷积神经网络MediaPipe框架动态时间规整手功能康复dynamic gesture recognition3D convolutional neural network(CNN)Media-Pipe frameworkdynamic time warping(DTW)hand function rehabilitation
分类号
R496（康复医学）
栏目名称
DOI
10.3969/j.issn.0255-8297.2025.05.009
发布时间
2025-11-12（万方平台首次上网日期，不代表论文的发表时间）
基金项目
上海市科委科技创新行动计划（No.22511103304）
上海市科委科技创新行动计划（No.22511103403）
- 浏览0
- 被引0
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
