首页 > 粮油食品科技 > 基于骨架序列多算法的粮仓作业人员异常行为视频识别

基于骨架序列多算法的粮仓作业人员异常行为视频识别

The Video Recognition of Abnormal Behavior of Granary Workers Based on Skeleton Sequence Multi-algorithm Fusion

二维码有效期 120s

摘要粮仓是保障粮食储藏安全的重要设施.粮仓为封闭大空间,仓内光照昏暗、空气流通差,熏蒸、气调等作业增加了人员安全隐患,通过仓内安防视频对作业人员的异常行为进行识别与分析,是作业人员安全操作的一项重要技术保障.提出了一种基于骨架序列多算法的粮仓内作业人员异常行为的视频识别算法.首先,利用YOLOv3tiny模型对人体进行快速检测,结合Sort对多目标进行运动轨迹跟踪,通过AlphaPose模型提取人体骨架坐标序列及权重信息;进而,根据人体骨架自然连接节点构成的实际空间图(RSG)和虚拟人体的重心与头、手、脚互连构建的虚拟空间图(VSG),基于人体动力学重心与手脚互动的平衡性,提取仓内作业人员异常行为的空间特征和串联时间卷积(TC)的时空特征;最后,提出了虚实结合的时空图卷积网络(VR-STGCN)仓内作业人员的异常行为视频识别算法.同时自建了混合数据集,并将VR-STGCN与SSD、PCANet、Two-StreamCNN、STGCN等四种算法进行了对比实验与分析.结果表明:VR-STGCN各项指标均优于其他四种算法;VR-STGCN能够在光线不足、多目标、远距离等复杂环境下准确地识别出仓内人员的跌倒、爬行、躺平等异常行为,识别准确率达到97.7％,处理速度为18.67 fps,能够实时分析作业人员异常行为.研究成果为复杂环境下粮仓作业人员的安全保障提供了一种全新高效的技术.