首页 > 医疗卫生装备 > 基于多级联深度学习处理器的机器人手术器械检测和姿态估计算法研究

基于多级联深度学习处理器的机器人手术器械检测和姿态估计算法研究

Research on robot-based surgical instrument detection and pose estimation algorithm with multi-cascade deep learning processor

二维码有效期 120s

摘要目的:为完成器械护士机器人手术器械识别及传递任务,提出一种基于多级联深度学习处理器的手术器械检测和姿态估计算法.方法:提出的多级联深度学习处理器CYSP算法级联了添加坐标注意力模块的YOLOX(YOLOX with coordinate attention block,CA-Y OLOX)、分割一切模型(segment anything model,SAM)、主成分分析(principal component analysis,PCA)等功能模组.首先,应用CA-YOLOX进行器械种类识别,完成x、y坐标粗定位;其次,利用SAM分割器明确手术器械在RGB图像中的位置,引入深度信息和相机内部参数获得手术器械点云;最后,对手术器械点云使用PCA算法获得其质心、主方向和法线方向,凭此求解目标坐标系(手术器械质心坐标系)与机械臂基坐标系间的旋转平移(rotation and translation,RT)矩阵,并将该矩阵转换为四元数传递给机械臂控制单元,使机械臂可以到达相应位置拾取器械,完成器械传递任务.在自建的手术器械图像数据集上完成迁移训练并评估提出算法的效果,在七自由度机械臂上进行器械传递实验并评估该算法的成功率.结果:多级联深度学习处理器CYSP算法在手术器械数据集上的识别准确率为98.52％,器械传递实验的成功率为94％,识别平均用时为0.28 s.结论:多级联深度学习处理器CYSP算法具有较好的可靠性和实用性,能有效辅助器械护士机器人完成手术器械识别及传递任务.