公开(公告)号：CN118736481A

公开(公告)日：2024-10-01

申请号：CN202410674484.1

申请日：2024-05-28

Applicant: 南京工业大学

Inventor： 梅雪 ,  周创 ,  吴文源 ,  何毅 ,  刘芃 ,  李腾 ,  唐钺梦 ,  许恒玮 ,  赵文成

IPC: G06V20/52 ,  G06V20/40 ,  G06V10/774 ,  G06V10/44 ,  G06V10/80 ,  G06V20/60 ,  G06V40/10 ,  G06V10/46 ,  G06V10/82

Abstract: 本发明申请提供一种实验室场景下，化学实验操作的规范性评判方法及系统，包括：采集多视角多场景规范操作视频与实验仪器、器皿图片，制作数据集并训练识别模型；将完整视频流划分为多个实验阶段，并得到实际实验操作的顺序，根据实验标准操作流程顺序评判流程规范性，得到第一评判结果；确定实验子流程中的实验操作持续时间，确定手部相对实验仪器的抓握位置，根据操作持续时间和操作仪器的抓握位置进行规范性评判，得到第二评判结果；提取手部骨骼关键点，利用模型分类得到动作类别，并对手部细节操作动作进行规范性评价，得到第三评判结果；对多个评判过程依次获取评判结果，并根据多个评判结果综合得出整体操作评价。通过本申请，能够对实验漏操作、误操作、操作顺序错误进行自动识别，提高实验操作规范性评判的效率和监管能力。