公开(公告)号：CN118505636A

公开(公告)日：2024-08-16

申请号：CN202410594691.6

申请日：2024-05-14

Applicant: 浙江大学

Inventor： 胡炳涛 ,  程鼎豪 ,  陈炀 ,  冯毅雄 ,  杨将新 ,  谭建荣

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/25 ,  G06F9/451 ,  G06N3/0464 ,  G06N3/0475 ,  G06V10/40 ,  G06T19/00 ,  G06V10/75 ,  G06T7/13

Abstract: 本发明公开了一种基于数字孪生和轻量级目标检测的人机交互装配方法。本发明建立了数字孪生驱动的人机交互装配操作方法，其通过视觉采集设备将物理空间和虚拟空间进行映射，将采集的图像传输给基于数字孪生的装配交互系统，通过添加了注意力机制的轻量级神经网络模型实现待装配零件的在线精准检测，再通过机器视觉算法实现零件装配几何参考特征的生成，然后基于数字孪生的装配交互系统输出待装配零件的分类识别结果和装配几何参考特征并显示在可视化交互界面中，最后操作者通过可视化交互界面中的显示结果对装置进行一一装配，直至完成整个装置的装配。本发明所提出的方法成本低，精度高，易于实现，对于人机交互装配过程的提质增效具有重要意义。