公开(公告)号：CN112967243A

公开(公告)日：2021-06-15

申请号：CN202110219336.7

申请日：2021-02-26

Applicant: 清华大学深圳国际研究生院

Inventor： 曾龙 ,  王宏羽 ,  杨凡 ,  王硕 ,  林宜龙 ,  刘飞

IPC: G06T7/00 ,  G06T7/13 ,  G06T7/136 ,  G06T7/62 ,  G06T7/73 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，包括如下步骤：第一步，采集得到芯片单元图像；第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；第三步，进行数据增强，制作用于训练的数据集；第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；第五步，使用预训练的参数作为初始权重，训练深度学习网络；第六步，使用训练好的网络进行预测，其中将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果。本发明对芯片裂纹类缺陷有良好的检测效果。

公开(公告)号：CN112967243B

公开(公告)日：2023-01-13

申请号：CN202110219336.7

申请日：2021-02-26

Applicant: 清华大学深圳国际研究生院(CN)

Inventor： 曾龙 ,  王宏羽 ,  杨凡 ,  王硕 ,  林宜龙 ,  刘飞

IPC: G06T7/00 ,  G06T7/13 ,  G06T7/136 ,  G06T7/62 ,  G06T7/73 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于YOLO的深度学习芯片封装裂纹缺陷检测方法，包括如下步骤：第一步，采集得到芯片单元图像；第二步，对采集的图像进行缺陷类别信息以及缺陷目标坐标的标注；第三步，进行数据增强，制作用于训练的数据集；第四步，基于YOLOv4网络构建缺陷检测所用的深度学习网络模型；第五步，使用预训练的参数作为初始权重，训练深度学习网络；第六步，使用训练好的网络进行预测，其中将待检测图片标准化处理后输入网络，得到网络head的输出，将head输出解码，采用优化非极大值抑制NMS过滤解码后的结果，得到网络预测结果；第七步，采用置信度阈值和裂纹边界阈值对所述第六步的网络预测结果进一步过滤，得到最终结果。本发明对芯片裂纹类缺陷有良好的检测效果。

公开(公告)号：CN212548294U

公开(公告)日：2021-02-19

申请号：CN202021169619.2

申请日：2020-06-22

Applicant: 清华大学深圳国际研究生院

Inventor： 曾龙 ,  陶佳琪 ,  王宏羽 ,  汪宇通 ,  刘冠宏 ,  石国昕

IPC: A63H33/04 ,  B25J9/16 ,  B25J19/04 ,  B25J11/00

Abstract: 本实用新型公开了一种基于3D视觉和机械臂的积木搭建互动系统，包括支座组件、控制组件、机械臂组件、3D视觉拍摄组件、积木组件、外部操控组件，积木组件设置在3D视觉拍摄组件能够拍摄的第一区域与机械臂组件能够抓取的第二区域的重叠区域内；3D视觉拍摄组件用于拍摄积木组件的位姿图片，外部操控组件用于接收操作者的操控指令，控制组件用于分别与3D视觉拍摄组件和外部操控组件连接以接收位姿图片和操控指令并用于根据位姿图片和操控指令生成搭建指令，机械臂组件用于与控制组件连接以接收搭建指令并用于根据搭建指令对积木组件进行抓取搭建。本实用新型具有很强的交互性和趣味性，还能减轻对专业操作人员的依赖。