公开(公告)号：CN114549668B

公开(公告)日：2024-07-16

申请号：CN202210003452.X

申请日：2022-01-04

Applicant: 华南农业大学

Inventor： 熊俊涛 ,  陈淑绵 ,  焦镜棉 ,  谢志明 ,  霍钊威 ,  胡文馨 ,  韩咏林 ,  熊春源

IPC: G06T7/90 ,  G06T7/11 ,  G06T5/70 ,  G06N3/0464 ,  G06V10/46 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G01N21/84

Abstract: 本发明公开了一种基于视觉显著图的树上果实成熟度检测方法，先通过摄像机获取果树图像并使用YOLOv5目标检测算法识别树上的果实；利用YOLOv5输出的bounding box坐标，裁剪果实图像块并使用改进MSSS视觉显著性检测算法获取视觉显著性图像；将果实图像块和对应的视觉显著性图像串联为4维RGBS图像，利用图像分类网络ResNet34结合果实局部图像的RGB和显著性信息判定果实的成熟度类别。本发明的检测方法准确率和鲁棒性俱佳，适用于自然环境下存在场景复杂和光照多变的情况。

公开(公告)号：CN112136505B

公开(公告)日：2021-11-26

申请号：CN202010926985.6

申请日：2020-09-07

Applicant: 华南农业大学

Inventor： 熊俊涛 ,  陈淑绵 ,  钟灼 ,  李中行 ,  彭铭键 ,  焦镜棉 ,  张梓扬 ,  郑镇辉 ,  何康乐 ,  张建文 ,  刘柏林

IPC: A01D46/30 ,  A01D91/04 ,  G06T7/30 ,  G06T5/40 ,  G06T7/11 ,  G06T7/136 ,  G06T7/55 ,  G06T7/62 ,  G06T7/90 ,  G06K9/62 ,  G06K9/46 ,  G06T1/00

Abstract: 本发明公开了一种基于视觉选择注意机制的水果采摘顺序规划方法，包括果实图像采集与配准、果实视觉显著性计算、果实目标识别与分割、果实采摘决策属性分析，然后将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；再根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。本发明能够在能耗相对较低情况下采摘到质量更高的果实，对促进我国水果产业增产增收和自动采摘装备智能化具有实用意义。

公开(公告)号：CN113095279A

公开(公告)日：2021-07-09

申请号：CN202110467162.6

申请日：2021-04-28

Applicant: 华南农业大学

Inventor： 熊俊涛 ,  刘柏林 ,  杨洲 ,  丁允贺 ,  霍钊威 ,  谢志明 ,  焦镜棉 ,  郑镇辉 ,  钟灼 ,  翁健豪 ,  陈淑绵 ,  李洋

IPC: G06K9/00 ,  G06K9/34 ,  G06K9/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种果树花量智能视觉识别方法、装置、系统及存储介质，所述方法包括：获取多张果树花图像；对每张果树花图像进行去噪和标准化处理；利用训练好的深度卷积神经网络提取处理后的果树花图像中的果树花叶特征图；根据果树花叶特征图，生成果树花叶预测图，从而获得果树花叶分割图；根据果树花叶分割图，统计属于花的像素数以及属于叶子的像素数；根据花的像素数以及叶子的像素数，计算花的密度；将每张果树花图像中花的密度转换为模拟量。本发明可以为疏花设备提供视觉支持，辅助果农花期管理。

公开(公告)号：CN112136505A

公开(公告)日：2020-12-29

申请号：CN202010926985.6

申请日：2020-09-07

Applicant: 华南农业大学

Inventor： 熊俊涛 ,  陈淑绵 ,  钟灼 ,  李中行 ,  彭铭键 ,  焦镜棉 ,  张梓扬 ,  郑镇辉 ,  何康乐 ,  张建文 ,  刘柏林

IPC: A01D46/30 ,  A01D91/04 ,  G06T7/30 ,  G06T5/40 ,  G06T7/11 ,  G06T7/136 ,  G06T7/55 ,  G06T7/62 ,  G06T7/90 ,  G06K9/62 ,  G06K9/46 ,  G06T1/00

Abstract: 本发明公开了一种基于视觉选择注意机制的水果采摘顺序规划方法，包括果实图像采集与配准、果实视觉显著性计算、果实目标识别与分割、果实采摘决策属性分析，然后将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；再根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。本发明能够在能耗相对较低情况下采摘到质量更高的果实，对促进我国水果产业增产增收和自动采摘装备智能化具有实用意义。

公开(公告)号：CN110852186A

公开(公告)日：2020-02-28

申请号：CN201911003806.5

申请日：2019-10-22

Applicant: 华南农业大学

Inventor： 熊俊涛 ,  钟灼 ,  郑镇辉 ,  李中行 ,  卜榕彬 ,  陈淑绵

IPC: G06K9/00 ,  G06K9/34 ,  G06K9/46 ,  G06T17/00 ,  G06T19/00

Abstract: 本发明公开了一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统，是先采用图像深度分割子系统对树上柑橘进行图像分割，得到深度分割图像；然后采用向量机果实识别子系统对深度分割图像进行识别，得到不同描述信息，形成柑橘区域信息矩阵，获得图像中被正确识别的柑橘区域；再采用采摘顺序规划子系统对柑橘区域中的果实目标进行采摘顺序规划，得到树上柑橘的先后采摘序号，以引导采摘机械手有序采摘树上柑橘果实。本发明可以满足树上果实多目标采摘的精准性、有序性和实时性要求，有效缩短采摘机械手的运动距离，节约整体采摘时间。