-
公开(公告)号:CN113963044B
公开(公告)日:2024-04-30
申请号:CN202111160228.3
申请日:2021-09-30
Applicant: 北京工业大学
IPC: G06T7/50 , G06T7/80 , G06V10/762 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , B25J9/16
Abstract: 本发明公开了一种基于RGBD相机的货物箱智能装载方法及系统,首先通过RGBD相机采集待装载和目标区域货物箱的颜色和深度信息,生成RGB图像和深度图,并进行相机标定;根据得到的相机内外参,将深度图转化为点云,并对RGB图像和点云进行数据增强;将增强后的RGB图像和点云数据输入到改进版的3D目标检测网络中,检测出每个货物箱的位置和尺寸大小,生成带有中心位置坐标和尺寸大小的三维检测框信息;将得到的货物箱的位置和尺寸信息以及目标区域已装载货物箱装载信息输入到基于强化学习的装载策略生成网络中,生成所有待摆放的货物箱的摆放顺序,并根据摆放顺序生成货物箱的最优摆放位置,形成最终的摆放策略;根据摆放策略计算机械臂的偏转位移和旋转角度,控制机械臂对货物箱进行装载。
-
公开(公告)号:CN114332723A
公开(公告)日:2022-04-12
申请号:CN202111669113.7
申请日:2021-12-31
Applicant: 北京工业大学
Abstract: 本发明公开了基于语义指导的视频行为检测方法,通过特征的下采样来扩大时间感受野,并将线性插值用于上采样环节,从而得到视频时序上的粗略语义信息,用于指导时间卷积模型的输出;同时对模型的主干网络使用参数共享结构,将网络分为了三部分:生成粗略预测、细化和最终预测,以实现网络层数与参数量的最佳搭配;针对模型的时间建模能力,本发明提供了一种不需人工标注的视频速度预测的自监督辅助任务,可通过随机采样率的变换来模拟视频的播放速度,以辅助主干网络生成质量更高的预测。本发明主要针对以人为主体的视频,具有参数量低、精度高,方便对长视频进行操作等特点;对于无人的视频,本发明根据转场对视频进行分割。
-
公开(公告)号:CN113963044A
公开(公告)日:2022-01-21
申请号:CN202111160228.3
申请日:2021-09-30
Applicant: 北京工业大学
IPC: G06T7/50 , G06T7/80 , G06V10/762 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08 , B25J9/16
Abstract: 本发明公开了一种基于RGBD相机的货物箱智能装载方法及系统,首先通过RGBD相机采集待装载和目标区域货物箱的颜色和深度信息,生成RGB图像和深度图,并进行相机标定;根据得到的相机内外参,将深度图转化为点云,并对RGB图像和点云进行数据增强;将增强后的RGB图像和点云数据输入到改进版的3D目标检测网络中,检测出每个货物箱的位置和尺寸大小,生成带有中心位置坐标和尺寸大小的三维检测框信息;将得到的货物箱的位置和尺寸信息以及目标区域已装载货物箱装载信息输入到基于强化学习的装载策略生成网络中,生成所有待摆放的货物箱的摆放顺序,并根据摆放顺序生成货物箱的最优摆放位置,形成最终的摆放策略;根据摆放策略计算机械臂的偏转位移和旋转角度,控制机械臂对货物箱进行装载。
-
公开(公告)号:CN114332723B
公开(公告)日:2024-03-22
申请号:CN202111669113.7
申请日:2021-12-31
Applicant: 北京工业大学
IPC: G06V20/40 , G06V10/82 , G06N3/0464 , G06N3/084 , G06V40/20
Abstract: 本发明公开了基于语义指导的视频行为检测方法,通过特征的下采样来扩大时间感受野,并将线性插值用于上采样环节,从而得到视频时序上的粗略语义信息,用于指导时间卷积模型的输出;同时对模型的主干网络使用参数共享结构,将网络分为了三部分:生成粗略预测、细化和最终预测,以实现网络层数与参数量的最佳搭配;针对模型的时间建模能力,本发明提供了一种不需人工标注的视频速度预测的自监督辅助任务,可通过随机采样率的变换来模拟视频的播放速度,以辅助主干网络生成质量更高的预测。本发明主要针对以人为主体的视频,具有参数量低、精度高,方便对长视频进行操作等特点;对于无人的视频,本发明根据转场对视频进行分割。
-
公开(公告)号:CN113536035A
公开(公告)日:2021-10-22
申请号:CN202110463603.5
申请日:2021-04-27
Applicant: 北京工业大学
IPC: G06F16/738 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括:针对监控视频,每隔一定的时间抽取帧,并使用卷积神经网络提取得到视频帧组的视觉特征组;使用图像直方图找到视频帧组断点以设置聚群数量,对视频帧组进行分类;利用聚类得到的视频帧组聚群,分聚群进行备选帧的筛选;计算每个聚群的所有备选帧的代表性得分;计算每个聚群的特异性得分;根据特异性得分高低舍弃一部分聚群,剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧,并按其在原始视频的时序进行排列生成视频摘要。
-
公开(公告)号:CN113536035B
公开(公告)日:2024-06-25
申请号:CN202110463603.5
申请日:2021-04-27
Applicant: 北京工业大学
IPC: G06V20/40 , G06V10/762 , G06V10/56 , G06V10/50 , G06V10/82 , G06V20/52 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括:针对监控视频,每隔一定的时间抽取帧,并使用卷积神经网络提取得到视频帧组的视觉特征组;使用图像直方图找到视频帧组断点以设置聚群数量,对视频帧组进行分类;利用聚类得到的视频帧组聚群,分聚群进行备选帧的筛选;计算每个聚群的所有备选帧的代表性得分;计算每个聚群的特异性得分;根据特异性得分高低舍弃一部分聚群,剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧,并按其在原始视频的时序进行排列生成视频摘要。
-
-
-
-
-