-
公开(公告)号:CN114581684A
公开(公告)日:2022-06-03
申请号:CN202210044291.9
申请日:2022-01-14
Applicant: 山东大学
Abstract: 本发明提供一种基于语义时空表示学习的主动目标跟踪方法、系统及设备,属于计算机视觉技术领域,获取目标者的二维位置图像,并对深度图像进行全局非线性映射;提取目标者的二维位置图像的语义知识,提取全局非线性映射后的深度图像的空间知识;将语义知识和空间知识进行融合,得到目标者当前状态的估计;根据目标者当前状态的估计,获取目标者跟踪控制策略。本发明可以对三维场景的语义、空间和时间知识实现共同理解;将目标者图像和深度图像的二维位置作为输入,增强和融合了多模态知识,不同模态的特征被增强并集成,生成了用于相机控制的可靠的控制策略,提高了模型的感知能力,有利于避障,当遮挡目标和被遮挡的对象具有相似的RGB外观时,保证了可靠的跟踪性能。
-
公开(公告)号:CN115439510B
公开(公告)日:2023-02-28
申请号:CN202211388347.9
申请日:2022-11-08
Applicant: 山东大学
IPC: G06T7/246 , G06T7/90 , G06N3/0464 , G06N3/092 , G06N3/094
Abstract: 本发明公开的一种基于专家策略指导的主动目标跟踪方法及系统,属于主动目标追踪技术领域,包括:获取场景观测图像、场景地图和智能体位姿;根据场景地图和智能体位姿,获得每个智能体的局部地图和每个局部地图中所有智能体运动轨迹,作为第一训练数据;将第一训练数据分别输入专家跟踪器和专家目标对象中,由专家目标对象和专家跟踪器进行对抗强化学习,通过专家跟踪器输出建议动作;将场景观测图像输入学生跟踪器中,将建议动作作为场景观测图像的标签对学生跟踪器进行训练,获得训练好的学生跟踪器;利用训练好的学生跟踪器对获取的场景实时图像进行识别,获得智能体决策动作。实现了对目标的准确追踪。
-
公开(公告)号:CN114581684B
公开(公告)日:2024-06-18
申请号:CN202210044291.9
申请日:2022-01-14
Applicant: 山东大学
IPC: G06V10/74 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于语义时空表示学习的主动目标跟踪方法、系统及设备,属于计算机视觉技术领域,获取目标者的二维位置图像,并对深度图像进行全局非线性映射;提取目标者的二维位置图像的语义知识,提取全局非线性映射后的深度图像的空间知识;将语义知识和空间知识进行融合,得到目标者当前状态的估计;根据目标者当前状态的估计,获取目标者跟踪控制策略。本发明可以对三维场景的语义、空间和时间知识实现共同理解;将目标者图像和深度图像的二维位置作为输入,增强和融合了多模态知识,不同模态的特征被增强并集成,生成了用于相机控制的可靠的控制策略,提高了模型的感知能力,有利于避障,当遮挡目标和被遮挡的对象具有相似的RGB外观时,保证了可靠的跟踪性能。
-
公开(公告)号:CN115439510A
公开(公告)日:2022-12-06
申请号:CN202211388347.9
申请日:2022-11-08
Applicant: 山东大学
Abstract: 本发明公开的一种基于专家策略指导的主动目标跟踪方法及系统,属于主动目标追踪技术领域,包括:获取场景观测图像、场景地图和智能体位姿;根据场景地图和智能体位姿,获得每个智能体的局部地图和每个局部地图中所有智能体运动轨迹,作为第一训练数据;将第一训练数据分别输入专家跟踪器和专家目标对象中,由专家目标对象和专家跟踪器进行对抗强化学习,通过专家跟踪器输出建议动作;将场景观测图像输入学生跟踪器中,将建议动作作为场景观测图像的标签对学生跟踪器进行训练,获得训练好的学生跟踪器;利用训练好的学生跟踪器对获取的场景实时图像进行识别,获得智能体决策动作。实现了对目标的准确追踪。
-
-
-