公开(公告)号：CN114581684B

公开(公告)日：2024-06-18

申请号：CN202210044291.9

申请日：2022-01-14

Applicant: 山东大学

Inventor： 张伟 ,  张钰荻 ,  钟方威 ,  宋然 ,  王亦洲

IPC: G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于语义时空表示学习的主动目标跟踪方法、系统及设备，属于计算机视觉技术领域，获取目标者的二维位置图像，并对深度图像进行全局非线性映射；提取目标者的二维位置图像的语义知识，提取全局非线性映射后的深度图像的空间知识；将语义知识和空间知识进行融合，得到目标者当前状态的估计；根据目标者当前状态的估计，获取目标者跟踪控制策略。本发明可以对三维场景的语义、空间和时间知识实现共同理解；将目标者图像和深度图像的二维位置作为输入，增强和融合了多模态知识，不同模态的特征被增强并集成，生成了用于相机控制的可靠的控制策略，提高了模型的感知能力，有利于避障，当遮挡目标和被遮挡的对象具有相似的RGB外观时，保证了可靠的跟踪性能。

公开(公告)号：CN114581684A

公开(公告)日：2022-06-03

申请号：CN202210044291.9

申请日：2022-01-14

Applicant: 山东大学

Inventor： 张伟 ,  张钰荻 ,  钟方威 ,  宋然 ,  王亦洲

IPC: G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于语义时空表示学习的主动目标跟踪方法、系统及设备，属于计算机视觉技术领域，获取目标者的二维位置图像，并对深度图像进行全局非线性映射；提取目标者的二维位置图像的语义知识，提取全局非线性映射后的深度图像的空间知识；将语义知识和空间知识进行融合，得到目标者当前状态的估计；根据目标者当前状态的估计，获取目标者跟踪控制策略。本发明可以对三维场景的语义、空间和时间知识实现共同理解；将目标者图像和深度图像的二维位置作为输入，增强和融合了多模态知识，不同模态的特征被增强并集成，生成了用于相机控制的可靠的控制策略，提高了模型的感知能力，有利于避障，当遮挡目标和被遮挡的对象具有相似的RGB外观时，保证了可靠的跟踪性能。