基于动作与其共现特征重组的时序动作定位方法及系统

    公开(公告)号:CN114429609B

    公开(公告)日:2024-08-09

    申请号:CN202210102806.6

    申请日:2022-01-27

    Abstract: 本发明公开了一种基于动作与其共现特征重组的时序动作定位方法及系统,所述方法包括以下步骤:获取待时序动作定位的原始视频序列,分解为若干个视频片段并编码,获得编码后的视频特征序列;基于所述编码后的视频特征序列,通过预训练好的特征重组网络对原始视频特征序列进行特征重组,获得特征重组后的视频特征序列;其中,所述特征重组网络包括串接的特征解耦子网络和特征重构子网络,用于解纠缠动作特征向量并规则化共现特征向量;基于所述特征重组后的视频特征序列,获得时序动作定位结果。本发明中,首次提出对视频特征重构,以获得包含显著动作信息的新的视频特征,能够准确地分类动作和精确地检测动作边界。

    基于动作三元组引导的时序动作定位方法、系统、设备及介质

    公开(公告)号:CN113569758A

    公开(公告)日:2021-10-29

    申请号:CN202110866995.X

    申请日:2021-07-29

    Abstract: 本发明公开了一种基于动作三元组引导的时序动作定位方法、系统、设备及介质,所述方法包括以下步骤:基于动作开始位置集合、动作中心位置集合和动作结束位置集合,获得候选动作提案集合;其中,所述候选动作提案集合中每个提案生成的具体操作包括:从动作开始位置集合中选取动作开始位置,从动作中心位置集合中选取动作中心位置,从动作结束位置集合中选取动作结束位置;将选取的动作开始位置、动作中心位置和动作结束位置连接形成提案;获取所述候选动作提案集合中每个提案的提案特征;基于每个提案的提案特征,通过预训练好的分类器和回归器预测类别和边界偏移,获得时序动作定位结果。本发明能够实现更精确的动作定位。

    基于对偶关系网络的时序动作定位方法、系统、设备及介质

    公开(公告)号:CN113569755A

    公开(公告)日:2021-10-29

    申请号:CN202110866978.6

    申请日:2021-07-29

    Abstract: 本发明公开了一种基于对偶关系网络的时序动作定位方法、系统、设备及介质,所述方法包括以下步骤:将待时序动作定位的原始视频序列分解为若干个视频片段并编码,获得编码后的视频特征序列;基于编码后的视频特征序列,获得候选的动作提案集合;利用预训练好的对偶关系网络对所述候选的动作提案集合中的每个提案进行信息更新,获得提案信息更新后的动作提案集合;基于所述提案信息更新后的动作提案集合,获得时序动作定位结果。本发明中,首次提出建模并推理动作提案之间的关系以及动作提案与全局上下文之间的关系,以丰富和补充动作提案表征,进而准确地分类动作和精确地检测动作边界。

    基于动作三元组引导的时序动作定位方法、系统、设备及介质

    公开(公告)号:CN113569758B

    公开(公告)日:2024-04-02

    申请号:CN202110866995.X

    申请日:2021-07-29

    Abstract: 本发明公开了一种基于动作三元组引导的时序动作定位方法、系统、设备及介质,所述方法包括以下步骤:基于动作开始位置集合、动作中心位置集合和动作结束位置集合,获得候选动作提案集合;其中,所述候选动作提案集合中每个提案生成的具体操作包括:从动作开始位置集合中选取动作开始位置,从动作中心位置集合中选取动作中心位置,从动作结束位置集合中选取动作结束位置;将选取的动作开始位置、动作中心位置和动作结束位置连接形成提案;获取所述候选动作提案集合中每个提案的提案特征;基于每个提案的提案特征,通过预训练好的分类器和回归器预测类别和边界偏移,获得时序动作定位结果。本发明能够实现更精确的动作定位。

    基于三视角策略扩散场的机器人动作生成方法及相关装置

    公开(公告)号:CN120056126A

    公开(公告)日:2025-05-30

    申请号:CN202510454796.6

    申请日:2025-04-11

    Abstract: 本发明属于机器人感知、决策与控制领域,公开了一种基于三视角策略扩散场的机器人动作生成方法及相关装置;所述机器人动作生成方法包括:获取任务指令和机器人观测的多视角RGB‑D图像;利用预先训练好的动作生成模型进行动作生成,获得机器人动作分布;所述动作生成模型包括:三视角投影模块,用于输入多视角RGB‑D图像并进行三视角特征映射处理,获得三视角特征;三视角变换器模块,用于输入三视角特征和任务指令并进行特征融合处理,获得融合后三视角特征;去噪网络模块,用于输入融合后三视角特征并进行逐步去噪处理,获得机器人动作分布。本发明技术方案解决了现有技术方案在感知精度、计算效率和动作生成速度等方面存在的技术问题。

    一种机器人动作生成方法及相关装置

    公开(公告)号:CN119897865A

    公开(公告)日:2025-04-29

    申请号:CN202510284999.5

    申请日:2025-03-11

    Abstract: 本发明属于机器人操作与控制技术领域,公开了一种机器人动作生成方法及相关装置;其中,所述机器人动作生成方法包括:获取任务指令以及待操作机器人当前时刻的本体感知、多视角RGB‑D图像;基于获取的任务指令、本体感知以及多视角RGB‑D图像,利用训练好的区域流匹配模型进行动作生成,获得待操作机器人下一时刻的动作位姿;所述区域流匹配模型包括:用于获取多模态编码特征的特征编码模块,用于获取融合后特征的多模态信息融合模块,以及用于采用条件流匹配方法进行动作生成的动作生成模块。本发明技术方案,能够解决现有技术存在的计算效率低、感知精度不足以及动作生成速度慢等技术问题。

    一种半监督时序动作定位系统、方法、设备及介质

    公开(公告)号:CN118334550A

    公开(公告)日:2024-07-12

    申请号:CN202410429648.4

    申请日:2024-04-10

    Inventor: 王乐 夏锟 周三平

    Abstract: 本发明属于计算机视觉与模式识别技术领域,公开了一种半监督时序动作定位系统、方法、设备及介质;其中,所述半监督时序动作定位系统包括:视频特征序列获取模块,用于将待时序动作定位的原始视频序列分解为若干个视频片段并编码,获得编码后的视频特征序列;动作定位模块,用于根据编码后的视频特征序列,利用训练好的时序动作检测器进行检测,获得时序动作定位检测结果;其中,时序动作定位检测结果包括动作的开始时间、结束时间和类别。本发明公开的技术方案中,针对非目标类别,划分正类别子空间和负类别子空间,再分别利用正学习损失函数和负学习损失函数学习非目标类别中的有价值的语义信息,两个互补的学习过程能够使时序动作检测器更好地区分具有相似语义信息的不同类别的动作,进而能够提升半监督时序动作定位的分类、定位结果的准确性。

Patent Agency Ranking