公开(公告)号：CN119399676A

公开(公告)日：2025-02-07

申请号：CN202411970326.7

申请日：2024-12-30

Applicant: 鹏城实验室

Inventor： 林俊凡 ,  梁小丹 ,  林倞

IPC: G06V20/40 ,  G06V10/30 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提供了一种基于视频扩散模型的机器臂控制方法以及相关设备，包括：从机器臂动作视频中提取多个样本历史图像轨迹特征以及样本目标图像轨迹特征，进行噪声扩散，得到样本轨迹噪声扩散特征；基于样本历史图像轨迹特征和样本轨迹噪声扩散特征，以样本目标图像关联的噪声扩散特征为训练目标，对预设模型进行训练；将机器臂的当前图像轨迹特征输入至训练好的目标视频扩散模型，以获取扩散得到的多个预测噪声扩散特征，并通过目标视频扩散模型包含的多层级联的动作适配器基于多个预测噪声扩散特征进行特征融合，得到多个预测动作特征，以基于多个预测动作特征对应的动作控制信号进行机器臂控制，从而提高机械臂动作预测以及控制的准确性。