公开(公告)号：CN120029127A

公开(公告)日：2025-05-23

申请号：CN202510073270.3

申请日：2025-01-16

Applicant: 鹏城实验室

Inventor： 蔡畅 ,  徐文君 ,  张雅展 ,  刘凌波 ,  林倞

IPC: G05B19/042

Abstract: 本申请实施例提供智能设备的控制方法、装置、设备和存储介质，涉及智能控制技术领域。该方法将目标任务输入语言规划大模型进行任务规划，得到执行动作序列，然后逐一将执行元动作映射到基础技能序列中对应的基础执行技能得到首层技能映射结果；再逐一将基础执行技能映射到至少一个底层控制技能，得到首层技能映射结果对应的底层技能映射结果，最后根据底层技能映射结果生成智能设备针对目标任务的目标执行指令。通过这种层层递进的拆解方式，实现基于大模型的行动规划过程与智能设备具体操控过程的解耦，无需依赖复杂的模型架构来完成所有规划流程，后续的映射和分解过程可基于低算力的匹配算法实现，简化智能设备的算力需求，降低训练成本。

公开(公告)号：CN119399676A

公开(公告)日：2025-02-07

申请号：CN202411970326.7

申请日：2024-12-30

Applicant: 鹏城实验室

Inventor： 林俊凡 ,  梁小丹 ,  林倞

IPC: G06V20/40 ,  G06V10/30 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提供了一种基于视频扩散模型的机器臂控制方法以及相关设备，包括：从机器臂动作视频中提取多个样本历史图像轨迹特征以及样本目标图像轨迹特征，进行噪声扩散，得到样本轨迹噪声扩散特征；基于样本历史图像轨迹特征和样本轨迹噪声扩散特征，以样本目标图像关联的噪声扩散特征为训练目标，对预设模型进行训练；将机器臂的当前图像轨迹特征输入至训练好的目标视频扩散模型，以获取扩散得到的多个预测噪声扩散特征，并通过目标视频扩散模型包含的多层级联的动作适配器基于多个预测噪声扩散特征进行特征融合，得到多个预测动作特征，以基于多个预测动作特征对应的动作控制信号进行机器臂控制，从而提高机械臂动作预测以及控制的准确性。