-
公开(公告)号：CN117400242A
公开(公告)日：2024-01-16
申请号：CN202311390080.1
申请日：2023-10-23
IPC: B25J9/16
Abstract: 本发明公开了一种凝视引导的机器人交互式物品抓取方法、系统、设备及存储介质，所述方法包括以下步骤：(1)采用RGB‑D相机采集桌面物体场景图像，生成包括物体之间相对位置关系的树状结构描述；(2)在RGB‑D相机中采用几何特征方法计算人的头部姿态，在3D空间中估计人的视线向量；(3)计算人的视线沿长线与物体点云交汇情况，判断人的视线是否足够精确地选中某个物品；(4)生成包含物体及其相对位置关系的机器人输出语音提示，询问到底指代哪个物品，待人语音确认后最终锁定物体；(5)在RGB‑D点云中估计物体6D姿态，最终引导机器人完成抓取；本发明避免了仅靠视觉造成的锁定错误目标物品，锁定指代目标物体的效率更高。
-
公开(公告)号：CN117392493A
公开(公告)日：2024-01-12
申请号：CN202311372830.2
申请日：2023-10-23
Abstract: 本发明公开了一种融合凝视的视听协同物品指代表达理解与分割方法、系统、设备及存储介质，所述方法包括以下步骤：(1)通过对物品指代OCID‑Ref数据集进行预处理，构建指代意图欠明确表达的数据集OCID‑underRef；(2)构造凝视引导的视觉定位网络GVG；(3)在真实人机交互场景下通过部署凝视引导的视觉定位网络来实现交互式人机物品递送；本发明减轻了数据集采集与标注的人力工作量；能够在语言描述的物品指代意图欠明确的情况下，结合人的凝视注意力检测来克服不确定性，尽量避免了因物品指代意图模糊而造成的人机多次问答交互。
-
公开(公告)号：CN117260730A
公开(公告)日：2023-12-22
申请号：CN202311426975.6
申请日：2023-10-30
Abstract: 本发明涉及人机协同领域，公开一种人机物品交递意图预测方法，包括以下步骤：1)采集物品交递过程中的人机联合轨迹，划分空间子区域。2)训练三级核化运动基元模型。3)在预测阶段，通过相机采集含人脸部和桌面物品的场景图像，采用凝视估计网络预测凝视区域热力图，从凝视区域热力图中定位人注视的桌面某个物品。在被锁定物体上计算抓取姿态并变换到机械臂基坐标系下，控制机械臂抓取该物品。4)同时通过相机实时检测人手位置，采用训练好的三级核化运动基元模型来针对人手位置预测机械臂末端的响应位置，为机器人生成与人伸手动作当前位置及其趋势相协调的末端运动轨迹，从而完成机器人与人之间的交递动作。
-
公开(公告)号：CN117359626A
公开(公告)日：2024-01-09
申请号：CN202311386039.7
申请日：2023-10-23
IPC: B25J9/16
Abstract: 本发明涉及人机协同运动轨迹模仿学习领域，公开一种基于核化运动基元的人机协同铺盖轨迹模仿学习方法，包括以下步骤：1)采集人机协同铺盖过程中的人机联合示教轨迹，并进行预处理，从而构建训练样本。2)采用核化运动基元模型，在训练样本中学习人手位置与机械臂末端位置间的非线性关系。3)采用基于语义分割的织物抓取点检测方法识别并抓取布匹一角；4)在预测阶段，依据由RGB‑D相机检测获取的人手位置，实时地预测机械臂末端的响应位置，为机器人生成与人手当前位置及其运动趋势相协调的末端运动轨迹，从而完成人机协同铺盖动作。
-
公开(公告)号：CN118690584A
公开(公告)日：2024-09-24
申请号：CN202411163690.2
申请日：2024-08-23
Applicant: 之江实验室
IPC: G06F30/20
Abstract: 本发明公开了一种集群机器人围捕仿真验证平台及方法，该平台包括虚拟仿真环境层、控制算法层、通讯层；虚拟仿真环境层用于搭建虚拟围捕仿真平台环境，实现不同场景下的多机协同围捕可视化；控制算法层用于计算集群围捕场景机器人的运动控制计算；通讯层提供虚拟仿真环境与控制算法层的信息传输通道；集群机器人围捕仿真验证平台包含不同地图大小、随机障碍环境的可视化开发，同时包含围捕者与逃逸者两种机器人角色设定；实现多个围捕机器人对逃逸机器人的追捕。本发明公开的集群机器人围捕仿真验证平台具备场景生成自由度高、操作便捷、通信稳定、易于理解验证的优点，可以拓展应用至其他围捕算法的快速开发验证。
-
Patent Agency Ranking
公开(公告)号：CN114153943B
公开(公告)日：2024-05-17
申请号：CN202111384677.6
申请日：2021-11-22
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识图谱构建机器人行为树的系统及方法，系统包括：知识图谱及行为树，知识图谱通过一组有向连接的动作节点，根据AOG格式构建，动作节点包括动作类别及其对应的一组动作特征、动作作用对象，有向连接根据比对动作特征连接动作节点；行为树根据主谓宾结构的任务，将主语和宾语作为动作作用对象，将谓语分类到动作类别对应的一组动作特征，根据动作特征构建对应的行为，根据行为构建行为节点，并根据子动作节点有向连接调换行为树各行为节点的顺序；方法包括：S1，构建对象知识库；S2，构建动作知识库；S3，构建知识图谱；S4，构建行为树。
-
公开(公告)号：CN117873705A
公开(公告)日：2024-04-12
申请号：CN202311726226.5
申请日：2023-12-14
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于模型切割的任务执行方法、装置、介质及电子设备，其中，智能终端确定本地执行的目标任务以及执行所述目标任务所需的目标模型，并根据所述目标任务对应的任务相关信息以及所述目标模型的模型属性信息，确定所述目标任务的任务特征信息，进而将该任务特征信息发送到云服务器，以使得所述云服务器根据该任务特征信息，确定所述目标任务对应的提示信息，并将该提示信息输入预先部署的推理模型中，以根据所述推理模型输出的分割信息，构建执行切割所述目标模型的分割器，从而根据该分割器，对所述目标模型进行分割，获得各目标子模型，并将各目标子模型部署到各指定设备中，以通过部署后各目标子模型，执行所述目标任务。
-
公开(公告)号：CN117521011A
公开(公告)日：2024-02-06
申请号：CN202311542251.8
申请日：2023-11-16
Applicant: 之江实验室
IPC: G06F18/25 , G06F18/213 , G06F18/22 , G06V10/40 , G06V10/82 , G06F40/289 , G06N3/0455 , G06N3/0464
Abstract: 本说明书公开了一种基于语言指导采样的指代表达理解方法，可以获取包括图像、指代表达文本及指代表达文本对应指代目标的真实目标框的训练集，通过视觉特征编码器获取包含语义信息的多尺度视觉特征，通过语言特征编码器提取语言特征，根据语言特征，对多尺度视觉特征进行特征采样，得到采样后特征，将采样后特征与多尺度视觉特征进行融合，得到目标特征，根据语言特征以及目标特征，对指代表达文本所指代的图像中的位置进行预测，得到预测目标框，从而对整体的网络进行训练，本发明基于语言指导采样，在语言特征的指导下，能够自适应地采样与语言特征相关的视觉特征，从而提升指代表达理解网络的性能。
-
公开(公告)号：CN116795972B
公开(公告)日：2024-01-09
申请号：CN202311010097.X
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/211 , G06F40/289 , G06F18/214 , G06F40/30 , G06F18/25 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，将若干个独立表达句输入该模型的生成器，以得到融合句，并将该融合句加入训练数据集，将该训练数据集中的待判别句输入该模型的来源判别器，以确定待判别句是否为原始句的判别结果，根据该判别结果分别确定该来源判别器的来源判别损失及生成器的来源生成损失，根据该来源生成损失及该来源判别损失，对该模型进行训练，其中，该模型的生成器用于将回复用户的若干独立表达句进行融合。本方法通过对模型中的生成器和来源判别器进行对抗训练，以使生成器生成接近原始句的融合句，获得语序正常、内容衔接自然不生硬的句子，(56)对比文件Jiaxian Guo.Long Text Generation viaAdversarial Training with LeakedInformation.arXiv.2017,第1-14页.
-
公开(公告)号：CN115879421B
公开(公告)日：2024-01-09
申请号：CN202310120728.7
申请日：2023-02-16
Applicant: 之江实验室
IPC: G06F40/166 , G06F40/284 , G06F40/117 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种增强BART预训练任务的句子排序方法及装置，包括如下步骤：步骤1、从文本资源中提取有序的句子作为原始训练数据；步骤2、对原始训练数据进行预处理；步骤3、用预处理后的训练数据训练BART模型；步骤4、将待排序的句子输入到训练完成的模型中进行预测排序。设计词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务进一步增强BART模型对句子语义和句间关系的特征提取能力。设计的预训练任务是一种多任务学习的训练方法，也是一种位置可控的句子排序方法，将排序控制信息通过句子标签序列的形式加到输入字符串中，模
-
-
-
-
-
-
-
-
-
Search Results
208
records
(took 0.053 seconds)
