-
公开(公告)号：CN115761885B
公开(公告)日：2023-08-29
申请号：CN202211433310.3
申请日：2022-11-16
Applicant: 之江实验室
IPC: G06V40/20 , G06V10/42 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 一种共时与跨域异步融合驱动的行为识别方法，包括：获取多人人体彩色图像作为图像序列；从截取图像中估计二维人体姿态，计算二维人体姿态的关键点热图作为姿态序列；建立表观网络，以图像序列作为输入并提取图像特征；同时，建立姿态网络，以姿态序列作为输入并提取姿态特征；以图像特征和姿态特征作为输入，将图像特征和姿态特征进行缩放、对齐和融合；将融合后的图像特征和姿态特征归一化，拼接归一化后的双流特征得到全局特征，输入到分类器中求解概率最大的行为类别；采集多人人体彩色图像序列、二维人体姿态及其对应的类别标签作为训练数据集，对表观网络、姿态网络、共时缩放单元和跨域融合单元进行预训练优化。
-
公开(公告)号：CN116627637A
公开(公告)日：2023-08-22
申请号：CN202310556355.8
申请日：2023-05-17
Applicant: 之江实验室
Abstract: 一种基于云边端架构的机器人展厅场景的多终端任务协同方法和装置，该方法包括：获取用户以及当前场景的信息并上传到边缘端；在边缘端通过机器学习模型和知识库进行用户意图推理，生成待执行的任务信息数据、用户和场景相关的特征数据；根据上述数据在云端通过大语言模型进行机器人以及二级设备的协同运行决策；在边缘端获得云端决策结果生成指令统一下发至机器人，由机器人统一分发执行。本发明基于云边端系统架构，可以实现机器人在展厅导览场景中快速应答，并且和场景中多个设备相互之间智能联动的效果。
-
公开(公告)号：CN116502633A
公开(公告)日：2023-07-28
申请号：CN202310233068.3
申请日：2023-03-03
Applicant: 之江实验室
IPC: G06F40/279 , G06F40/216 , G06F16/28 , G06F16/36
Abstract: 本说明书公开了一种业务执行的方法、装置、存储介质及电子设备。首先，获取目标业务对应的待扩充知识图谱。其次，将待扩充知识图谱中的目标节点对应的实体名称输入到搜索引擎中，得到目标节点对应的文本数据以及图像数据。而后，将目标节点对应的文本数据输入到预先训练的第一识别模型中，确定文本数据的三元组信息，以及将目标节点对应的图像数据输入到预先训练的第二识别模型中，确定图像数据的三元组信息。最后，基于文本数据的三元组信息以及图像数据的三元组信息，在待扩充知识图谱扩充目标节点与其他节点之间的实体关系，以得到目标知识图谱，并通过目标知识图谱，执行目标业务。本方法可以提高业务执行的准确性。
-
公开(公告)号：CN116069040B
公开(公告)日：2023-07-14
申请号：CN202310202448.0
申请日：2023-03-06
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本发明公开一种管道曲面约束的爬壁机器人路径规划方法和装置，该方法包括：步骤1，获取代表管道场景的全局静态地图的设计图纸，建立管道壁面三角网格地图；步骤2，对三角网格地图进行预处理，利用快速行进算法，计算各点到终点的测地线距离；步骤3，采用测地线距离作为三角网格地图上两点间距离的度量，并用作变体A*路径搜索算法的启发函数，进行寻路，获得路径点序列；步骤4，在三角网格地图的局部三角面片上执行连续向量场梯度计算，获得路径点之间的平滑轨迹。本发明能够在管道壁面等曲面场景中快速启发、引导路径搜索指向目标点，同时保证规划的连续路径满足爬壁机器人运动学约束，降低失效风险，获得更加可行的全局路径。
-
公开(公告)号：CN115857516B
公开(公告)日：2023-07-14
申请号：CN202310191246.0
申请日：2023-03-02
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本发明公开一种结合牛耕式运动与遗传算法的全覆盖路径规划方法和装置，该方法包括：步骤一，对环境地图进行障碍物膨化处理，生成栅格地图；步骤二，在确定完机器人在环境地图的任务目标区域后，对栅格地图进行编码处理；步骤三，采用传统的牛耕式运动方式进行运动，生成代表机器人移动路径的多条初代染色体，作为遗传算法的初代种群；步骤四，对生成的多条初代染色体进行选择操作，并采用轮盘赌的方式生成下一代种群；步骤五，对生成的下一代种群进行交叉和变异操作，后重复步骤四至步骤五，进行种群代数优化，当种群代数达到最大值后，获得最终规划路径。本发明能够有效解决机器人在储罐、桥梁上探伤、除锈等诸多任务场景。
-
Patent Agency Ranking
公开(公告)号：CN116402164A
公开(公告)日：2023-07-07
申请号：CN202310658638.3
申请日：2023-06-06
Applicant: 之江实验室
Abstract: 本发明涉及一种基于预训练语言模型的机器人任务生成方法、装置及介质，所述方法包括以下步骤：基于预先设计的Prompt模板，添加所述自然语言文本和场景感知描述文本，生成输入数据；基于输入数据采用预训练语言模型获得对应的预测结果列表，抽取推理结果语言描述列表；获取机器人技能列表，将推理结果语言描述列表与机器人技能列表进行对比分析；以机器人技能列表中相似度最大的一个机器人技能作为当前机器人推理决策结果；判断是否推理结束，若是，则以当前未完成的机器人技能作为机器人任务输出，若否，则将当前机器人推理决策结果更新到Prompt模板中。与现有技术相比，本发明具有操作性更强、方便易用等优点。
-
公开(公告)号：CN116330306A
公开(公告)日：2023-06-27
申请号：CN202310631265.0
申请日：2023-05-31
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本说明书公开了一种物体的抓取方法、装置、存储介质及电子设备，预先建立通用模型库，获取目标物体的深度图像及普通图像，以确定该目标物体的特征，根据该目标物体的特征，在预先建立的通用模型库中确定出与该目标物体匹配的通用模型，作为目标通用模型，根据该目标物体的特征及该目标通用模型，建立该目标物体的三维点云模型，以确定该目标物体的姿态，再根据该姿态及该三维点云模型，确定该目标物体的抓取点，根据该抓取点控制抓取设备抓取该目标物体。本方法通过目标物体的不同类型的图像，确定目标物体的特征，根据该特征及目标通用模型确定目标物体的姿态，以确定抓取点，根据该抓取点抓取目标物体，提高了抓取未知物体的准确性和稳定性。
-
公开(公告)号：CN116188971A
公开(公告)日：2023-05-30
申请号：CN202211613095.5
申请日：2022-12-15
Applicant: 之江实验室
Abstract: 本发明涉及一种机器人物体识别方法、装置及存储介质，所述方法包括以下步骤：获取机器人视野范围内的环境感知图像，该环境感知图像包含图像信息和深度信息；基于所述图像信息和深度信息对所述环境感知图像进行图像分割处理，将环境感知图像分割为多个物体，形成图像输入信息；从预先构建的物体类型库中选择可能的物体语义标签，接收设计的prompt模板，将所述prompt模板与所述物体语义标签结合为语言输入信息；将所述图像输入信息和语言输入信息作为一经训练的视觉语言预训练模型的输入，获得相似性矩阵，该相似性矩阵表示图像与文本之间的相似度；基于所述相似性矩阵实现物体识别。与现有技术相比，本发明具有方便、识别可靠性高等优点。
-
公开(公告)号：CN116069040A
公开(公告)日：2023-05-05
申请号：CN202310202448.0
申请日：2023-03-06
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本发明公开一种管道曲面约束的爬壁机器人路径规划方法和装置，该方法包括：步骤1，获取代表管道场景的全局静态地图的设计图纸，建立管道壁面三角网格地图；步骤2，对三角网格地图进行预处理，利用快速行进算法，计算各点到终点的测地线距离；步骤3，采用测地线距离作为三角网格地图上两点间距离的度量，并用作变体A*路径搜索算法的启发函数，进行寻路，获得路径点序列；步骤4，在三角网格地图的局部三角面片上执行连续向量场梯度计算，获得路径点之间的平滑轨迹。本发明能够在管道壁面等曲面场景中快速启发、引导路径搜索指向目标点，同时保证规划的连续路径满足爬壁机器人运动学约束，降低失效风险，获得更加可行的全局路径。
-
公开(公告)号：CN115512003B
公开(公告)日：2023-04-28
申请号：CN202211430055.7
申请日：2022-11-16
Applicant: 之江实验室
IPC: G06T11/20 , G06V10/774 , G06V10/764 , G06V10/74 , G06T7/73
Abstract: 本发明属于计算机视觉领域，涉及一种独立关系检测的场景图生成方法和系统，该方法包括：步骤一，建立独立关系检测模型；步骤二，利用图像、图像对应的关系标签以及预定义方向锚训练所述独立关系检测模型，得到训练好的独立关系检测模型；步骤三，使用训练好的独立关系检测模型，输入图像和预定义方向锚，输出图像中存在的关系，对其中相似的关系采用相似关系抑制算法进行抑制；步骤四，同时将通过目标检测算法检测得到的物体包围框与所述输出图像中存在的关系的关系起始点和关系末端点进行位置匹配，得到 的三元组，构成场景图。本发明在不依靠目标检测结果的情况下就能对图像中的关系进行检测，提升了场景图生成的运算速度。
-
-
-
-
-
-
-
-
-
Search Results
208
records
(took 0.054 seconds)
