-
公开(公告)号:CN114723055A
公开(公告)日:2022-07-08
申请号:CN202210201643.7
申请日:2022-03-03
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识图谱推理机器人行为链路的方法,涉及人工智能机器人任务行为规划、知识图谱领域。本发明方法首先构建三元组知识图谱,再构建机器人本体知识图谱;然后根据构建的三元组知识图谱和机器人本体知识图谱规划行为树链路,得到完整的机器人行为目标;再根据行为树链路,获得所有路径;然后根据机器人能够执行的动作进行筛选路径,并对筛选后的链路进行排序;最后利用排序后的链路完成机器人行为链路规划。本发明方法将机器人行为控制问题转化为知识图谱求解问题。
-
公开(公告)号:CN114387612A
公开(公告)日:2022-04-22
申请号:CN202111407271.5
申请日:2021-11-24
Applicant: 之江实验室
IPC: G06V40/10 , G06V10/56 , G06V10/774 , G06V10/764 , G06V10/80 , G06K9/62
Abstract: 本发明公开了一种基于双模态特征融合网络的人体重识别方法及装置,该方法包括:获取待识别人体的彩色图像及对应的其他模态图像;将所述彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络,提取所述待识别人体的特征;将所述待识别人体的特征与人体图像库的特征进行对比,得到所述待识别人体的识别结果。本发明针对人体重识别问题,将待识别人体的彩色图像及对应的其他模态图像输入训练好的双模态特征融合网络,进行特征提取,提取到的特征信息量相对于根据单一模态图像提取的特征更加丰富,从而使得所进行的人体重识别的准确度相较于根据单一模态图像进行的人体重识别也更高。
-
公开(公告)号:CN113989333A
公开(公告)日:2022-01-28
申请号:CN202111457064.0
申请日:2021-11-29
Applicant: 之江实验室
Abstract: 本发明涉及行人跟踪领域,尤其涉及一种基于人脸和头肩信息的行人跟踪的方法,包括:步骤一,获取机器人上摄像头的图像,对图像中人进行头肩检测,提取头肩检测框,并且提取头肩特征;步骤二,利用步骤一中的头肩检测框,裁剪出头肩图像,进行人脸检测,得到人脸检测框,再提取人脸特征;步骤三,利用步骤一和步骤二中获取的当前帧的行人的信息,将当前帧行人与历史中行人进行关联;步骤四,利用步骤三中的关联结果,更新历史中行人的信息。本发明相对于其它单一特征的在线行人跟踪方法,本发明能够降低丢失目标风险,提高了丢失找回能力,降低身份跳变率。
-
公开(公告)号:CN112611384A
公开(公告)日:2021-04-06
申请号:CN202011409790.0
申请日:2020-12-03
Applicant: 之江实验室
IPC: G01C21/20
Abstract: 本申请公开了一种在NLOS场景下UWB与激光融合的机器人定位方法及装置。该方法在复杂室内环境下的UWB定位系统中,针对NLOS导致UWB定位不准确的情况。根据地图和基站位置等先验信息,通过上一时刻定位结果,选择出得到没有遮挡的基站数据进行定位计算,之后与激光进行EKF数据融合定位。相对于其他滤波或补偿的方法,本方法计算简单也更为精确,并具有更高的时效性及应用普适性。
-
公开(公告)号:CN112289239B
公开(公告)日:2021-03-30
申请号:CN202011582434.9
申请日:2020-12-28
Applicant: 之江实验室
Abstract: 本发明公开了一种可动态调整的讲解方法、装置及电子设备,包括:将讲解词转换成讲解文本图;获取观众的视频和音频,识别观众的行为和参与度;依据观众的行为动态控制讲解文本图的执行过程;依据观众的参与度动态调整讲解文本图的执行路径。本发明提升了使用电子设备进行自动讲解时的灵活性,实现依据讲解过程中观众的行为和参与度对讲解过程和内容进行动态的调整。
-
公开(公告)号:CN112289239A
公开(公告)日:2021-01-29
申请号:CN202011582434.9
申请日:2020-12-28
Applicant: 之江实验室
Abstract: 本发明公开了一种可动态调整的讲解方法、装置及电子设备,包括:将讲解词转换成讲解文本图;获取观众的视频和音频,识别观众的行为和参与度;依据观众的行为动态控制讲解文本图的执行过程;依据观众的参与度动态调整讲解文本图的执行路径。本发明提升了使用电子设备进行自动讲解时的灵活性,实现依据讲解过程中观众的行为和参与度对讲解过程和内容进行动态的调整。
-
公开(公告)号:CN114356078B
公开(公告)日:2024-03-19
申请号:CN202111539274.4
申请日:2021-12-15
Applicant: 之江实验室
IPC: G06F3/01
Abstract: 本发明涉及人工智能机器人行为交互领域,具体涉及一种基于注视目标的人物意图检测方法、装置及电子设备,该方法包括:利用机器人上的深度摄像头获取到彩色图像和深度图,通过注视目标估计方法在彩色图像中估计出人物的注视目标点,通过目标检测方法在彩色图像中检测出通用目标的包围框,将人物的注视目标点与通用目标相关联,得到彩色图像中的注视目标物体;利用深度图和机器人位姿坐标计算出机器人当前位置下的可观测到的点云,彩色图像中的注视目标物体映射到注视目标点云上;在语义地图上查询注视目标点云的位置上的语义信息,作为人物意图。本发明进一步提升机器人在人机交互的能力,更好地为人类进行服务。
-
公开(公告)号:CN113568324B
公开(公告)日:2023-10-20
申请号:CN202110729002.4
申请日:2021-06-29
Applicant: 之江实验室
IPC: G05B17/02
Abstract: 本发明公开了一种基于仿真演绎的知识图谱修正方法,该方法通过在仿真环境中大量重复相似的机器人行为,实现对机器人知识图谱的修正。其中知识图谱是一种能够表达机器人行为、环境、硬件关联的数据结构,用于机器人行为决策并执行任务。本发明基于仿真环境,所使用的仿真环境使用不限于现有的机器人仿真引擎,如unity3D、unreal4、gazebo,使用与机器人相似的仿真模型和环境,通过实时上传机器人与操作物件的信息,来修正知识图谱中机器人行为逻辑节点之间的关联。
-
公开(公告)号:CN116884000A
公开(公告)日:2023-10-13
申请号:CN202310837433.1
申请日:2023-07-10
Applicant: 之江实验室
IPC: G06V20/70 , G06V10/74 , G06V10/764 , G06V10/25
Abstract: 本发明公开了一种基于视觉语言与关系检测的关系指代表达理解方法和装置,包括:将关系指代表达分解为参考物体、参考关系和指代物体;利用目标检测算法得到场景图像中的候选实体;利用视觉语言模型分别计算参考物体和指代物体的语言特征与候选实体的视觉特征之间的相似度,得到参考物体相似度和指代物体相似度;利用关系检测算法计算候选实体之间的在参考关系的关系类别上的参考关系概率;由参考物体相似度、指代物体相似度和参考关系概率建立邻接表;依据邻接表计算参考物体相似度、指代物体相似度和参考关系概率的综合概率,由综合概率最高值确定关系指代表达理解的实体。本发明适用于提高服务机器人在关系指代表达理解方面的人机交互能力。
-
公开(公告)号:CN116091413A
公开(公告)日:2023-05-09
申请号:CN202211585880.4
申请日:2022-12-09
Applicant: 之江实验室
Abstract: 本发明公开了一种语境知识引导的视觉关系检测方法和装置,包括:获取场景图像,确定场景图像中物体对的语义向量和语境向量,从场景图像中提取包含物体对的局部图像并确定物体对的位置掩码;利用语境知识生成模块根据物体对的语境向量提取物体对的语境知识,利用视觉特征提取模块根据局部图像和物体对的位置掩码提取物体对的视觉特征,利用语义特征提取模块根据物体对的语义向量提取物体对的语义特征,利用视觉关系检测模块根据物体对的视觉特征和语义特征计算物体对的视觉预测结果,利用综合判断模块依据视觉预测结果与物体对的语境知识综合判断得到语境知识引导的物体对的视觉关系。该方法和装置通过语境知识引导提升视觉关系检测的准确性。
-
-
-
-
-
-
-
-
-