-
公开(公告)号:CN116038754A
公开(公告)日:2023-05-02
申请号:CN202310336339.8
申请日:2023-03-28
Applicant: 之江实验室
Abstract: 本申请提供一种机械臂腕关节、机械臂及仿人机器人。机械臂腕关节包括基座、第一驱动组件、第二驱动组件和关节输出组件。第一驱动组件和第二驱动组件均组装于基座,均可活动地从收容腔伸出或缩回至收容腔内。关节输出组件包括输出件、与输出件连接的第一活动连接件和第二活动连接件,输出件通过第一活动连接件分别与第一驱动组件、第二驱动组件活动连接;通过第二活动连接件与基座连接。第一驱动组件和第二驱动组件相对基座,可活动地从收容腔伸出或缩回至收容腔内时,分别通过第一活动连接件和第二活动连接件带动输出件做俯仰运动和/或旋转运动。实现两自由度耦合腕关节,结构紧凑、体积较小、操做灵巧。
-
公开(公告)号:CN115796288A
公开(公告)日:2023-03-14
申请号:CN202211511472.4
申请日:2022-11-29
Applicant: 之江实验室
Abstract: 本发明公开了一种基于知识库的动态场景下推理任务的方法和装置,包括:在将表达知识库的语义网络按照关系类型划分为动作关系子网络、状态变化关系子网络、从属关系子网络以及介词关系子网络的基础上,依据动作关系子网络进行任务的行为树缺失判断的推理,通过所有子网络实现目标物体和与状态相关的感知数据等缺失数据的推理获取,进而实现行为树的推理。这样的方式能够避免使用任务知识或结构化的机器人任务设计语言,使用通用的语义网络完成任务的推理规划,实现机器人的作业问题,该推理过程不需要过多的人为编辑和干预,作为技术使用方,只需要提供完备的语义网络和实时感知数据,即可以完成对机器人行为的自主控制。
-
公开(公告)号:CN115781733A
公开(公告)日:2023-03-14
申请号:CN202211543802.8
申请日:2022-12-01
Applicant: 之江实验室
Abstract: 本申请涉及一种机械手和机器人。机械手包括掌部、机械指以及驱动结构。掌部包括掌平面和与掌平面垂直的掌侧面。机械指设置于掌侧面。驱动结构设置于掌部和机械指之间,以在连接方向上连接机械指和掌部。其中,驱动结构用于驱动机械指围绕旋转轴线旋转,旋转轴线垂直于连接方向延伸,并与掌平面平行。驱动结构还用于驱动机械指围绕摆动轴线旋转,摆动轴线与掌平面相交。摆动轴线垂直于旋转轴线。本申请的机械指能够在两个不同的方向上进行旋转运动,从而具有类似人类手指的运动自由度,提高机械手的拟人程度。此外,本申请的机械手的设置方式能够满足简单动作的运动自由度需求,使得机械手能够拟合人手的姿态,并具有足够的能力简单的手部动作。
-
公开(公告)号:CN115546254A
公开(公告)日:2022-12-30
申请号:CN202211398601.3
申请日:2022-11-09
Applicant: 之江实验室
Abstract: 本发明公开了一种双进程多目标跟踪方法,包括在主进程中运行的主线跟踪器和在子进程中运行的辅线修正器两条分支,所述主线跟踪器分支使用高速低精度模型进行多目标跟踪,所述辅线修正器分支使用低速高精度模型对所述主线跟踪器进行修正。所述两条分支的结果通过融合器融合后得到最终的多目标跟踪结果。本发明能够在不降低所述主线跟踪器跟踪速度的同时,提升其跟踪精度。
-
公开(公告)号:CN115223086B
公开(公告)日:2022-12-06
申请号:CN202211145164.4
申请日:2022-09-20
Applicant: 之江实验室
IPC: G06V20/40 , G06V40/20 , G06V20/62 , G06V10/26 , G06V10/82 , G06F40/284 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于交互注意力引导与修正的跨模态动作定位方法和系统,该方法使用三维卷积神经网络和词向量模型提取视频和文本描述的特征表示,并使用双向长短时间记忆网络学习视频和文本描述的上下文信息;再使用交互注意力引导模块进行视频和文本跨模态特征增强,进一步通过修正门控单元进行语义信息融合;最后将融合后的多模态特征送入到时序定位模块以获得时序片段的匹配度得分和时序边界偏移量。本发明通过增强视频和文本的特征融合能力,能有效提高视频动作定位的性能,满足现实生活中复杂场景的视频动作定位需求。
-
公开(公告)号:CN117207204B
公开(公告)日:2024-01-30
申请号:CN202311489049.3
申请日:2023-11-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种弹琴机器人的控制方法及控制装置,通过相机获取到琴键区域图像之后,根据图像中的图像特征点确定各琴键在相机坐标系中的坐标,根据所述各图像特征点在相机坐标系下的坐标以及琴键模板确定出琴键模板中各琴键在相机坐标系下的坐标。通过弹琴机器人在弹琴过程中所处位姿以及各琴键在相机坐标系下的坐标,确定出弹琴机器人与琴键之间的相对位置,通过预先确定的误差拟合函数,对弹琴机器人与琴键之间的相对位置进行误差补偿,控制弹琴机器人上机械臂弹奏补偿后的相对位置。通过预先确定的误差拟合函数对弹琴机器人与琴键之间的相对位置进行误差补偿,减少了弹琴机器人对琴键实时定位的误差。(56)对比文件WO 2022052941 A1,2022.03.17张涵等.竖笛演奏机器人的设计研究《.山东建筑大学学报》.2014,第29卷(第6期),第574-577页.刘佩霞等.自动弹琴机器人的设计《.山西电子技术》.2020,(第6期),第11-13页.
-
公开(公告)号:CN116841299B
公开(公告)日:2023-12-22
申请号:CN202311116449.X
申请日:2023-08-31
Applicant: 之江实验室
IPC: G05D1/02
Abstract: 本说明书公开了一种导览机器人的自主巡游控制方法及装置,可以获取实时的视觉数据,并根据该视觉数据,确定各用户的位姿信息,而后,根据该位姿信息以及机器人当前的任务状态信息,判断机器人是否处于闲暇状态。若该机器人处于闲暇状态,则可以判断机器人的电量是否能够满足执行巡游任务,若是,根据位姿信息,确定各展点对应的感兴趣程度,并确定机器人到达各展点的最短路径。最后,根据各展点对应的感兴趣程度以及机器人到达各展点的最短路径,通过预设的推理决策模型,得到输出结果,并根据该输出结果,对该机器人进行控制,以执行自主巡游任务,从而提高了用户的业务执行效率。
-
公开(公告)号:CN117226854A
公开(公告)日:2023-12-15
申请号:CN202311505956.2
申请日:2023-11-13
Applicant: 之江实验室
Abstract: 本说明书公开了一种夹取任务的执行方法、装置、存储介质及电子设备。所述方法包括:获取包含有目标物的图像数据,并确定目标物对应的轮廓信息以及目标物所处环境的环境信息;根据轮廓信息,确定目标物中包含的每个部件所对应的位姿信息、形体信息以及语义信息;根据环境信息、位姿信息、形体信息、语义信息以及每种夹取姿态对应的预设夹取姿态信息,确定通过不同夹取姿态夹取目标物中每种部件时的夹取损失值;根据夹取损失值,在各夹取姿态中确定出目标夹取姿态,以及在目标物的各部件中确定出目标部件,并按照目标夹取姿态执行针对目标部件的夹取任务。
-
公开(公告)号:CN117037288A
公开(公告)日:2023-11-10
申请号:CN202311287226.X
申请日:2023-10-08
Applicant: 之江实验室
IPC: G06V40/20 , G06V20/40 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06V10/46
Abstract: 本发明公开了一种基于Transformer双流融合网络的多模态人体动作识别方法及装置,该方法包括以下步骤:首先,提取人体动作视频数据的RGB帧和光流图像,等间隔采样一定长度的视频图像序列,并利用卷积神经网络为RGB帧和光流图像提取时空特征,作为双流网络模型的输入;然后,使用Transformer编码器捕捉单个分支网络的显著特性以及它们之间的交互特性;最后,将双路分支网络的输出进行融合,并将融合后的特征和单个分支网络的输出送入分类器实现对人体动作的有效识别。本发明通过Transformer编码器增强RGB帧和光流图像的特征表达与融合能力,能有效提高人体动作识别的性能,满足现实生活场景对于人体动作识别技术的应用需求。
-
公开(公告)号:CN116934892A
公开(公告)日:2023-10-24
申请号:CN202310907273.3
申请日:2023-07-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于加速优化和注意力机制的图像重建方法及装置,对根据传统图像重建算法构建的低秩矩阵补全目标函数中的迭代过程,应用深度展开网络进行了优化,并在优化过程中,引入辅助加速变量。在每一轮迭代过程中,根据上一轮迭代过程的输出图像和辅助加速变量,确定该轮迭代过程的输出图像,根据该轮迭代过程的输出图像和上一轮迭代过程的辅助加速变量,确定该轮迭代过程的辅助变量,根据该轮迭代过程和上一轮迭代过程的辅助变量,确定该轮迭代过程的辅助加速变量。这样,相邻两轮的辅助加速变量之间没有直接的关联,加快了迭代的速度,使得该方法在保证图像重建精准度的同时,进一步提高了图像重建的效率。
-
-
-
-
-
-
-
-
-