公开(公告)号：CN113034370A

公开(公告)日：2021-06-25

申请号：CN202110580583.X

申请日：2021-05-26

Applicant: 之江实验室

Inventor： 朱世强 ,  李特 ,  操晓春 ,  胡晓彬 ,  沈若邻 ,  任文琦

IPC: G06T3/40 ,  G06T15/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种结合3D脸部结构先验的人脸超分辨方法，该方法能够显式得结合3D脸部先验，抓取到高清的脸部结构信息，为网络提供一些基于脸部属性的3D拓扑信息，例如身份、表情、纹理、亮度和脸部姿态。本发明提出了一个深度学习网络框架，框架总体包括两个分支：上半部分分支包含一个ResNet‑50网络来从输入图像中挖掘人脸3D信息，并将其结合重建成一个脸部渲染结构；下半部分分支利用空域特征转换层，结合3D信息及脸部渲染结构作为3D先验，利用空间注意力机制及通道注意力机制实现脸部超分辨；这种先验能够嵌入任何网络，而且十分有效的提高性能，加速收敛。

公开(公告)号：CN112489083A

公开(公告)日：2021-03-12

申请号：CN202011418605.4

申请日：2020-12-07

Applicant: 之江实验室

Inventor： 钟心亮 ,  朱世强 ,  顾建军 ,  李特 ,  姜峰

IPC: G06T7/246 ,  G06T7/66 ,  G06T7/73

Abstract: 本发明公开了一种基于ORB‑SLAM算法的图像特征点跟踪匹配方法，包括：1）对关键帧提取ORB特征点及描述子并做四叉树均匀分布处理；2）对于新来的帧基于匀加速运动预测特征点的位置；3）多层金字塔的稀疏光流法特征点位置的精确求解；4）进行反向稀疏光流跟踪剔除错误匹配；5）对步骤4求取的特征匹配进行鲁棒RANSAC剔除离群点；6）根据剩余匹配点求解6D位姿并判断当前帧是否为关键帧。本发明的方法只需要对关键帧提取ORB特征点和描述子，关键帧之间的跟踪则不需要计算耗时的描述子，本发明在提升方法精度的同时提升了运行速度。

公开(公告)号：CN112261343A

公开(公告)日：2021-01-22

申请号：CN202011422525.6

申请日：2020-12-08

Applicant: 之江实验室

Inventor： 余小康 ,  张鸿轩 ,  顾建军 ,  朱世强 ,  李特

IPC: H04N7/14 ,  H04N21/4788 ,  H04L29/06

Abstract: 本发明公开了一种基于WebRTC的机器人远程通话系统，包括客户端、信令服务、消息服务和机器人。客户端通过信令服务和消息服务主动与机器人建立点对点连接，传输音视频流，播放视频和语音；信令服务负责存储、转发客户端和机器人的消息，维护客户端与机器人的映射关系；消息服务接收客户端发布的身份ID、信令服务地址等信息，供机器人订阅，支持MQTT和HTTP协议；机器人通过信令服务和消息服务与客户端建立点对点连接，传输音视频流，播放视频和语音。本发明不但支持客户端与机器人的建立音视频通话，还支持通话的断线自动重连、机器人忙碌等待、机器人音视频显示可配置，信令服务支持多组一对一的客户端与机器人通话。

公开(公告)号：CN111071365A

公开(公告)日：2020-04-28

申请号：CN201911301851.9

申请日：2019-12-17

Applicant: 之江实验室

Inventor： 杜睿龙 ,  李特 ,  顾建军 ,  朱世强

IPC: B62D57/032

Abstract: 本发明公开一种高能效步行的双足机器人腿足结构，其包括驱动单元、膝关节、可伸缩的小腿、可伸缩的连杆单元、足，驱动单元安装在膝关节内部，驱动单元、可伸缩的小腿、足、可伸缩的连杆单元、驱动单元收尾连接组成四连杆机构。本发明通过四边形连杆机构驱动足与踝关节的运动，能有效优化双足机器人腿足结构的质量分布，降低双足机器人腿足结构的转动惯量，减少驱动腿足运动所需的能量，提高双足机器人的步行能效。此外，小腿部分及连杆部分均加入了减震缓冲装置，能有效吸收及利用双足机器人步行过程足与地面之间的冲击能量，从而进一步提高双足机器人的步行能效。

公开(公告)号：CN117853649A

公开(公告)日：2024-04-09

申请号：CN202311624789.3

申请日：2023-11-30

Applicant: 之江实验室

Inventor： 潘晨 ,  宛敏红 ,  张春龙 ,  郑涛 ,  李特 ,  原崧育 ,  周洋

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/20 ,  G06T7/70 ,  G06T19/00 ,  G06V10/75

Abstract: 本发明公开了一种基于SFM和渲染技术的图像‑位姿数据库生成方法及装置，该方法包括：使用图像采集设备采集多组图像，并进行三维重建，获取图像的位姿；采用图像渲染方法对图像位姿进行迭代优化，生成三维模型的渲染图像，获取真实图像和渲染图像的匹配结果以及真实图像和三维模型的匹配结果，进行PnP算法位姿求解得到优化位姿；构建图像‑位姿数据库。本发明仅使用普通相机和软件算法层面的三维重建和渲染技术，实现了低成本全自动构建高精度的采集图像‑位姿数据库；可用于视觉定位算法的运行和评估，对机器人、自动驾驶等领域具有重要意义；降低了硬件成本和人力资源投入，为视觉定位算法研究和应用提供了有力支持。

公开(公告)号：CN115880685A

公开(公告)日：2023-03-31

申请号：CN202211577601.X

申请日：2022-12-09

Applicant: 之江实验室

Inventor： 杨嵘 ,  李特 ,  宛敏红 ,  张春龙 ,  朱世强 ,  王文

IPC: G06V20/64 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 一种基于votenet模型的三维目标检测方法，包括：构建votenet模型；针对感兴趣目标构建用于训练votenet模型的点云数据集；构建用于训练votenet模型的基于双层嵌套三维矩形框空间划分的种子点位移损失函数；基于votenet模型原方法构建用于训练votenet模型的其他损失函数，包括前景背景分类损失函数、中心偏移量损失函数、尺寸偏移量损失函数以及朝向角偏移量损失函数；基于构建的点云数据集和损失函数训练votenet模型；使用RGB‑D相机获取待检测场景的点云数据；基于待检测场景的点云数据，经过votenet模型，输出感兴趣目标的三维目标检测结果。本发明可以在不增加模型推理延时的前提下，有效降低三维目标检测结果的虚警率。

公开(公告)号：CN115861387A

公开(公告)日：2023-03-28

申请号：CN202211599044.1

申请日：2022-12-14

Applicant: 之江实验室

Inventor： 王文 ,  王军 ,  张春龙 ,  宛敏红 ,  李特 ,  林哲远

IPC: G06T7/292 ,  G06T7/246 ,  G06T7/73 ,  G06V10/40 ,  G06V10/80

Abstract: 本申请涉及一种机器人目标跟踪方法、装置、机器人及存储介质，该方法包括：对第一图像和第二图像进行目标检测，得到至少一个第一对象和至少一个第二对象；第一图像基于第一相机采集，第二图像基于第二相机采集，第二相机的视野范围大于第一相机的视野范围，且与第一相机的视野范围存在交叠；提取各第一对象、第二对象在第一图像、第二图像中的图像特征和位置特征；基于图像特征和位置特征确定第一对象和第二对象中处于交叠视野范围内的目标对象；将目标对象所对应的图像特征融合后得到第三图像特征，基于第三图像特征跟踪目标对象，扩展了目标对象的跟踪视野，解决了相关技术中存在的机器人难以实现对被跟踪目标整体运动过程跟踪的问题。

公开(公告)号：CN115830633A

公开(公告)日：2023-03-21

申请号：CN202211484307.4

申请日：2022-11-24

Applicant: 之江实验室

Inventor： 朱世强 ,  林哲远 ,  张春龙 ,  宛敏红 ,  李特 ,  王文 ,  黄敏

IPC: G06V40/10 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于多任务学习残差神经网络的行人重识别方法，包括：从公开数据集中获取场景的图片与行人的信息，根据标注的人物位置信息，生成人物的裁剪图与对应人物的身份信息；构建多任务学习残差神经网络；构建“分类‑检索‑二元分类”联合损失函数；基于数据集训练好多任务学习残差神经网络和“分类‑检索‑二元分类”联合损失函数；基于待识别的人物裁剪图，经过训练好的多任务学习残差神经网络获得人物视觉特征向量；基于人物视觉特征向量，经过特征匹配算法，得到人物在人物库中对应的人物信息。本发明还包括一种基于多任务学习残差神经网络的行人重识别系统。本发明解决了由于非结构环境下，人物遮挡、衣服相似的行人重识别的问题。

公开(公告)号：CN115457233A

公开(公告)日：2022-12-09

申请号：CN202211031860.2

申请日：2022-08-26

Applicant: 之江实验室

Inventor： 鲍虎军 ,  张举勇 ,  邓治 ,  李特

IPC: G06T17/20 ,  G06F30/13 ,  G06F111/04

Abstract: 本发明公开了一种基于具有遮挡信息的草图生成建筑四边形网格的方法，通过建筑用户设计的折线线条，通过2D样条曲线的拟合，获取待处理2D草图，通过2D草图所定义的语义关系，通过子区域的扩散法，得到2D草图每一个Mask区域；将所述待处理2D草图和对应的Mask区域输入2D草图到2.5D深度图的可见模块和遮挡模块，提取几何信息并预测出完整的样条曲面；通过方向场提取模块从所述待处理2D草图中提取降低歧义性的共轭方向场；将所述共轭方向场光栅化通过遮挡关系投影到3D的所述样条曲面上，并利用四边形参数化方法将投影的顶点具有共轭方向场的样条曲面进行四边形化，得到四边形网格。

公开(公告)号：CN114549592B

公开(公告)日：2022-08-05

申请号：CN202210433994.0

申请日：2022-04-24

Applicant: 之江实验室

Inventor： 孟启炜 ,  朱世强 ,  寄珊珊 ,  袁海辉 ,  李特 ,  顾建军

IPC: G06T7/277 ,  G06T7/70 ,  G06T7/80

Abstract: 本发明公开了一种非合作抛体的轨迹预测与捕获方法和装置，其创新性地高效应用了高帧率RGB相机以及RGBD深度相机的感知信息，实现抛体在空间的快速精确定位。基于定位信息，本发明又提出了基于卡尔曼滤波的抛体轨迹粗拟合以及基于物理学建模的轨迹精拟合实现方案，通过融合轨迹粗拟合与精拟合信息，本发明方法可根据实际场景和任务特点，低成本，高精度，高稳定性的实现空间抛体的轨迹预测与捕获。