-
公开(公告)号:CN112562081A
公开(公告)日:2021-03-26
申请号:CN202110175262.1
申请日:2021-02-07
Applicant: 之江实验室
Abstract: 本发明公开了一种用于视觉分层定位的视觉地图构建方法,包括以下步骤:1)按顺序获取双目摄像头采集的双目图像帧数据并确定运动轨迹;2)对图像帧分别提取NetVLAD全局描述子、SuperPoint特征点和局部描述子;3)找出每一帧图像特征点的匹配关键点并增量式恢复出每个特征点的3D位置;4)根据每一帧的3D特征点的2D观测确定该帧的最佳共视关键帧;5)生成最终用于视觉分层定位的视觉地图信息。本发明的视觉地图构建方法结合深度学习特征,增强了视觉地图的描述性,并且生成的用于视觉定位的地图包含多层次描述信息,可用于坐标系一致的视觉全局鲁棒定位。
-
公开(公告)号:CN112396063A
公开(公告)日:2021-02-23
申请号:CN202011415482.9
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种聚集激励上下文金字塔的人像语义解析方法,该方法中采用由多个并行的不同空间幅度比率聚集激励单元组成聚集激励上下文金字塔模块对编码模块提取高级语义特征捕捉丰富的多尺度上下文信息。再将得到的高层语义上下文特征与编码模块中的输出特征相结合通过解码模块得到初步人像语义解析结果。最后,检测输入人像图片的边缘信息并与初步人像语义解析结果融合进一步改善得到最终的人像语义解析结果。同时引入深度辅助损失分支,辅助获取更佳的效果。本发明采用聚集激励上下文金字塔人像语义解析方法,相比于其他当前先进的人像语义解析算法,构建的模型是轻量的,但拥有很高的分割性能。
-
公开(公告)号:CN112287609A
公开(公告)日:2021-01-29
申请号:CN202011576823.0
申请日:2020-12-28
Applicant: 之江实验室
IPC: G06F30/27 , G06N5/04 , G06F111/02
Abstract: 本发明公开了一种面向机器人任务划分的端、边、云协同计算装置,属于机器人技术领域。该装置包括任务建模计算层、任务离线切分层和任务在线执行层;任务建模计算层对不同的机器人任务在不同的设备下分层执行的计算时延以及传输时延进行计算;任务离线切分层根据计算时延和传输时延对目标网络模型进行水平和垂直切分,生成最佳的任务执行策略;任务在线执行层则根据任务离线切分层输出的任务执行策略进行任务的分配、下发和调度,完成任务的在线运行。本发明的协同计算装置可以保护机器人终端的数据隐私,有效地提升了机器人给定任务的执行效率,同时显著地提高了任务划分的性能,具有较好的实用性。
-
公开(公告)号:CN112272081A
公开(公告)日:2021-01-26
申请号:CN202011424321.6
申请日:2020-12-08
Applicant: 之江实验室
Abstract: 本发明公开了一种机器人与服务端之间通信的全双工有状态通讯协议方法,该方法包括:(1)服务端通过TCP/IP协议与机器人建立连接;(2)机器人发起请求,将发送请求的控制报文给服务端;(3)服务端解析请求的控制报文;(4)服务端收到并解析完请求的控制报文后,将结果以返回报文的方式返回给机器人。同时,根据请求的控制报文,服务端选择继续保持连接或者直接断开;(5)机器人解析返回报文,并根据请求的控制报文,机器人选择继续请求或者直接断开。该方法基于人工智能场景,根据请求资源的多少,请求频率的高低,灵活地选择不同的协议配置,实现高并发的通信,降低了通信的成本,使用也非常简便。
-
公开(公告)号:CN112257684A
公开(公告)日:2021-01-22
申请号:CN202011417661.6
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于实时视频流的跨摄像头全局行人跟踪方法。该方法主要包括以下五个步骤:多摄像头监控系统的建立,单摄像头下行人特征提取与跟踪,摄像头间行人特征信息传递,跨摄像头行人特征对比匹配以及跨摄像头行人持续稳定跟踪。本发明的方法可以实现室内场景下较密集人流的行人全局实时跟踪,对于行人轨迹监控及机器视觉有着较大的现实意义。
-
公开(公告)号:CN111230868A
公开(公告)日:2020-06-05
申请号:CN202010063092.3
申请日:2020-01-19
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本发明提供一种双足机器人在前进方向受到外部推力扰动时的步态规划与控制方法。当机器人含有欠驱动脚踝,或脚踝处于力控模式时,机器人受到的外部扰动可通过踝关节自由度(或其它与之相关的变量)的状态变化体现出来。基于该思路,本发明所提供的步态规划与控制方法对机器人的踝关节采用力控模式,然后选取支撑腿脚踝、支撑腿髋关节间的连线与竖直方向的夹角θ作为机器人的状态变量对机器人的状态进行表征,并基于简化倒立摆模型对机器人的状态进行实时估计和计算。基于本发明所提供的方法,无需对机器人受到的外部推力信息进行测量,即可实现实时反馈和控制。
-
公开(公告)号:CN116934892A
公开(公告)日:2023-10-24
申请号:CN202310907273.3
申请日:2023-07-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于加速优化和注意力机制的图像重建方法及装置,对根据传统图像重建算法构建的低秩矩阵补全目标函数中的迭代过程,应用深度展开网络进行了优化,并在优化过程中,引入辅助加速变量。在每一轮迭代过程中,根据上一轮迭代过程的输出图像和辅助加速变量,确定该轮迭代过程的输出图像,根据该轮迭代过程的输出图像和上一轮迭代过程的辅助加速变量,确定该轮迭代过程的辅助变量,根据该轮迭代过程和上一轮迭代过程的辅助变量,确定该轮迭代过程的辅助加速变量。这样,相邻两轮的辅助加速变量之间没有直接的关联,加快了迭代的速度,使得该方法在保证图像重建精准度的同时,进一步提高了图像重建的效率。
-
公开(公告)号:CN116804556A
公开(公告)日:2023-09-26
申请号:CN202310526472.X
申请日:2023-05-11
Applicant: 之江实验室
Abstract: 本发明公开一种任意凸多边形机器人的概率最大化路径规划方法,该方法离线生成一个基本路径库,并离线计算凸多边形机器人与障碍物的碰撞关系,从而尽可能减少在线计算量。在线路径规划时最大化成功到达目标点的概率,使得机器人倾向于通过更开阔的区域,从而为导航过程中成功绕开障碍物提供更多选择。本发明在每一次规划时都最大化到达目标点的概率,而不是简单的搜索最短路径,因此路径规划速度快,规划结果优。
-
公开(公告)号:CN116071553A
公开(公告)日:2023-05-05
申请号:CN202310160328.9
申请日:2023-02-16
IPC: G06V10/26 , G06V10/764 , G06V10/82 , G06V10/80 , G06V20/70 , G06N3/0464 , G06N3/0455 , G06N3/0895 , G06N3/084
Abstract: 本发明公开了一种基于朴素Vision Transformer的弱监督语义分割方法,包括:将基于输入图像得到的补丁标记和可学习的类标记输入到transformer编码器中得到特征输出;然后基于输出的补丁标记部分通过重排列和卷积操作得到粗糙CAM,并从编码器的模型参数中提取出自注意力图;接着通过自适应注意力图融合模块对自注意力图进行融合,得到交叉注意力图和补丁自注意力图依次对粗糙CAM进行优化得到最终的细CAM;最后分别基于编码器输出的类标记、粗CAM以及细CAM通过全局池化得到类别预测,与类别标记计算交叉熵损失函数来对网络进行优化;基于梯度截断解码器的在线再训练。本发明还提供了相应的基于朴素Vision Transformer的弱监督语义分割装置。
-
公开(公告)号:CN116012445A
公开(公告)日:2023-04-25
申请号:CN202211572616.7
申请日:2022-12-08
Applicant: 之江实验室
IPC: G06T7/73 , G06T7/246 , G06T7/80 , H04L67/568
Abstract: 一种基于深度相机的导览机器人感知行人三维空间信息的方法,包括:1)机器人端获取深度相机的RGB图片及Depth图片,进行预处理后传输到云端服务器;2)根据云端部署的多目标跟踪方法及二维人体关键点检测网络获取每一个跟踪到的行人的二维关键点坐标,结合Depth图片与RGB图片的映射关系获取行人的三维关键点坐标;3)根据深度相机与激光雷达联合标定的坐标转换矩阵获取机器人坐标系下的行人三维关键点坐标并输出行人三维空间信息;4)机器人根据获取到的行人三维空间信息进行本体控制,完成自主唤醒等智能导览任务;采用基于视觉感知方法提升导览机器人的自然交互体验。本发明能用于展厅等公共场景下导览机器人对行人的三维空间信息的智能感知。
-
-
-
-
-
-
-
-
-