公开(公告)号：CN116909390A

公开(公告)日：2023-10-20

申请号：CN202310734182.4

申请日：2023-06-20

Applicant: 之江实验室

Inventor： 刘畅 ,  梁宏博 ,  陈铭 ,  姚新伟 ,  杨文珍 ,  鲍虎军

IPC: G06F3/01 ,  A61B5/11 ,  G06F3/0346

Abstract: 本发明公开了基于手套的多模态数据采集系统，涉及人机交互技术领域，包括采集电路模块，采集电路模块集成压力传感器、温湿度集成传感器、弯曲度传感器和姿态传感器分别用于多通道同步采集触觉信息；压力传感器和温湿度集成传感器均设置于手套指尖处，弯曲角度传感器设置于手套手指关节处，姿态传感器设置于手套手背部；采集电路模块包括主控电路、稳压电路、压力采集电路、温湿度采集电路、手指弯曲度采集电路、选通放大电路、IMU采集电路和蓝牙通讯电路；该系统具有稳定性强、可靠性好、集成度高、穿戴舒适等技术优势，可以作为VR/AR的虚拟手交互设备、智能机器人的灵巧手操作设备、人手指康复设备等。

公开(公告)号：CN116740669A

公开(公告)日：2023-09-12

申请号：CN202311029638.3

申请日：2023-08-16

Applicant: 之江实验室

Inventor： 马也驰 ,  华炜 ,  位硕权 ,  鲍虎军

IPC: G06V20/56 ,  G06V20/58 ,  G06V20/64 ,  G06V10/80 ,  G06V10/44 ,  G06V10/82

Abstract: 本申请提供了一种多目图像检测方法、装置、计算机设备和存储介质，所述方法包括：获取当前时间点的多个第一待检测图像以及对应的第一位置，多个所述第一待检测图像基于多目相机生成；基于多个所述第一待检测图像，获取对应的第一体素化图像特征；基于所述第一位置以及第二位置对所述第一体素化图像特征以及第二体素化图像特征进行融合，得到时序融合特征，所述第二位置以及所述第二体素化图像特征基于历史时间点确定；基于所述时序融合特征，获取目标对象的识别结果。通过本申请，解决了相关技术中存在的基于多目相机的图像检测精度较低的技术问题，并且运算量较小，在几乎不增加运算消耗的前提下提高了图像的检测精度。

公开(公告)号：CN112381215B

公开(公告)日：2023-08-11

申请号：CN202011493383.2

申请日：2020-12-17

Applicant: 之江实验室

Inventor： 单海军 ,  钟昊文 ,  陆陈昊 ,  鲍虎军

IPC: G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06N20/00 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种面向自动机器学习的自适应搜索空间生成方法与装置，该方法包括如下步骤：步骤一、全量收集计算机视觉领域的各类任务，形成视觉任务集合；步骤二、定义不同层次元模块，形成初始元模块搜索空间；步骤三、根据视觉任务集合和元模块集合形成视觉任务和元模块矩阵，通过概率统计计算，生成关联概率分布，用于计算目标视觉任务与已有视觉任务的相似度；步骤四、根据相似度，选取与目标视觉任务相关的视觉任务的搜索空间中的元模块，并生成面向相关视觉任务的子搜索空间；步骤五、更新视觉任务集合和元模块集合。本发明对任务与元模块图谱引入动态更新的反馈机制，有利于图谱的不断优化并增强了图谱对于其他任务的适用性。

公开(公告)号：CN115908955A

公开(公告)日：2023-04-04

申请号：CN202310202396.7

申请日：2023-03-06

Applicant: 之江实验室

Inventor： 苏慧 ,  鲍虎军 ,  杨非 ,  程乐超 ,  宋明黎

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/778 ,  G06V40/10

Abstract: 本发明公开了基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置，通过构建鸟类图像分类数据集；在训练阶段，从鸟类图像分类数据集抽取支撑集s和预测集q，经教师网络后，分别输出的特征向量进行匹配，得到预测集q的类别预测结果，并利用所述预测结果与预测集q的类别真值构建教师网络交叉熵损失函数，训练教师网络；获取鸟类图像经过教师网络、学生网络各个网络层的特征，并利用各层特征的和，作为损失值反向传播，得到输入的鸟类图像基于损失值的梯度信息，构建梯度损失函数，使教师网络和学生网络输入的鸟类图像的梯度信息相匹配；梯度损失函数叠加学生网络交叉熵损失函数，训练学生网络，用于鸟类图像分类。

公开(公告)号：CN115331254A

公开(公告)日：2022-11-11

申请号：CN202210203916.1

申请日：2022-03-03

Applicant: 之江实验室 ,  中国科学院信息工程研究所

Inventor： 鲍虎军 ,  李特 ,  操晓春 ,  张三义

IPC: G06V40/10 ,  G06V10/26 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种免锚框的实例人像语义解析方法。本发明利用训练集训练实例人像语义解析模型，所述实例人像语义解析模型包括特征提取模块、人物实例检测分支和人物实例细粒度感知分支；所述人物实例细粒度感知分支包括细节保持模块、人体部件上下文编码模块、人物实例解析模块和实例解析结果精炼模块；本发明采用了一个一阶段的基于中心点预测的免锚框检测器用于人物实例边界框位置预测和一个边缘引导的人物实例语义解析模块用于人像语义部件的识别，免锚框的人物检测器不仅继承了像素级设计的优势，且能够有效避免因产生候选边界框引起的超参数敏感性问题；边缘引导的人像语义解析模块能够有效区分不同的人物实例位置和相邻的人像语义类别。

公开(公告)号：CN115239757A

公开(公告)日：2022-10-25

申请号：CN202210215901.7

申请日：2022-03-07

Applicant: 之江实验室 ,  中国科学院信息工程研究所

Inventor： 鲍虎军 ,  李特 ,  操晓春 ,  尧思远

IPC: G06T7/246 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于目标动态表观对齐的视觉跟踪方法。本方法利用目标表观对齐模块估计模板图像和待处理图像之间的形态对齐参数，将目标对齐分解为特征对齐雅可比参数估计、形态残差估计、反向迭代组合三个子模块，并分别设计了可训练的前向传播网络执行对应操作；目标模板匹配模块利用深度神经网络提取出模板图像和待处理图像中被跟踪物体的语义特征，然后利用目标表观对齐模块迭代预测得到的对齐参数对待处理图像特征做适当调整，使模板图像和待处理图像的目标形态尽可能保持一致；最后利用相关卷积操作计算模板图像特征和调整后的待处理图像特征的相似性，输出对目标位置敏感的相似性匹配热图，热图中响应最高的位置即目标状态位置。

公开(公告)号：CN114494981B

公开(公告)日：2022-08-05

申请号：CN202210357179.0

申请日：2022-04-07

Applicant: 之江实验室

Inventor： 卢修生 ,  鲍虎军 ,  程乐超 ,  杨非 ,  宋明黎

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多层次运动建模的动作视频分类方法及系统，对段内和段间的运动信息进行多层次综合建模，其包含两个神经网络分支：段间分支对各视频段中采样得到的视频帧进行处理，用于提取前景目标的表观信息和段间运动信息；段内分支对各视频段中相邻视频帧的差值进行处理，用于提取前景目标的段内运动信息。段内分支所提取的帧差特征被用来对段间分支特征进行按通道加权，最后两个分支的卷积特征融合起来并共同输入到分类器中进行视频分类。本发明实现方法简便，手段灵活，在动作视频数据集上取得了显著的分类效果提升。

公开(公告)号：CN114119426B

公开(公告)日：2022-07-01

申请号：CN202210090686.2

申请日：2022-01-26

Applicant: 之江实验室 ,  浙江工业大学

Inventor： 鲍虎军 ,  杨非 ,  华炜 ,  秦梦洁 ,  傅家庆 ,  郑建炜

IPC: G06T5/00

Abstract: 本发明公开了非局部低秩转换域与全连接张量分解图像重构方法及装置，包括：S1，输入待修复图像；S2，构建张量分解模型，包括：S2.1，分割输入图像，得到非局部张量块；S2.2，将非局部张量块引入B样条转换域，得到非局部张量块的转换域形式；S2.3，通过非局部张量块，构造非局部相似张量块组；S2.4，联合全连接张量分解，构造全连接张量分解因子；S2.5，构建低秩张量补全模型，并根据S2.1‑2.4进行优化，得到基于非局部低秩转换域与全连接张量分解模型；S3，构建图像修复模型，获取待修复图像，通过张量分解模型得到的修复图像张量块组，得到修复后的图像。使得在光谱图像修复中，图像重构更加精准。

公开(公告)号：CN114598631A

公开(公告)日：2022-06-07

申请号：CN202210455426.0

申请日：2022-04-28

Applicant: 之江实验室

Inventor： 王宏升 ,  何水兵 ,  鲍虎军 ,  陈光

IPC: H04L45/00 ,  H04L45/44 ,  G06N3/08

Abstract: 本发明提供了一种面向神经网络计算的分布式数据路由的建模方法和装置，包括如下步骤：S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；利用所述的面向神经网络计算的分布式数据路由的建模方法和装置搭建模型，分布式设计和开发的难度低，推动了深度神经网络大模型落地应用的发展。

公开(公告)号：CN114237918B

公开(公告)日：2022-05-27

申请号：CN202210183223.0

申请日：2022-02-28

Applicant: 之江实验室

Inventor： 王宏升 ,  鲍虎军 ,  陈光 ,  曾令仿 ,  程宏才 ,  李勇 ,  朱健 ,  郑焕波

IPC: G06F9/50 ,  G06F9/54 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向神经网络模型计算的图执行方法和装置，包括根据深度学习框架编译生成的物理计算图，创建本机上的任务执行体，通过设计为每个任务执行体分配多个空闲内存块的方案，实现整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中，本发明公开的面向神经网络模型计算的图执行方法和装置，以算子核函数的执行体为基本单元，以生产和消费的张量作为整个计算图中流动的数据，执行体以流水并行的方式实现模型的训练过程。在大规模深度神经网络的分布式应用场景下，本发明对用户的使用门槛较低，并且能够使模型学习到大量分批次流入神经网络的数据的内在关联，从而获得对应场景中的“智能”感知与判断能力。