-
公开(公告)号:CN117726907B
公开(公告)日:2024-04-30
申请号:CN202410171192.6
申请日:2024-02-06
Applicant: 之江实验室
IPC: G06V10/774 , G06V40/10 , G06T17/00
Abstract: 本说明书提供的一种建模模型的训练方法、三维人体建模的方法以及装置,获取人体二维图像,并将人体二维图像的图像代理特征输入到第一编码层,得到顶点特征、关节点旋转特征、形状特征,并将采集人体二维图像的相机的相机参数输入到第一编码层中,得到相机特征。将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征输入到第二编码层,第二编码层可以将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征关联,得到编码特征,并根据编码特征,得到三维人体模型中包含顶点坐标集以及关节点坐标集,以最小化顶点坐标集与实际顶点坐标集之间的偏差,和最小化关节点坐标集与实际关节点坐标集之间的偏差,训练建模模型。
-
公开(公告)号:CN117876610A
公开(公告)日:2024-04-12
申请号:CN202410281172.4
申请日:2024-03-12
Applicant: 之江实验室
IPC: G06T17/00 , G06V10/74 , G06V10/774 , G06V10/40 , G06V10/80
Abstract: 本说明书公开了一种针对三维构建模型的模型训练方法、装置、存储介质,其中,首先获取人体视图集,人体视图集中包括目标人体的前视图和后视图;从人体视图集中确定第一视图以及第二视图,第一视图和第二视图所对应的采集视角不同;确定第一视图对应的采集视角,作为第一目标视角,并获取采集视角位于第一目标视角邻域范围内的针对目标人体所采集到的视图,作为第一参照视图,然后将各视图输入到待训练的三维构建模型中进行特征提取,最后以最小化第二视图对应的图像特征与第一参照视图对应的图像特征之间的相似度,以及最大化第一视图对应的图像特征与第一参照视图对应的图像特征之间的相似度为优化目标,对三维构建模型进行训练。
-
公开(公告)号:CN117593789A
公开(公告)日:2024-02-23
申请号:CN202311519700.7
申请日:2023-11-14
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于预训练的动作识别模型训练方法、装置及设备,通过生成用于训练空间特征提取模型空间的空间数据,以及用于训练时间特征提取模型的时间数据,对所述空间特征提取模型以及时间特征提取模型进行预训练,再确定采集的视频数据,作为第三样本,并确定视频数据对应的动作类型,作为第三样本的标注,训练动作识别模型,通过对由两个储备池网络模型构建的储备池网络组构建动作识别模型的编码层进行预训练,使得预训练的动作识别模型对时间特征提取和空间特征提取上具有较好的泛化,再对预训练后的动作识别模型进行训练,使得训练完成的动作识别模型可通过多通道的特征进行动作类型的识别,对动作类型识别的准确率更高。
-
公开(公告)号:CN117392485B
公开(公告)日:2024-02-23
申请号:CN202311673947.4
申请日:2023-12-07
Applicant: 之江实验室
IPC: G06V10/774 , G06V10/44
Abstract: 本说明书公开了图像生成模型训练方法、业务执行方法、装置及介质,专用设备通过将获取的原始图像进行加噪处理后输入到图像生成模型中以根据加噪后的图像被加噪的次数值对原始图像进行去噪,从而获取预测的还原图像,通过最小化还原图像中提取出的图像前景特征与原始图像中提取出的图像前景特征之间的偏差为训练目标,训练图像生成模型,以使训练出的图像生成模型可根据输入的加噪后的原始图像生成图像中的图像前景特征与原始图像中的图像前景特征相似的还原图像。还原图像与原始图像都可用于构建训练集,以在原始图像不足以训练出符合业务要求的预设的指定模型时,可通过扩充后的训练集训练出业务执行所需的预设的指定模型。
-
公开(公告)号:CN116150563B
公开(公告)日:2024-01-05
申请号:CN202310199501.6
申请日:2023-02-24
Applicant: 之江实验室
IPC: G06F17/16 , G06N3/0464
Abstract: 本说明书提供了一种业务执行方法、装置、存储介质及电子设备。在本说明书提供的业务执行方法中,响应于业务的执行请求,获取用于执行业务的目标模型,并确定目标模型中的目标网络层;根据目标网络层中用于执行矩阵乘法的特征矩阵的维度,确定目标网络层的候选计算方式,其中,不同候选计算方式对应的执行矩阵乘法运算时的循环次序不同;针对每个候选计算方式,根据特征矩阵的大小,确定目标网络层在该候选计算方式下执行矩阵乘法时,读取数据的总缓存复用率;根据各总缓存复用率,在各候选计算方式中确定目标计算方式;将目标计算方式更新为目标网络层的计算方式,并采用更新后的目标模型执行业务。
-
公开(公告)号:CN116595456B
公开(公告)日:2023-09-29
申请号:CN202310665531.1
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06F18/2415 , G06F18/23 , G06F18/22 , G06F18/214 , G06F18/10 , G06F18/213 , G06N20/00
Abstract: 本说明书公开了一种基于脑机接口的数据筛选和模型训练方法及装置,可以获取预训练脑电样本数据,预训练脑电样本数据包括若干类别下的脑电样本。而后,可以针对每个类别,根据该类别下的预训练脑电样本数据,确定该类别下的脑电信号所对应的概率分布,进而,根据各类别下的脑电信号所对应的概率分布,构建高斯混合模型,并根据高斯分布模型,确定出每一类别的脑电样本数据对应的聚类范围,而后,确定候选脑电样本数据是否落入到标注对应类别的聚类范围中,若是,将候选脑电样本数据加入到训练样本数据集中,最后,根据训练样本数据集训练脑电分类模型,提高了筛选出的训练样本和训练出的模型的准确性,提升了脑机接口系统的性能和稳定性。
-
公开(公告)号:CN116361037B
公开(公告)日:2023-08-18
申请号:CN202310561547.8
申请日:2023-05-18
Applicant: 之江实验室
IPC: G06F9/54 , G06F9/50 , G06F15/173 , G06N3/098 , H04L67/133 , H04L67/60
Abstract: 本说明书公开了一种分布式通信系统及方法,通过第二动态通信网络对象基于第一工作节点发送的通知消息,在第二设备的内存中分配用于存储所述目标数据的目标内存,并基于目标数据和目标内存生成读取请求,并将读取请求发送给第一动态通信网络对象,从而,第一动态通信网络对象根据从读取请求中得到的目标数据的属性,从第一设备的内存中查找目标数据,并将目标数据通过写操作写入第二设备的目标内存,第二工作节点基于目标内存中的目标数据执行数据处理任务。可见,通过第一动态网络对象以及第二动态网络对象之间的交互,实现了跨设备的直接通信,无需大量不必要的数据拷贝,也不会占用中央处理器资源,从而提高了通信效率和数据并行的规模。
-
公开(公告)号:CN116400813A
公开(公告)日:2023-07-07
申请号:CN202310676111.3
申请日:2023-06-08
Applicant: 之江实验室 , 上海人工智能创新中心
IPC: G06F3/01
Abstract: 本说明书公开了一种训练样本的生成方法、装置、存储介质及电子设备。该训练样本的生成方法包括:通过佩戴在用户指定部位的虚拟现实VR设备,采集用户执行指定动作后,指定部位的位姿信息,根据位姿信息,确定指定部位对应的运动数据,根据运动数据,以及用户在执行不同动作时人体各骨骼和关节之间所满足的约束关系,确定用户在执行指定动作后全身的骨骼和关节对应的运动数据,作为目标数据,根据目标数据生成训练样本并存储。
-
公开(公告)号:CN116152299A
公开(公告)日:2023-05-23
申请号:CN202310433919.9
申请日:2023-04-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种运动状态的检测方法、装置、存储介质及电子设备。所述运动状态的检测方法包括:针对待检测视频的每帧图像,确定该帧图像对应的全局图像特征,对全局图像特征进行处理,确定目标对象在该帧图像中所对应的局部图像特征,基于所述局部图像特征与目标对象在其他各帧图像中所对应的局部图像特征之间的相似度,根据各帧图像对应的时间信息以及目标对象在各帧图像中的空间信息,确定目标对象在该帧图像中的运动状态特征,根据目标对象在每帧图像中的运动状态特征,确定目标对象对应的运动状态轨迹,并基于运动状态轨迹对目标对象的运动状态进行检测。
-
公开(公告)号:CN119152294B
公开(公告)日:2025-04-04
申请号:CN202411645184.7
申请日:2024-11-18
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/24 , G06V10/774 , G06F18/2411
Abstract: 本发明公开了一种基于跨模态对齐和原型多样化的连续小样本图片分类方法,该方法包括:首先对输入图片添加视觉软提示提取图片特征,并将图片特征输入特征适配器获取优化后的图片特征,同时对类别标签添加文本软提示提取初步的类别文本原型;其次,将优化后的图片特征输入原型偏置器,对类别文本原型进行调整,从而获得融入视觉信息的类别文本原型;最后计算上述类别文本原型与图片特征之间的相似度,并将该输入图片预测为具有最大相似度的类别。本发明能够捕捉输入特异的视觉信息进行文本原型更正,有利于提升输入图片的分类精度;本发明实现方法简便、灵活,显著提高了新类别的预测精度,同时可以有效缓解模型在旧类别的灾难性遗忘现象。
-
-
-
-
-
-
-
-
-