-
公开(公告)号:CN117994470A
公开(公告)日:2024-05-07
申请号:CN202410410295.3
申请日:2024-04-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种多模态层次自适应的数字网格重建方法及装置,将待重建对象的目标模态的数据和目标文本输入特征增强模块,得到第一特征和第二特征,通过第一编码器和第二编码器以此得到第一目标特征和第二目标特征,进而,通过专家积模型将第一目标特征对应的第一正态分布和第二目标特征对应的第二正态分布融合,得到第三正态分布,根据第一正态分布、第二正态分布和第三正态分布,通过第一解码器和第二解码器得到第一数字网格属性和第二数字网格属性,进而以此重建得到待重建对象的三维数字网格。可见,通过上述方案,能够更好地利用不同模态的信息,增强整体的信息表征能力,从而提高三维网格重建任务的性能。
-
公开(公告)号:CN117933346A
公开(公告)日:2024-04-26
申请号:CN202410339613.1
申请日:2024-03-25
Applicant: 之江实验室
IPC: G06N3/0895 , G06N3/092 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于自监督强化学习的即时奖励学习方法,获取高维图像数据集,高维图像数据集中包括若干带有终止状态成功或者失败标识的图像;利用高维图像数据集训练自监督学习模型,得到对应的低维特征;利用高维图像数据带有的终止状态的标识,基于低维特征,得到成功特征和失败特征;利用监督学习方法训练状态转移模型,并利用状态转移模型预测的下一状态信息和两类特征进行比较分类,得到即时奖励;基于即时奖励,利用强化学习方法进行决策。本发明可以减少强化学习方法中奖励的人工设计及标注,使得即时奖励的获取智能化。同时,这种即时奖励学习方法可以扩充强化学习的应用范围,扩展了强化学习框架的实际应用,具有广阔的场景。
-
公开(公告)号:CN117909840A
公开(公告)日:2024-04-19
申请号:CN202410315426.X
申请日:2024-03-19
Applicant: 之江实验室
IPC: G06F18/241 , G06N20/00
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备,专用设备在获取用户输入的训练样本集以及用户对待训练模型的模型偏好信息后,即可根据模型偏好信息,确定出训练出的模型可满足用户需求的训练策略以及训练模型需要调度的系统资源,并根据确定出的训练策略以及确定出的需要调度的系统资源,生成可执行的用于训练模型的训练工作流程序,而后,专用设备即可执行生成出的训练工作流程序,从而创建待训练模型,进而通过用户输入的训练样本集执行训练创建出的待训练模型的训练任务。只需用户将训练样本集以及针对待训练模型的偏好信息输入到专用设备,专用设备即可根据用户输入的数据执行训练任务,增强了用户体验并提高了模型训练效率。
-
公开(公告)号:CN117689822B
公开(公告)日:2024-04-16
申请号:CN202410136686.0
申请日:2024-01-31
Applicant: 之江实验室
IPC: G06T17/00 , G06T7/73 , G06T3/4007 , G06T3/4046 , G06N3/0475 , G06N3/094
Abstract: 本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备,通过提示参数,对生成器的参数进行调整,可使得生成器生成的图像特征为提示要求的图像特征。也就是说,通过提示参数,对生成器生成的图像特征进行限制,增强生成器的控制能力。对初始视角图像特征进行位置编码,获取了若干个预设视角图像特征,获取了不同于初始视角的图像特征可提高根据图像特征构建三维模型的准确性,减少当生成器的生成准确率较低时,对构建的三维模型的影响。
-
公开(公告)号:CN117830564A
公开(公告)日:2024-04-05
申请号:CN202410250378.0
申请日:2024-03-05
Applicant: 之江实验室
IPC: G06T17/20 , G06V20/40 , G06V40/20 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/09
Abstract: 本说明书公开了一种姿态分布指导的三维虚拟人模型重建方法,该方法适用于从视频中生成出三维人体网格序列,首先可以提取得到视频数据对应的视频图像特征、语义特征以及视频序列特征,将视频图像特征和语义特征输入到重建模型中的U形神经网络中,得到中间层输出结果,将语义特征、视频序列特征和U形神经网络的中间层输出结果输入到重建模型中的稳定扩散网络中,得到人体姿态特征,以及确定出视频数据对应的原始分布,通过流方法将视频数据中人体的原始分布进行转换,得到姿态分布,根据姿态分布对人体姿态特征进行强化,得到强化后的人体姿态特征,以根据强化后的人体姿态特征,进行人体三维模型重建,从而提高了人体三维模型重建的准确度。
-
公开(公告)号:CN117808976A
公开(公告)日:2024-04-02
申请号:CN202410236989.X
申请日:2024-03-01
Applicant: 之江实验室
IPC: G06T17/00 , G06N3/0464 , G06N3/049 , G06N3/08
Abstract: 本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备,通过特征提取模型提取人体二维图像中的得到第一人体外观特征向量,通过扩散模型对第一人体外观特征向量进行特征补充,可使得该人体二维图像中被遮挡的人体部位的外观特征被补充,得到第二人体外观特征向量,根据补充后的人体外观特征向量,即第二人体外观特征向量,构建人体三维模型,提高了人体三维模型的准确性。
-
公开(公告)号:CN117726907A
公开(公告)日:2024-03-19
申请号:CN202410171192.6
申请日:2024-02-06
Applicant: 之江实验室
IPC: G06V10/774 , G06V40/10 , G06T17/00
Abstract: 本说明书提供的一种建模模型的训练方法、三维人体建模的方法以及装置,获取人体二维图像,并将人体二维图像的图像代理特征输入到第一编码层,得到顶点特征、关节点旋转特征、形状特征,并将采集人体二维图像的相机的相机参数输入到第一编码层中,得到相机特征。将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征输入到第二编码层,第二编码层可以将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征关联,得到编码特征,并根据编码特征,得到三维人体模型中包含顶点坐标集以及关节点坐标集,以最小化顶点坐标集与实际顶点坐标集之间的偏差,和最小化关节点坐标集与实际关节点坐标集之间的偏差,训练建模模型。
-
公开(公告)号:CN117351571A
公开(公告)日:2024-01-05
申请号:CN202311448990.0
申请日:2023-11-01
Applicant: 之江实验室 , 上海人工智能创新中心
IPC: G06V40/20 , G06V20/40 , G06V10/74 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及智能识别领域,特别是涉及一种目标实时跟踪的姿态识别方法、装置、计算机设备和存储介质。所述方法包括:利用至少两个相机分别获取包括目标对象的第一视频流;当各所述第一视频流中分别包含多个对象时,基于各所述对象与所述目标对象的相似度,对所述目标对象进行跟踪;获取各所述第一视频流的各视频帧中目标对象的关键点的二维坐标,并基于相同时刻的至少两个二维坐标,得到各时刻的目标对象的关键点的三维坐标;基于所述各时刻的目标对象的关键点的三维坐标,识别所述目标对象的姿态。本发明能够在多个对象的情况下依然能够准确地识别并跟踪目标对象,进而实现鲁棒和准确的三维姿态识别。
-
公开(公告)号:CN116595456A
公开(公告)日:2023-08-15
申请号:CN202310665531.1
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06F18/2415 , G06F18/23 , G06F18/22 , G06F18/214 , G06F18/10 , G06F18/213 , G06N20/00
Abstract: 本说明书公开了一种基于脑机接口的数据筛选和模型训练方法及装置,可以获取预训练脑电样本数据,预训练脑电样本数据包括若干类别下的脑电样本。而后,可以针对每个类别,根据该类别下的预训练脑电样本数据,确定该类别下的脑电信号所对应的概率分布,进而,根据各类别下的脑电信号所对应的概率分布,构建高斯混合模型,并根据高斯分布模型,确定出每一类别的脑电样本数据对应的聚类范围,而后,确定候选脑电样本数据是否落入到标注对应类别的聚类范围中,若是,将候选脑电样本数据加入到训练样本数据集中,最后,根据训练样本数据集训练脑电分类模型,提高了筛选出的训练样本和训练出的模型的准确性,提升了脑机接口系统的性能和稳定性。
-
公开(公告)号:CN116541018A
公开(公告)日:2023-08-04
申请号:CN202310727219.0
申请日:2023-06-19
Applicant: 之江实验室
Abstract: 本说明书公开了一种分布式模型编译系统,该系统的主节点根据模型信息确定模型的逻辑计算图,将逻辑计算图划分为多个逻辑子计算图,针对每一个逻辑子计算图生成调度消息,然后将该调度消息发送到各从节点。各从节点根据收到的调度消息,分配本地计算资源对逻辑子计算图进行编译,并向主节点发送编译完成信息。主节点根据各从节点返回的编译完成信息,确定模型编译完成,并根据编译完毕的模型执行目标业务。子图的编译过程不再由主节点执行,而是分配至各从节点进行,提高从节点计算资源利用率,减少主节点的负载。主节点不再执行全局计算图的编译,还可以减少从节点等待时间,更加充分的利用了主节点和从节点的计算资源和存储资源。
-
-
-
-
-
-
-
-
-