-
-
公开(公告)号:CN117352126A
公开(公告)日:2024-01-05
申请号:CN202311459346.3
申请日:2023-11-03
Applicant: 之江实验室 , 上海人工智能创新中心
Abstract: 本申请涉及一种肌肉受力可视化方法、装置、计算机设备以及存储介质。所述方法包括:基于世界坐标系,确定摄像机对应的投影矩阵;获取待检测图像,并通过目标检测模型根据待检测图像确定目标追踪对象;获取目标追踪对象的关节点热图,根据关节点热图确定关节点二维坐标;基于投影矩阵,根据关节点二维坐标确定关节点三维坐标,并根据关节点三维坐标驱动数字人模型运动,确定数字人模型的关节运动信息;根据关节运动信息确定目标追踪对象的肌肉受力信息,并将肌肉受力信息进行可视化展示。上述方法,可以提高获取的患者肌肉受力情况的准确性,为患者提供可靠的康复训练参考数据,同时减少对肌肉受力情况的计算成本。
-
公开(公告)号:CN116402113B
公开(公告)日:2023-10-03
申请号:CN202310676070.8
申请日:2023-06-08
Applicant: 之江实验室 , 上海人工智能创新中心
IPC: G06N3/08 , G06F18/23 , G06F18/214
Abstract: 本说明书公开一种任务执行的方法、装置、存储介质及电子设备,其中,重点在于在训练用于任务执行的预测模型时,获取各样本数据以及各样本数据对应的标注信息,并根据各样本数据对应的各候选维度,确定若干维度组合,而后,针对每个维度组合,按照该维度组合,确定各样本数据对应的特征向量,并对各样本数据对应的特征向量进行聚类,根据聚类结果以及样本数据对应的标注信息,确定该维度组合的合理度,继而根据各维度组合的合理度,确定目标维度组合,并根据目标维度组合,通过各样本数据以及各样本数据对应的标注信息,构建训练样本。最后,根据训练样本,训练预测模型,从而提高了模型训练的效率和效果。
-
公开(公告)号:CN116400813B
公开(公告)日:2023-09-26
申请号:CN202310676111.3
申请日:2023-06-08
Applicant: 之江实验室 , 上海人工智能创新中心
IPC: G06F3/01
Abstract: 本说明书公开了一种训练样本的生成方法、装置、存储介质及电子设备。该训练样本的生成方法包括:通过佩戴在用户指定部位的虚拟现实VR设备,采集用户执行指定动作后,指定部位的位姿信息,根据位姿信息,确定指定部位对应的运动数据,根据运动数据,以及用户在执行不同动作时人体各骨骼和关节之间所满足的约束关系,确定用户在执行指定动作后全身的骨骼和关节对应的运动数据,作为目标数据,根据目标数据生成训练样本并存储。
-
公开(公告)号:CN116541018B
公开(公告)日:2023-09-15
申请号:CN202310727219.0
申请日:2023-06-19
Applicant: 之江实验室
Abstract: 本说明书公开了一种分布式模型编译系统,该系统的主节点根据模型信息确定模型的逻辑计算图,将逻辑计算图划分为多个逻辑子计算图,针对每一个逻辑子计算图生成调度消息,然后将该调度消息发送到各从节点。各从节点根据收到的调度消息,分配本地计算资源对逻辑子计算图进行编译,并向主节点发送编译完成信息。主节点根据各从节点返回的编译完成信息,确定模型编译完成,并根据编译完毕的模型执行目标业务。子图的编译过程不再由主节点执行,而是分配至各从节点进行,提高从节点计算资源利用率,减少主节点的负载。主节点不再执行全局计算图的编译,还可以减少从节点等待时间,更加充分的利用了主节点和从节点的计算资源和存储资源。
-
公开(公告)号:CN116152299B
公开(公告)日:2023-07-11
申请号:CN202310433919.9
申请日:2023-04-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种运动状态的检测方法、装置、存储介质及电子设备。所述运动状态的检测方法包括:针对待检测视频的每帧图像,确定该帧图像对应的全局图像特征,对全局图像特征进行处理,确定目标对象在该帧图像中所对应的局部图像特征,基于所述局部图像特征与目标对象在其他各帧图像中所对应的局部图像特征之间的相似度,根据各帧图像对应的时间信息以及目标对象在各帧图像中的空间信息,确定目标对象在该帧图像中的运动状态特征,根据目标对象在每帧图像中的运动状态特征,确定目标对象对应的运动状态轨迹,并基于运动状态轨迹对目标对象的运动状态进行检测。
-
公开(公告)号:CN114781642A
公开(公告)日:2022-07-22
申请号:CN202210685444.8
申请日:2022-06-17
Applicant: 之江实验室
IPC: G06N5/02
Abstract: 本发明提供一种跨媒体对应知识的生成方法和装置,该方法包括:根据预先定义的第一种媒体的第一知识单元生成第二种媒体的第二知识单元;生成第一知识单元对应的第一特征参数向量及第二知识单元对应的第二特征参数向量;根据预设的映射关系,将第一特征参数向量、第二特征参数向量分别映射到对应的二维球形特征面上,获得第一特征参数向量在对应二维球形特征面上的第一特征点、第二特征参数向量在对应的二维球形特征面上的第二特征点;对第一特征点与第二特征点分别进行索引,获得第一索引和第二索引;根据第一索引和第二索引生成第一知识单元与第二知识单元的双向索引对应关系。本发明实现了跨媒体知识单元之间的相互映射。
-
公开(公告)号:CN118211132A
公开(公告)日:2024-06-18
申请号:CN202410633939.5
申请日:2024-05-21
Applicant: 之江实验室
IPC: G06F18/2411 , G06F18/214
Abstract: 本说明书公开了一种基于点云的三维人体表面数据生成方法及装置,终端设备先获取人体的初始点云,而后确定出初始点云对应的初始特征分布,在提取初始点云对应的初始特征分布之后,通过特征向量提取模型更准确的提取初始特征分布所对应的初始特征向量,而后通过将初始特征向量输入预测模型,得到预测特征向量,将预测特征向量转化为预测特征信息,而后通过初始点云与预测特征分布得到初始点云中每个点云点对应的重构特征信息,并根据重构特征信息生成人体表面数据。通过特征向量提取模型更准确的提取初始特征分布所对应的初始特征向量,并通过预测模型对初始特征向量进行优化,提高了生成出的人体表面数据的精细度与真实度。
-
公开(公告)号:CN117893697B
公开(公告)日:2024-05-31
申请号:CN202410301176.4
申请日:2024-03-15
Applicant: 之江实验室
IPC: G06T17/00 , G16H30/40 , G06T19/20 , G06V10/80 , G06N3/0455 , G06N3/0464 , G06N3/042
Abstract: 本说明书公开了一种三维人体视频重建方法、装置、存储介质及电子设备。所述三维人体视频重建方法包括:获取患者的视频数据以及视频数据对应的文本数据,将视频数据和文本数据分别输入到语言图像模型的图像编码器以及文本编码器中,以视频数据对应的各图像特征表示和各文本特征表示,将各图像特征表示和各文本特征表示输入到交叉模块中,以通过交叉模块针对每个图像特征表示,根据该图像特征表示和其他每个文本特征表示之间的相关度,视频数据对应的融合特征表示,进而将融合特征表示输入到解码器,以通过解码器确定患者的模型参数,并根据模型参数构建患者的人体三维模型。
-
公开(公告)号:CN117880444B
公开(公告)日:2024-05-24
申请号:CN202410281162.0
申请日:2024-03-12
Applicant: 之江实验室
IPC: H04N5/262 , G06V10/40 , G06V20/40 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/045 , G06N3/0455 , G06N3/08
Abstract: 本说明书公开了一种长短时特征引导的人体康复运动视频数据生成方法,可以通过视频生成模型中的图像参考网络,提取得到参考图像对应的图像参考特征,以及将第k‑1个分段视频样本输入到视频生成模型中的视频参考网络中,得到视频参考特征。通过生成的噪声,对第k个分段视频样本进行加噪,得到加噪后的分段视频样本,并将第k个分段姿态序列、加噪后的分段视频样本、视频参考特征以及图像参考特征,输入到视频生成模型中的稳定扩散网络中,通过稳定扩散网络预测对第k个分段视频样本加入的噪声,得到预测噪声;以最小化预测噪声与生成的噪声之间的差异为优化目标,对视频生成模型进行训练,从而提高了视频生成质量。
-
-
-
-
-
-
-
-
-