-
公开(公告)号:CN112184611A
公开(公告)日:2021-01-05
申请号:CN202011211891.7
申请日:2020-11-03
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供图像生成模型训练方法以及装置,其中所述图像生成模型训练方法包括:获取目标对象的至少两张第一样本图像以及第一样本基准图像;计算每张第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵;将所述每张第一样本图像进行深度估计,获得所述每张第一样本图像的第一样本深度图像;基于所述第一样本图像、所述第一样本位姿变换矩阵以及所述第一样本深度图像对初始图像生成模型进行模型训练,获得针对所述目标对象的三维图像的图像生成模型。
-
公开(公告)号:CN110705512A
公开(公告)日:2020-01-17
申请号:CN201910985343.0
申请日:2019-10-16
Applicant: 支付宝(杭州)信息技术有限公司
Inventor: 王萌
Abstract: 本说明书实施例提供豢养物身份特征检测方法以及装置,其中,所述豢养物身份特征检测方法包括:首先检测在各种模态针对豢养物采集的身份特征信息中包含的关键特征;然后根据所述身份特征信息确定所述关键特征在对应模态的特征维度下的特征数值,并将基于所述特征数值进行特征构造获得的多模态特征向量输入分类模型进行身份特征合格检测,最终将输出作为对所述豢养物进行身份特征检测的检测结果。
-
公开(公告)号:CN119557398A
公开(公告)日:2025-03-04
申请号:CN202411606386.0
申请日:2024-11-11
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/3329 , G06F16/36
Abstract: 本说明书提供一种数据处理方法及系统。该方法包括:获取目标问题,并获得事实数据集合;从知识图谱中检索得到与所述目标问题相关的第一知识信息,并基于所述第一知识信息从所述事实数据集合中筛选出关键事实数据;从所述知识图谱中检索得到与所述目标问题、所述关键事实数据均相关的第二知识信息;以及将所述目标问题、所述关键事实数据以及所述第二知识信息提供给大模型,以通过所述大模型生成所述目标问题对应的回答信息。
-
公开(公告)号:CN117012228B
公开(公告)日:2024-11-01
申请号:CN202310943184.4
申请日:2023-07-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G10L25/51 , G06V10/774 , G06N3/0455 , G06N3/08 , G10L21/055 , G10L25/69
Abstract: 本说明书实施例提供一种训练评估模型、评估视频质量的方法及装置,在训练评估模型的方法中,获取样本集,其中包括,音画同步的第一视频样本。对第一视频样本进行音画分离,得到样本图像帧序列和对应的样本音频帧序列,并将其输入评估模型进行模型处理,该评估模型包括第一编码器和第二编码器。上述模型处理包括,利用第一编码器,对各样本图像帧进行编码,得到各样本图像表征,以及利用第二编码器,对各样本音频帧进行编码,得到各样本音频表征。以最小化第一损失为目标,调整第一编码器和第二编码器的参数,该第一损失正相关于,各样本图像表征与对应样本音频表征的不同模态间距离,以及各样本图像表征中相邻样本图像表征的同模态间距离。
-
公开(公告)号:CN118691721A
公开(公告)日:2024-09-24
申请号:CN202410692380.3
申请日:2024-05-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40 , G06T15/00 , G06T15/08 , G06T15/20 , G06V40/10 , G06V40/16 , G06V10/82 , G06N3/045 , G06N3/0475 , G06N3/09
Abstract: 本说明书实施例提供一种训练生成模型的方法和装置,其中生成模型用于生成人像渲染数据。训练方法包括,首先利用多个不同人像I D的多个视频,进行多轮联合训练。其中,针对任意目标I D的联合训练包括,利用身份编码器,从目标I D对应的目标视频的视频帧中提取I D专有特征,其中包括,目标I D外形特征、目标I D超网络参数。将目标I D超网络参数施加于生成模型的I D专用部分,得到改造的生成模型;然后利用改造的生成模型处理驱动信号和目标I D外形特征,得到渲染数据。根据渲染数据和目标视频,更新身份编码器和生成模型中的共享部分。联合训练之后,还可以执行针对特定I D的专用训练,得到特定I D专用的生成模型。
-
公开(公告)号:CN118429491A
公开(公告)日:2024-08-02
申请号:CN202410525780.5
申请日:2024-04-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40 , G06T15/00 , G06T15/08 , G06T17/10 , G06T17/20 , G06V40/16 , G06V40/20 , G06V10/82 , G06V10/80 , G06F18/25 , G10L25/03 , G10L25/30 , G06N3/0455 , G06N3/09 , H04N21/44 , H04N21/81
Abstract: 本说明书实施例提供一种生成动态人像的方法和装置。方法包括:基于第一人像图片,提取面部的表情特征以及躯干特征;并提取第一语音片段对应的音频特征。利用第一神经网络处理原始空间中任意的第一空间位置和面部特征,得到与面部相关的第一变形特征,并通过叠加第一变形特征得到第二空间位置,其中面部特征包括表情特征和音频特征。然后,利用第二神经网络处理第二空间位置和躯干特征,得到与躯干相关的第二变形特征,并通过叠加第二变形特征得到第三空间位置。接着利用静态网络模块处理第三空间位置,得到对应的颜色和体密度。各个空间位置的颜色和体密度,用于渲染生成第一语音片段对应的第二人像图片。
-
公开(公告)号:CN114998575B
公开(公告)日:2024-07-30
申请号:CN202210753302.0
申请日:2022-06-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06V10/25 , G06V10/774 , G06V10/82
Abstract: 本公开披露了一种训练和使用目标检测模型的方法和装置。所述训练方法包括:将图像输入所述目标检测模型的特征提取网络,以获取所述图像的特征图,所述图像包含多个目标物,所述多个目标物均包括多个检测部位,所述多个检测部位包括第一检测部位和第二检测部位;将所述特征图输入所述目标检测模型的从属关系检测网络,以获取第一结果和第二结果,所述第一结果包括表征所述第一检测部位的检测数据,所述第二结果包括表征与所述第一检测部位属于同一个目标物的第二检测部位的检测数据;根据所述第一结果的损失和所述第二结果的损失,更新所述目标检测模型。
-
公开(公告)号:CN118097657A
公开(公告)日:2024-05-28
申请号:CN202410194853.7
申请日:2023-09-22
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06V20/68 , G06V10/54 , G06V10/75 , G06V10/764
Abstract: 本说明书实施例提供了食材商品的纹理检测处理方法及装置,其中,一种食材商品的纹理检测处理方法包括:在进行食材商品的纹理检测过程中,获取用户终端对食材商品进行表面纹理采集获得的纹理图像,对纹理图像进行至少一个特征维度的纹理特征提取,根据特征提取结果确定食材商品的纹理特征分布,根据食材商品的标识信息确定食材商品的对比纹理图像的对比纹理分布,基于对比纹理分布对食材商品的纹理特征分布进行纹理特征检测,获得食材商品的纹理检测结果。
-
公开(公告)号:CN116994007B
公开(公告)日:2024-03-19
申请号:CN202311253999.6
申请日:2023-09-26
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06V10/54 , G06V10/75 , G06Q30/0601
Abstract: 本说明书实施例提供了商品纹理检测处理方法及装置,其中,一种商品纹理检测处理方法包括:在获取到进行质量检测的商品配置的实体介质被触发后采集的截面纹理图像后,确定截面纹理图像对应的截面类型,按照截面类型对应的纹理提取方式,从截面纹理图像中提取截面纹理特征,并借助包含截面纹理特征的特征数据集对截面纹理特征进行特征检测,获得商品的检测结果。
-
公开(公告)号:CN117012228A
公开(公告)日:2023-11-07
申请号:CN202310943184.4
申请日:2023-07-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G10L25/51 , G06V10/774 , G06N3/0455 , G06N3/08 , G10L21/055 , G10L25/69
Abstract: 本说明书实施例提供一种训练评估模型、评估视频质量的方法及装置,在训练评估模型的方法中,获取样本集,其中包括,音画同步的第一视频样本。对第一视频样本进行音画分离,得到样本图像帧序列和对应的样本音频帧序列,并将其输入评估模型进行模型处理,该评估模型包括第一编码器和第二编码器。上述模型处理包括,利用第一编码器,对各样本图像帧进行编码,得到各样本图像表征,以及利用第二编码器,对各样本音频帧进行编码,得到各样本音频表征。以最小化第一损失为目标,调整第一编码器和第二编码器的参数,该第一损失正相关于,各样本图像表征与对应样本音频表征的不同模态间距离,以及各样本图像表征中相邻样本图像表征的同模态间距离。
-
-
-
-
-
-
-
-
-