公开(公告)号：CN116521895A

公开(公告)日：2023-08-01

申请号：CN202310493492.1

申请日：2023-04-28

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 劳江微 ,  仲力恒 ,  洪炜翔 ,  张营营 ,  王剑 ,  陈景东 ,  褚崴 ,  胡丁相 ,  邹旭苗 ,  何慧梅 ,  方彦明

IPC: G06F16/36 ,  G06F16/35 ,  G06F16/33 ,  G06V20/10 ,  G06V20/13 ,  G06V10/764 ,  G06V10/80 ,  G06V10/40 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N5/02

Abstract: 公开了一种用于生成遥感影像的场景图的方法，包括：生成遥感影像中的目标集合；基于遥感领域知识图谱选择多个存在潜在关系的目标对；以及对目标对执行关系预测以生成该遥感影像的场景图。还公开了用于生成遥感影像的场景图的系统、装置和介质。

公开(公告)号：CN116310638A

公开(公告)日：2023-06-23

申请号：CN202310184333.3

申请日：2023-02-23

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 劳江微 ,  王剑 ,  陈景东 ,  邹旭苗 ,  方彦明 ,  胡丁相 ,  洪炜翔 ,  仲力恒 ,  张营营 ,  何慧梅 ,  褚崴

IPC: G06V10/774 ,  G06V10/764 ,  G06F16/36

Abstract: 公开了一种用于跨模态对齐模型的训练方法，包括：获取多个训练样本；以及使用该多个训练样本来训练所述跨模态对齐模型，其中所述跨模态对齐模型将每个样本的视觉特征和语义表示映射到隐层空间，且至少对齐同一场景的该视觉特征与该语义表示在隐层空间的分布。本申请还涉及用于分类器的训练方法、遥感影像场景分类的方法、装置和介质。

公开(公告)号：CN115862015A

公开(公告)日：2023-03-28

申请号：CN202211247962.8

申请日：2022-10-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李晓玉 ,  洪炜翔 ,  陈晓雪 ,  谢乐乐 ,  黄祖明 ,  仲力恒 ,  王剑 ,  陈景东 ,  褚崴

IPC: G06V30/10 ,  G06V30/19 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书实施例提供一种文字识别系统的训练方法及装置，其中文字识别系统包括图像表征网络、字符对齐网络和字符分类器。该方法包括：利用数据增广模块对包含标签文本的原始图像进行场景渲染处理，得到增广图像；利用图像表征网络分别处理原始图像和增广图像，对应得到原图表征和增广图表征；利用字符对齐网络分别处理原图表征和增广图表征，分别得到与标签文本中各个字符对应的第一字符表征和第二字符表征；利用字符分类器处理第一字符表征，形成第一预测文本；利用字符对比模块处理第一字符表征和第二字符表征，得到对应相同字符的正表征对和对应不同字符的负表征对；基于第一预测文本、标签文本、正表征对和负表征对，训练文字识别系统。

公开(公告)号：CN114925813A

公开(公告)日：2022-08-19

申请号：CN202210573722.0

申请日：2022-05-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 洪炜翔 ,  任望 ,  王剑 ,  陈景东 ,  劳江微 ,  褚崴

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62 ,  G06V10/774 ,  G06V10/764 ,  G06V10/25 ,  G06V10/82

Abstract: 本说明书实施例提供一种目标检测系统的训练方法，所述目标检测系统包括主干网络和头部网络，所述主干网络包括若干卷积层和若干自注意力层，所述方法包括：将训练图片输入所述目标检测系统，其中，利用所述若干卷积层对所述训练图片进行卷积处理，得到卷积表征；利用所述若干注意力层基于所述卷积表征进行自注意力处理，得到特征图；利用所述头部网络处理所述特征图，得到所述训练图片中目标对象的检测结果；基于所述训练图片对应的对象标注数据以及所述检测结果，确定各个神经网络层各自的梯度范数；针对所述各个神经网络层，根据所述梯度范数的平均数和其自身的梯度范数，更新其网络参数。

公开(公告)号：CN114880517A

公开(公告)日：2022-08-09

申请号：CN202210592045.7

申请日：2022-05-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 暨凯祥 ,  冯力国 ,  王剑 ,  陈景东 ,  刘家佳 ,  孙丝雨 ,  洪炜翔 ,  胡圻圻 ,  乔智 ,  曾小英

IPC: G06F16/73 ,  G06F16/783 ,  G06F16/75

Abstract: 本说明书实施例提供了用于视频检索的方法及装置。在该方法中，获取待匹配视频中的视频帧图像；从视频帧图像中提取图像特征以及文本特征；根据用于表征聚类中心的中心变量对图像特征和所述文本特征进行特征融合，以得到融合特征，其中，中心变量用于将属于同一视频的不同模态的特征进行关联；以及根据融合特征在视频数据库中进行视频检索，以确定出视频数据库中与待匹配视频相匹配的视频，其中，视频数据库中存储有多个视频以及每个视频对应的视频特征。

公开(公告)号：CN113076433B

公开(公告)日：2022-05-17

申请号：CN202110454387.8

申请日：2021-04-26

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 洪炜翔 ,  暨凯祥 ,  刘家佳 ,  王剑 ,  陈景东 ,  褚崴

IPC: G06F16/38 ,  G06F16/33 ,  G06F16/583 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例提供一种具有多模态信息的检索对象的检索方法和装置，方法包括：获取单模态的查询信息，单模态的查询信息为第一文本或第一图片；当查询信息为第一文本时，将第一文本输入生成模型，生成与第一文本包含的主体对应的图像特征；将第一文本对应的文本特征和图像特征输入图文转换器，对文本特征和图像特征进行基于自注意力的融合，输出查询信息的第一查询特征向量；根据第一查询特征向量与各检索特征向量之间的相似度，确定与查询信息相匹配的检索对象；各检索特征向量分别对应于数据库中的各检索对象，任一检索特征向量为将其对应的检索对象的多模态信息输入图文转换器得到的。能够提高检索精度。