公开(公告)号：CN117556276B

公开(公告)日：2024-05-10

申请号：CN202410044723.5

申请日：2024-01-11

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 俞旭铮 ,  蒋晨 ,  刘洪 ,  郭清沛

IPC: G06F18/22 ,  G06F40/211 ,  G06V10/74 ,  G06V20/40 ,  G06F18/214

Abstract: 本说明书的实施例提供了一种用于确定文本和视频之间的相似度的方法和装置。在该方法中，利用文本特征提取模型和视频特征提取模型分别得到文本和视频对应的初始文本特征和初始视频特征；根据文本的句法层级分析结果对初始文本特征进行处理，得到句法层级分析结果中的各个元素分别对应的文本特征；根据句法层级分析结果对应的文本特征与所得到的初始视频特征之间的匹配度，构建与句法层级分析结果对应的视频层级分析结果；进而对对应的初始视频特征进行处理得到视频层级分析结果中的各个元素分别对应的视频特征；根据对应层级中的各个元素分别对应的文本特征和视频特征之间的相似度，确定文本和所述视频之间的相似度。

公开(公告)号：CN118245579A

公开(公告)日：2024-06-25

申请号：CN202410231534.9

申请日：2024-02-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 吴宋浩 ,  涂权 ,  刘洪 ,  徐家 ,  刘忠义 ,  张冠男 ,  严睿

IPC: G06F16/332 ,  G06F16/335 ,  G06N20/00

Abstract: 本说明书实施例提供了用于对会话模型进行训练的方法及装置。在该方法中，获取历史会话数据；按照以下方式进行模型训练，直至满足训练结束条件：从历史会话数据中筛选出目标回答语句中的目标被选回答语句所属的会话序列，历史会话序列由目标回答语句以及在目标回答语句生成之前按照时间顺序生成的用于推导出目标回答语句的各个查询语句和回答语句构成，未来会话序列由在目标回答语句生成之后按照时间顺序生成的由目标被选回答语句推导出的各个查询语句和回答语句构成；将历史会话序列和会话序列分别输入给第一会话模型和第二会话模型，以针对目标回答语句进行预测；以及结合第一会话模型和第二会话模型的预测结果进行模型调整。

公开(公告)号：CN119358625A

公开(公告)日：2025-01-24

申请号：CN202411378997.4

申请日：2024-09-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘洪 ,  龚赛赛 ,  徐家 ,  周源

IPC: G06N3/082 ,  G06N3/0895 ,  G06N3/098 ,  G06N3/045

Abstract: 本说明书实施例提供了一种分布感知的多阶段大模型微调方法及装置。待微调的大模型包括预训练后的骨干网络和预测层。在微调方法中，使用数据集中的样本对大模型进行第一训练，得到第一大模型，这里的第一训练包括：更新大模型中预测层的参数，不更新大模型中骨干网络的参数。接着，使用数据集中的样本对大模型进行第二训练，得到第二大模型，这里的第二训练包括：更新大模型中骨干网络的参数和预测层中的参数。这样，即得到了两个训练后的大模型，接着可以在两个训练后的大模型中的对应参数构成的范围内进行参数取值，得到微调后的大模型。数据集中包含隐私数据，在数据处理过程中需要进行隐私保护。

公开(公告)号：CN116958868A

公开(公告)日：2023-10-27

申请号：CN202310906058.1

申请日：2023-07-21

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋晨 ,  刘洪 ,  俞旭铮 ,  郭清沛

IPC: G06V20/40 ,  G06V20/62 ,  G06V10/74 ,  G06V10/774 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书的实施例提供了一种用于确定文本和视频之间的相似度的方法和装置。在该用于确定文本和视频之间的相似度的方法中，将所获取的文本视频对包括的文本和视频分别提供给文本特征提取模型和视频特征提取模型，得到对应的词符特征序列和图像特征序列；根据各个词符特征与各个图像特征之间的相似度确定相关词符特征‑图像特征对；针对各个相关词符特征‑图像特征对，对该词符特征与该图像特征之间的相似度和所确定的该图像特征对应的相近图像特征与词符特征序列之间的相似度进行聚合，生成相近图像约束相似度；以及基于所得到的相近图像约束相似度，确定文本视频对中的文本和视频之间的相似度。

公开(公告)号：CN116881520A

公开(公告)日：2023-10-13

申请号：CN202310896764.2

申请日：2023-07-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 刘洪 ,  蒋晨 ,  俞旭铮 ,  徐家

IPC: G06F16/9035 ,  G06F16/903 ,  G06F18/25 ,  G06V20/40 ,  G06F40/30

Abstract: 本说明书的实施例提供基于偏序的内容检索模型训练方法、内容检索方法及装置。在进行模型训练时，提取第一内容和第二内容的全局特征表征和局部特征表征，所提取的局部特征表征包括对内容进行内容切分而得到的内容片段的内容片段特征表征。通过跨内容特征交互来根据第一内容和第二内容的局部特征表征生成第一内容和第二内容的语义偏序表征；并且使用第一内容和第二内容的全局特征表征和语义偏序表征来对内容检索模型进行基于偏序对比学习的模型训练。

公开(公告)号：CN117556276A

公开(公告)日：2024-02-13

申请号：CN202410044723.5

申请日：2024-01-11

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 俞旭铮 ,  蒋晨 ,  刘洪 ,  郭清沛

IPC: G06F18/22 ,  G06F40/211 ,  G06V10/74 ,  G06V20/40 ,  G06F18/214

Abstract: 本说明书的实施例提供了一种用于确定文本和视频之间的相似度的方法和装置。在该方法中，利用文本特征提取模型和视频特征提取模型分别得到文本和视频对应的初始文本特征和初始视频特征；根据文本的句法层级分析结果对初始文本特征进行处理，得到句法层级分析结果中的各个元素分别对应的文本特征；根据句法层级分析结果对应的文本特征与所得到的初始视频特征之间的匹配度，构建与句法层级分析结果对应的视频层级分析结果；进而对对应的初始视频特征进行处理得到视频层级分析结果中的各个元素分别对应的视频特征；根据对应层级中的各个元素分别对应的文本特征和视频特征之间的相似度，确定文本和所述视频之间的相似度。