公开(公告)号：CN116205656A

公开(公告)日：2023-06-02

申请号：CN202310094076.4

申请日：2023-01-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李佩瑾 ,  朱嘉丽 ,  黄修添 ,  陆晓静 ,  陈秀文

IPC: G06Q30/01 ,  G06Q30/0645 ,  G06Q40/03 ,  G06F16/33 ,  G06F16/35 ,  G06V20/10 ,  G06V10/764

Abstract: 本说明书实施例公开了一种用户反馈信息处理方法、装置以及设备。方案包括：获取用户反馈信息，确定所述用户反馈信息除了包含文本，是否还包含图像；若是，则对所述用户反馈信息包含的图像进行场景识别，以确定属于无效场景还是有效场景；若属于无效场景，则针对所述用户反馈信息包含的图像进行噪音过滤，再根据所述噪音过滤后的所述用户反馈信息，识别所述用户反馈信息对应的业务类别；若属于有效场景，则根据所述用户反馈信息包含的文本和图像，识别所述用户反馈信息对应的业务类别。

公开(公告)号：CN117994530A

公开(公告)日：2024-05-07

申请号：CN202410238894.1

申请日：2024-03-01

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 朱嘉丽 ,  吴锐 ,  黄修添

IPC: G06V10/40 ,  G06V10/80 ,  G06F9/451 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06N20/00 ,  G06N3/0455 ,  G06N3/088

Abstract: 本说明书实施例公开了一种多模态模型预训练方法及装置、训练方法及装置。其中，多模态模型预训练方法包括：获取包括连续界面图像和不连续界面图像的界面集，获取各界面图像各自对应的预设特征，随后针对各界面子集的预设特征进行特征融合，基于各界面子集的融合特征对待训练多模态模型进行预训练，得到预训练后的多模态模型。训练方法包括：利用训练目标及训练目标对应的训练数据集对预训练后的多模态模型进行训练，以得到训练后的适应于下游任务的多模态模型。

公开(公告)号：CN118747098A

公开(公告)日：2024-10-08

申请号：CN202410742810.8

申请日：2024-06-07

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 朱嘉丽 ,  吴锐 ,  农松沁 ,  黄修添

IPC: G06F9/451 ,  G06F3/0481 ,  G06F3/0484 ,  G06N3/0455 ,  G06N3/088 ,  G06N3/096 ,  G06N3/084

Abstract: 本申请提供预训练模型的训练方法、装置和设备，其中所述预训练模型的训练方法包括：获取第一用户界面图像；然后对所述第一用户界面图像中的至少部分页面控件进行替换处理，得到第二用户界面图像；再将所述第二用户界面图像的特征数据输入预训练模型，得到第三用户界面图像，其中，所述第三用户界面图像中包含位于页面控件被替换区域的重建控件；之后，根据所述第一用户界面图像和所述第三用户界面图像之间的损失值，对所述预训练模型进行训练。