公开(公告)号：CN115618095A

公开(公告)日：2023-01-17

申请号：CN202210750985.4

申请日：2022-06-29

Applicant: 支付宝(杭州)信息技术有限公司 ,  清华大学

Inventor： 朱文武 ,  王鑫 ,  谢贝妮 ,  常恒 ,  王岱鑫 ,  张志强

IPC: G06F16/9535 ,  G06F16/9536 ,  G06Q50/00

Abstract: 本说明书实施例提供一种针对图分类任务生成对抗关系图的方法和装置。根据该方法，首先将原始的业务关系图输入图分类模型；该业务关系图包括，代表多个业务对象的多个节点，其中具有业务关联的节点之间存在连接边；图分类模型包括节点表征层和分类输出层。然后，至少根据节点表征层计算得到的业务对象表征，确定业务关系图的类别激活矩阵，该矩阵反映各个业务对象对于图分类模型所分类的各个业务类别的贡献度。于是，可以根据上述类别激活矩阵，按照业务对象的贡献度从高到低的顺序，对多个业务对象中的部分业务对象的属性特征和/或连接边进行扰动修改，得到业务关系图对应的对抗关系图。

公开(公告)号：CN119942304A

公开(公告)日：2025-05-06

申请号：CN202510074953.0

申请日：2025-01-17

Applicant: 清华大学

Inventor： 孟媛 ,  朱文武 ,  王智 ,  姜佳成

IPC: G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/042

Abstract: 本申请提供了一种面向领域泛化的梯度自适应量化感知训练方法、装置和设备，涉及计算机技术领域，旨在提高量化模型在未知领域的泛化能力。该方法包括：获取训练数据集和量化卷积神经网络模型；将所述训练数据集中各个样本图像输入到所述量化卷积神经网络模型进行处理，得到各个尺度因子在不同训练域的任务梯度和平滑梯度；评估各个尺度因子在不同训练域的任务梯度的梯度混乱度，所述梯度混乱度表征任务梯度方向的一致程度；根据所述梯度混乱度，确定各个尺度因子在不同训练域的学习梯度，并基于所述学习梯度对所述量化卷积神经网络模型的参数进行更新，得到训练完毕的量化卷积神经网络模型。

公开(公告)号：CN119563176A

公开(公告)日：2025-03-04

申请号：CN202280098161.1

申请日：2022-07-14

Applicant: 罗伯特·博世有限公司 ,  清华大学

Inventor： 王鑫 ,  朱文武 ,  陈虹 ,  程泽

IPC: G06N3/042 ,  G06N3/082

Abstract: 本发明提供了一种用于在训练图和测试图之间的分布偏移下通过图神经架构搜索来设计图神经网络(GNN)的方法。该方法包括通过图编码器模块获得解耦隐空间中的输入图的图表示；通过架构定制模块基于在搜索的GNN架构的层中从候选操作集中选择的操作的概率来获得针对所述输入图的所述搜索的GNN架构，其中所述操作的概率是所获得的图表示与所述操作的可学习原型向量表示之间的相似性的函数；以及通过超网络模块获得所述搜索的GNN架构的权重，其中所述候选操作集中的不同操作被混合到连续空间中。

公开(公告)号：CN119273416A

公开(公告)日：2025-01-07

申请号：CN202310827206.0

申请日：2023-07-06

Applicant: 腾讯科技(深圳)有限公司 ,  清华大学

Inventor： 朱文武 ,  沈世奇 ,  沈光耀 ,  龚治 ,  张泽阳 ,  王鑫

IPC: G06Q30/0601 ,  G06N3/0985

Abstract: 本申请提供一种信息推荐方法、装置、电子设备、存储介质及程序产品，涉及人工智能、机器学习技术领域。方法包括：在基于第一训练集迭代训练初始网络模型时，通过先基于初始的元学习器得到各第一样本的第一特征向量，并获取预测网络基于第一特征向量进行预测的第一损失；然后基于第一损失对第一特征向量进行调整，继续获取预测网络基于调整后的第二特征向量进行预测的第二损失。由于第一损失是基于没有对象与物品交互数据的情况下进行预测对应的冷启动的损失；而第二特征向量表征有物品对象间交互的信息，此时从冷启动达到热启动。通过结合第一损失和第二损失对元学习器在线学习，可提高元学习器提取物品特征的准确性；提高信息推荐的准确性。

公开(公告)号：CN118537675A

公开(公告)日：2024-08-23

申请号：CN202410604501.4

申请日：2024-05-15

Applicant: 清华大学

Inventor： 王鑫 ,  朱文武

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0895

Abstract: 本发明提供了一种基于解耦表征学习的分布外泛化图处理方法、系统及产品，涉及图处理技术领域。该方法包括：将无标签的图结构数据输入待训练的图神经网络模型，根据邻居信息对图结构数据中每个节点的节点表征进行L次迭代更新，得到更新后的节点表征；通过K个图卷积通道对更新后的节点表征进行处理，得到每个节点的K个表征；将每个节点的K个表征处理为图不变信息的表征向量和图变化信息的表征向量；根据图变化信息的表征向量模拟多种分布环境；在多种分布环境下，利用图不变信息的表征向量进行自监督对比学习，得到训练好的图神经网络模型并用于图数据集的分类，以在测试环境和训练环境存在分布差异时，自适应地保证图神经网络模型的预测效果。

公开(公告)号：CN117634586A

公开(公告)日：2024-03-01

申请号：CN202311540202.0

申请日：2023-11-17

Applicant: 清华大学

Inventor： 王鑫 ,  朱文武 ,  陈虹 ,  汤思奥

IPC: G06N3/096

Abstract: 本公开提供了一种扩散模型的轻量化方法、装置、电子设备和存储介质，涉及神经网络技术领域，旨在得到轻量化的扩散模型。所述方法包括：获取目标数据和预训练的老师模型；将所述目标数据输入所述老师模型，得到所述多个中间块分别输出的第一结果；将每个所述中间块的输入，输入所述中间块对应的所述块，得到每个所述块在采用不同的路径操作的情况下，输出的多个第二结果；根据每个所述中间块输出的第一结果，以及所述中间块对应的所述块输出的多个第二结果，对每个所述块进行分块搜索，得到每个所述块对应的目标块；根据每个所述目标块，生成子网；对所述子网进行子网重训，得到训练好的目标子网；根据所述目标子网，建立目标扩散模型。

公开(公告)号：CN117609439A

公开(公告)日：2024-02-27

申请号：CN202311369161.3

申请日：2023-10-20

Applicant: 清华大学

Inventor： 王鑫 ,  朱文武 ,  张泽阳

IPC: G06F16/332 ,  G06F16/36 ,  G06N3/0475

Abstract: 本公开提供了一种基于动态图的大型语言模型的评估方法，涉及数据处理技术领域，旨在评估大型语言模型对动态图数据的理解能力。所述方法包括：生成动态图，所述动态图包括：节点集、边集和时间戳信息，所述时间戳信息表征所述边集中的各个边的生成时间；根据所述动态图，生成所述动态图的问题‑答案对，所述问题‑答案对中的问题至少包括：时空信息理解问题；将所述动态图和所述问题，输入待评估的大型语言模型，得到所述大型语言模型输出的预测答案；根据所述预测答案和所述动态图的问题‑答案对中的答案，得到所述大型语言模型对动态图数据的理解能力的评估结果。

公开(公告)号：CN116524261A

公开(公告)日：2023-08-01

申请号：CN202310465671.4

申请日：2023-04-26

Applicant: 清华大学

Inventor： 王鑫 ,  朱文武

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请提供了一种基于多模态小样本持续学习的图像分类方法及产品，涉及图像处理技术领域，包括：获取输入图像；基于输入图像，获取输入数据，输入数据至少包括视觉特征以及所述视觉特征对应的文本原型；将视觉特征以及文本原型输入语义融合网络，以对视觉特征以及文本原型进行信息融合，获取自适应原型，自适应原型至少包括自适应视觉原型以及自适应查询表征；基于自适应视觉原型与自适应查询表征，获取查询图像的类别概率。本申请通过在小样本持续学习过程中，基于语义融合网络将隐藏在类别文本中语义信息与视觉信息进行融合，使模型在进行小样本持续学习时考虑语义信息的影响，从而极大地缓解了小样本持续学习过程中的灾难性遗忘问题。

公开(公告)号：CN115312044A

公开(公告)日：2022-11-08

申请号：CN202210936845.6

申请日：2022-08-05

Applicant: 清华大学

Inventor： 朱文武 ,  王鑫 ,  杨品慈

IPC: G10L15/18 ,  G10L15/16 ,  G10L15/26 ,  G10L15/06 ,  G10L25/30 ,  G10L25/57 ,  G06V10/80 ,  G06V10/82 ,  G06N3/08

Abstract: 本申请涉及音视频问答领域，提供了一种用于音视频问答的层次化声音‑视觉特征融合方法及产品，通过将输入视频片段中的声音嵌入分别在层次化特征融合流程中的早期、中期和晚期分别与基线模型以及视频嵌入、问题嵌入融合并得到第一答案概率分布、第二答案概率分布以及第三答案概率分布，并对答案概率分布基于预设权值相加后取平均进行层次化集成，生成最终答案，本申请提供的方法一方面增加了声音表征模块在整个问答系统中的占比，可以提升问题的回答能力；另一方面，增加声音‑视觉融合模块可以提升对复杂语义理解性能，得到对真实复杂场景中视频片段的问题的更优解答案输出。

公开(公告)号：CN115268866A

公开(公告)日：2022-11-01

申请号：CN202210841172.6

申请日：2022-07-18

Applicant: 清华大学

Inventor： 朱文武 ,  王鑫 ,  段续光

IPC: G06F8/30 ,  G06N5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请涉及视觉程序生成领域，提供了一种模块化的参数化视觉程序归纳算法、设备、介质及产品。通过构建模块化含参模型，并在层次化蒙特卡洛树搜索算法的配合下进行训练得到优化后的模块化含参模型，将待处理数据输入优化后的模块化含参模型，联合层次化蒙特卡洛树搜索算法对所述待处理数据进行处理，输出结果程序表达。本申请的模块化的参数化视觉程序归纳算法可以用于复杂的视觉场景，且泛化能力强；通过联合层次化蒙特卡洛树搜索算法，在模块化含参模型的训练阶段增广模型训练数据，提升模型的训练效率，在测试阶段作为高效的搜索算法，解决了复杂的程序表达导致程序搜索空间爆炸的问题。