基于LLM的预训练语言模型的去偏方法、系统、存储介质及终端

    公开(公告)号:CN119167092A

    公开(公告)日:2024-12-20

    申请号:CN202411364076.2

    申请日:2024-09-28

    Inventor: 匡平 郭路蝶 余柳

    Abstract: 本发明公开了基于LLM的预训练语言模型的去偏方法、系统、存储介质及终端,属于语言处理领域,主要包括:S1、利用大语言模型生成社会常识性知识;S2、使用结构因果模型估计生成的社会常识性知识的碰撞效应,筛选出与预训练语言模型隐空间对齐的社会常识性知识;对于未对齐的社会常识性知识,使用偏见规避策略进行规避;S3、基于筛选结果对预训练语言模型进行训练和优化。本发明通过引入LLMs生成的社会常识性知识,来克服传统方法中存在的数据质量问题,并有效减轻PLMs中的社会偏见。同时通过估计碰撞效应,能够识别并利用对齐的知识来实现正迁移,减少PLMs对非对齐知识的学习负担。

    基于Transformer增强霍克斯过程的信息级联预测系统及方法

    公开(公告)号:CN115409155A

    公开(公告)日:2022-11-29

    申请号:CN202210983826.9

    申请日:2022-08-17

    Abstract: 本发明公开了一种基于Transformer增强霍克斯过程的信息级联预测系统及方法,包括用户嵌入模块、全局依赖模块、局部依赖模块、强度函数获取模块和流行度预测模块,首先获取用户position‑wise嵌入和时间编码作为用户嵌入,然后以拓扑结构的视角,引入路径感知假设,并从全局嵌入和局部模式两个角度设计两层注意力层,参数化霍克斯过程的强度函数,并结合霍克斯过程、全局嵌入和局部模式,学习信息级联扩散过程耦合的时间和拓扑随机特性,以进行流行度预测;本发明扩展了传统的霍克斯过程,并有效地从连续时间域中获取知识,提升流行度预测准确性。

    一种基于自监督学习的社交网络用户轨迹分析方法

    公开(公告)号:CN113378074A

    公开(公告)日:2021-09-10

    申请号:CN202110649825.6

    申请日:2021-06-10

    Abstract: 本发明公开了一种基于自监督学习的社交网络用户轨迹分析方法,通过数据增强技术对轨迹数据进行数据的合理扩充,再结合自监督的方法更好的学习轨迹数据的表示。然后构建一个预训练模型(该模型中包含了RNN和注意力机制等深度学习神经网络层),在预训练模型中利用对比学习构建正负样本,学习锚数据与正负样本之间的互信息。然后,将预训练模型中学习到的参数迁移到下游任务中,微调网络使下游任务的性能能够得到提升。本发明的目的旨在针对社交网络中用户轨迹分析研究中存在轨迹点稀疏、数据反馈存在差异、下一个轨迹点信号弱等问题,提供一种以自监督学习为框架并结合数据增强的方法,来学习人类的移动模式,使更流畅和完整地捕捉用户的运动意图。

    一种基于双向关系集成图的常识知识生成方法、系统、存储介质及终端

    公开(公告)号:CN118733787A

    公开(公告)日:2024-10-01

    申请号:CN202410848125.3

    申请日:2024-06-27

    Inventor: 匡平 田丰慧 余柳

    Abstract: 本发明公开了一种基于双向关系集成图的常识知识生成方法、系统、存储介质及终端,属于数据处理领域,所述方法包括以下步骤:S1、构建双向关系数据集:通过引入反向关系构建对称图;S2、对比预训练:利用正反向对比学习增强模型对常识知识的双向理解;S3、指令调优:在对比预训练的基础上进行任务驱动的指令调优,确保模型有效生成符合要求的常识知识;S4、判断调优后的模型是否达标,若不达标,则返回步骤S3继续调优;S5、使用调好的模型生成新知识。本发明通过对比预训练和任务驱动的指令调优,在生成常识知识的效率和质量上取得了显著的提升。

    长尾级联流行度预测模型、训练方法及预测方法

    公开(公告)号:CN113887806A

    公开(公告)日:2022-01-04

    申请号:CN202111169186.X

    申请日:2021-10-08

    Abstract: 本发明公开了一种长尾级联流行度预测模型、训练方法及预测方法,该长尾级联流行度预测模型包括骨干网络、以及位于骨干网络之后的回归器,回归器包括并行设置的原始回归器和子网络SUB;骨干网络和原始回归器构成长尾级联流行度预测模型的基线模型;骨干网络用于提取长尾级联的时间特征和空间特征;原始回归器用于得到该长尾级联流行度的原始预测值;述子网络SUB用于得到该长尾级联流行度的加权偏差;以该长尾级联流行度的原始预测值与加权偏差之和作为最终流行度预测值。本发明利用解耦的思想,整个模型训练分为两个阶段,首先利用不同的采样策略来提取骨干网络的特征表示,然后将骨干网络的参数固定住,再通过几种不同的方法微调回归器,该回归器结合了原始的预测值和由子网络SUB产生的加权偏差值,达到更准确预测流行度的目的。

Patent Agency Ranking