-
公开(公告)号:CN119167092A
公开(公告)日:2024-12-20
申请号:CN202411364076.2
申请日:2024-09-28
Applicant: 电子科技大学
IPC: G06F18/214 , G06F40/30 , G06F40/194 , G06N5/02
Abstract: 本发明公开了基于LLM的预训练语言模型的去偏方法、系统、存储介质及终端,属于语言处理领域,主要包括:S1、利用大语言模型生成社会常识性知识;S2、使用结构因果模型估计生成的社会常识性知识的碰撞效应,筛选出与预训练语言模型隐空间对齐的社会常识性知识;对于未对齐的社会常识性知识,使用偏见规避策略进行规避;S3、基于筛选结果对预训练语言模型进行训练和优化。本发明通过引入LLMs生成的社会常识性知识,来克服传统方法中存在的数据质量问题,并有效减轻PLMs中的社会偏见。同时通过估计碰撞效应,能够识别并利用对齐的知识来实现正迁移,减少PLMs对非对齐知识的学习负担。
-
公开(公告)号:CN115409155A
公开(公告)日:2022-11-29
申请号:CN202210983826.9
申请日:2022-08-17
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于Transformer增强霍克斯过程的信息级联预测系统及方法,包括用户嵌入模块、全局依赖模块、局部依赖模块、强度函数获取模块和流行度预测模块,首先获取用户position‑wise嵌入和时间编码作为用户嵌入,然后以拓扑结构的视角,引入路径感知假设,并从全局嵌入和局部模式两个角度设计两层注意力层,参数化霍克斯过程的强度函数,并结合霍克斯过程、全局嵌入和局部模式,学习信息级联扩散过程耦合的时间和拓扑随机特性,以进行流行度预测;本发明扩展了传统的霍克斯过程,并有效地从连续时间域中获取知识,提升流行度预测准确性。
-
公开(公告)号:CN119557844B
公开(公告)日:2025-04-22
申请号:CN202510127773.4
申请日:2025-02-05
Applicant: 中国电子科技集团公司第三十研究所 , 电子科技大学 , 四川日报网络传媒发展有限公司
Abstract: 本发明涉及跨模态数据处理和图卷积技术领域,公开了一种跨模态数据的解耦方法、表征方法及表征系统,该解耦方法包括以下步骤:S1,特征提取:提取每种模态数据的特征,并使不同模态数据的特征在时间维度上同步;S2,特征解耦:基于注意力机制构建共享映射模块,进行不同模态数据的特征解耦,输出解耦后的模态特征。本发明解决了现有技术存在的难以精确理解与处理跨模态信息等问题。
-
公开(公告)号:CN113378074A
公开(公告)日:2021-09-10
申请号:CN202110649825.6
申请日:2021-06-10
Applicant: 电子科技大学
IPC: G06F16/9536 , G06F16/9537 , G06Q50/00
Abstract: 本发明公开了一种基于自监督学习的社交网络用户轨迹分析方法,通过数据增强技术对轨迹数据进行数据的合理扩充,再结合自监督的方法更好的学习轨迹数据的表示。然后构建一个预训练模型(该模型中包含了RNN和注意力机制等深度学习神经网络层),在预训练模型中利用对比学习构建正负样本,学习锚数据与正负样本之间的互信息。然后,将预训练模型中学习到的参数迁移到下游任务中,微调网络使下游任务的性能能够得到提升。本发明的目的旨在针对社交网络中用户轨迹分析研究中存在轨迹点稀疏、数据反馈存在差异、下一个轨迹点信号弱等问题,提供一种以自监督学习为框架并结合数据增强的方法,来学习人类的移动模式,使更流畅和完整地捕捉用户的运动意图。
-
公开(公告)号:CN119557460B
公开(公告)日:2025-04-15
申请号:CN202510127837.0
申请日:2025-02-05
Applicant: 中国电子科技集团公司第三十研究所 , 电子科技大学 , 四川日报网络传媒发展有限公司
IPC: G06F16/36 , G06F40/194 , G06N5/022
Abstract: 本发明涉及深度学习技术领域,公开了一种基于主流价值垂类领域知识库的潜在热点内容识别方法,包括:构建主流价值垂类领域知识库,通过隐含狄利克雷分布模型进行主题建模并提取潜在的主题词,并通过RoBERTa‑CRF模型抽取事件三元组并构建事件图谱;通过图谱检索引擎从事件图谱中检索与热点相关的节点,并将相关节点构成的子图通过图嵌入技术转化为向量表示,形成热点模式;通过计算Jaccard相似度,在融合图表征网络中匹配与热点模式相似的内容特征,识别出潜在热点内容。本发明通过主题建模、事件抽取、图谱检索和相似度计算等技术精准识别和筛选正向加强的信息内容,可增强对社会热点趋势的实时监测和预测能力。
-
公开(公告)号:CN119557844A
公开(公告)日:2025-03-04
申请号:CN202510127773.4
申请日:2025-02-05
Applicant: 中国电子科技集团公司第三十研究所 , 电子科技大学 , 四川日报网络传媒发展有限公司
Abstract: 本发明涉及跨模态数据处理和图卷积技术领域,公开了一种跨模态数据的解耦方法、表征方法及表征系统,该解耦方法包括以下步骤:S1,特征提取:提取每种模态数据的特征,并使不同模态数据的特征在时间维度上同步;S2,特征解耦:基于注意力机制构建共享映射模块,进行不同模态数据的特征解耦,输出解耦后的模态特征。本发明解决了现有技术存在的难以精确理解与处理跨模态信息等问题。
-
公开(公告)号:CN119557460A
公开(公告)日:2025-03-04
申请号:CN202510127837.0
申请日:2025-02-05
Applicant: 中国电子科技集团公司第三十研究所 , 电子科技大学 , 四川日报网络传媒发展有限公司
IPC: G06F16/36 , G06F40/194 , G06N5/022
Abstract: 本发明涉及深度学习技术领域,公开了一种基于主流价值垂类领域知识库的潜在热点内容识别方法,包括:构建主流价值垂类领域知识库,通过隐含狄利克雷分布模型进行主题建模并提取潜在的主题词,并通过RoBERTa‑CRF模型抽取事件三元组并构建事件图谱;通过图谱检索引擎从事件图谱中检索与热点相关的节点,并将相关节点构成的子图通过图嵌入技术转化为向量表示,形成热点模式;通过计算Jaccard相似度,在融合图表征网络中匹配与热点模式相似的内容特征,识别出潜在热点内容。本发明通过主题建模、事件抽取、图谱检索和相似度计算等技术精准识别和筛选正向加强的信息内容,可增强对社会热点趋势的实时监测和预测能力。
-
公开(公告)号:CN118733787A
公开(公告)日:2024-10-01
申请号:CN202410848125.3
申请日:2024-06-27
Applicant: 电子科技大学
IPC: G06F16/36 , G06N20/00 , G06N3/045 , G06F40/30 , G06F40/186 , G06F40/194
Abstract: 本发明公开了一种基于双向关系集成图的常识知识生成方法、系统、存储介质及终端,属于数据处理领域,所述方法包括以下步骤:S1、构建双向关系数据集:通过引入反向关系构建对称图;S2、对比预训练:利用正反向对比学习增强模型对常识知识的双向理解;S3、指令调优:在对比预训练的基础上进行任务驱动的指令调优,确保模型有效生成符合要求的常识知识;S4、判断调优后的模型是否达标,若不达标,则返回步骤S3继续调优;S5、使用调好的模型生成新知识。本发明通过对比预训练和任务驱动的指令调优,在生成常识知识的效率和质量上取得了显著的提升。
-
公开(公告)号:CN113887806A
公开(公告)日:2022-01-04
申请号:CN202111169186.X
申请日:2021-10-08
Applicant: 电子科技大学
Abstract: 本发明公开了一种长尾级联流行度预测模型、训练方法及预测方法,该长尾级联流行度预测模型包括骨干网络、以及位于骨干网络之后的回归器,回归器包括并行设置的原始回归器和子网络SUB;骨干网络和原始回归器构成长尾级联流行度预测模型的基线模型;骨干网络用于提取长尾级联的时间特征和空间特征;原始回归器用于得到该长尾级联流行度的原始预测值;述子网络SUB用于得到该长尾级联流行度的加权偏差;以该长尾级联流行度的原始预测值与加权偏差之和作为最终流行度预测值。本发明利用解耦的思想,整个模型训练分为两个阶段,首先利用不同的采样策略来提取骨干网络的特征表示,然后将骨干网络的参数固定住,再通过几种不同的方法微调回归器,该回归器结合了原始的预测值和由子网络SUB产生的加权偏差值,达到更准确预测流行度的目的。
-
公开(公告)号:CN119939229A
公开(公告)日:2025-05-06
申请号:CN202510446313.8
申请日:2025-04-10
Applicant: 中国电子科技集团公司第三十研究所 , 电子科技大学 , 四川日报网络传媒发展有限公司
IPC: G06F18/213 , G06F18/214 , G06F18/22 , G06F18/25 , G06F16/9535 , G06N3/042 , G06N3/08 , G06N5/022 , G06N5/04
Abstract: 本申请公开了一种基于融合认知理解与智能治理的网络内容传播方法及系统,该方法包括构建每个模态的子图网络,生成跨模态特征图表征;对文本知识库中的文本进行主题建模,提取潜在的主题词,构建事件图谱;从事件图谱中检索出与热点相关的节点,形成热点模式,在跨模态特征图表征中匹配与热点模式相似的内容特征,识别潜在热点内容;构建跨模态内容图谱,利用已标注的异常数据学习异常模式,根据该异常模式训练异常检测模型,识别跨模态内容图谱中的异常内容;预测热点内容和异常内容的内容传播链路;通过调节内容传播链路中关键节点的权重,确定内容投放的时间、位置以及目标受众。本申请实现了精准的个性化推荐和传播效果的最大化。
-
-
-
-
-
-
-
-
-