一种基于大语言模型和高效参数微调的文本信息抽取方法

    公开(公告)号:CN118132674A

    公开(公告)日:2024-06-04

    申请号:CN202410258218.0

    申请日:2024-03-07

    Abstract: 该发明公开了一种基于大语言模型和高效参数微调的文本信息抽取方法,属于自然语言处理技术领域。本发明利用大语言模型强大的文本理解和泛化能力,将不同的信息抽取任务建模成自然语言输入,并限制其输出空间以及输出格式,然后将模型的输出通过简单的处理形成结构化的信息;从模型训练的角度来说,通过高效参数微调方法,通过极少量参数的微调,让模型在适应信息抽取任务的同时,保留其原本的语言理解和泛化能力,相比全参数训练的方法,拥有同样甚至更好的效果,但只需要很少的计算资源和训练时间;从泛化能力的角度,由于极大程度的保留了模型的泛化能力,本方法在低资源和新标签中的表现优于以前的方法,更适合实际应用。

    一种基于最优传输的多模态虚假新闻检测方法

    公开(公告)号:CN118536503A

    公开(公告)日:2024-08-23

    申请号:CN202410568603.5

    申请日:2024-05-09

    Abstract: 该发明公开了一种基于最优传输的多模态虚假新闻检测方法,属于虚假新闻检测技术领域。结合了多模态数据,为虚假新闻的综合分析提供了更丰富的信息源;利用BERT和ResNet34等预训练模型,本发明能够深入挖掘文本和图像数据中的特征,提升了对虚假新闻的识别能力;本发明应用最优传输理论对多模态特征空间分布进行对齐,在增强模型可解释性的同时降低了多模态数据间的潜在异质性。基于多语言公开数据集的测试结果验证了本发明的有效性;本发明无需引入额外数据,训练时间相较于基准模型并没有明显增长;本发明整体架构采用模块化设计,各组件之间耦合性低,易于维护和升级。

    一种基于图对比学习的水军识别方法

    公开(公告)号:CN118467803A

    公开(公告)日:2024-08-09

    申请号:CN202410532825.1

    申请日:2024-04-30

    Abstract: 该发明公开了一种基于图对比学习的水军识别方法,属于机器学习领域中的欺诈检测或网络安全领域。本方法以用户发帖文本信息为用户特征信息,并将用户发帖文本中的单词作为网络节点与用户社交网络融合形成用户‑单词异构图,实现了用户特征信息与社交网络结构信息的深度融合。此外,本方法将对比学习技术应用在水军识别领域,在现有图对比学习技术的基础上,针对异构图的特点对不同类型的边采取不同方法计算边丢弃概率生成增强图,提高了水军识别效果。本发明识别效果好,准确率与F1值均优于现有方法。

Patent Agency Ranking