一种基于数据对齐的大语言模型回复生成方法及系统

    公开(公告)号:CN119474269A

    公开(公告)日:2025-02-18

    申请号:CN202411529670.2

    申请日:2024-10-30

    Abstract: 一种基于数据对齐的大语言模型回复生成方法及系统,它属于大语言模型回复生成领域。本发明解决了现有大语言模型有害输出的风险大的问题。本发明首先通过COD提示收集有害问题数据集和无害问题数据集,并利用收集的数据集对模型进行预训练,再利用收集的数据集和提出的对齐策略对模型进行训练,以最小化有害响应的负对数似然,同时惩罚有害响应,通过梯度上升优化样本损失,以强化模型的正面行为。然后通过向对齐后的模型权重中添加一个安全向量来校正模型的安全性,可以在保持模型原始任务性能的同时补偿模型的安全性损失,显著降低模型产生有害输出的概率。本发明方法可以应用于大语言模型安全回复生成领域。

    一种以文本为核心的多模态情感分类方法

    公开(公告)号:CN113312530B

    公开(公告)日:2022-02-15

    申请号:CN202110652703.2

    申请日:2021-06-09

    Abstract: 一种以文本为核心的多模态情感分类方法,涉及自然语言处理技术领域,针对现有技术中将每个模态的语义信息看作一个整体,缺乏探索不同模态交互的能力,进而导致情感分类不准确的问题,包含两部分,一部分是跨模态预测模型,该模型以文本模态特征为输入,输出为语音/图像模态特征。利用该模型我们设计了共享特征与私有特征的判定规则,进而利用规则分辨出共享和私有特征。另一部分是情感预测模型,该模型利用跨模态注意力机制将文本模态特征与语音/图像的共享和私有特征进行融合,最后得到多模态融合特征进行情感分类。

    一种多任务联合学习的面向评价对象的情感分析方法

    公开(公告)号:CN111339752A

    公开(公告)日:2020-06-26

    申请号:CN202010099489.8

    申请日:2020-02-18

    Inventor: 赵妍妍 王帅 秦兵

    Abstract: 一种多任务联合学习的面向评价对象的情感分析方法,本发明涉及多任务联合学习的面向评价对象的情感分析方法。本发明的目的是为了解决现有文本对评价对象、评价对象情感、评价词抽取未考虑关联性,导致对文本有用信息抽取准确率低的问题。过程为:一、将文本进行词向量表示;二、将文本的词向量表示进行初步抽象,得到共享表示;三、基于二进行评价对象和评价词抽取,得到评价对象和评价词抽取的标签概率分布;四、基于二和三进行评价对象情感判断,得到评价对象情感判断的标签概率分布;五、得到更新后的概率分布;六、得到情感分析模型,采用情感分析模型完成对评价对象的情感分析。本发明用于评价对象、评价对象情感与评价词联合抽取领域。

    基于预训练模型的语义检索方法和系统

    公开(公告)号:CN110309267A

    公开(公告)日:2019-10-08

    申请号:CN201910609351.5

    申请日:2019-07-08

    Abstract: 本发明提供一种基于预训练模型的语义检索方法和系统。该方法包括:采用标注数据对预训练语义表示模型进行训练,获得满足设定优化目标的经训练的预训练语义表示模型;将句子库中的句子输入到所述经训练的预训练语义表示模型,获得该句子库中句子的向量表示;对所述句子库中的句子的向量表示建立语义索引,获得句子库的语义索引;将待查询语句输入到所述经训练的预训练语义表示模型,获得待查询语句的向量表示;将所述待查询语句的向量表示和所述句子库的语义索引进行匹配,获得查询结果。本发明的方法和系统能够提高语义检索的准确率和效率。

    融入词语信息的中文拼写纠错方法

    公开(公告)号:CN115169331B

    公开(公告)日:2023-05-12

    申请号:CN202210850675.X

    申请日:2022-07-19

    Abstract: 融入词语信息的中文拼写纠错方法,涉及自然语言处理技术领域,针对现有技术中由于缺少词语信息,并不能对整个词都写错的词语进行纠错的问题,本申请在模型当中有效地引入了词语信息,增强了模型的语义表示能力,大幅提升了模型对整个词都写错的情况的纠错能力,提升了模型整体文本纠错能力。本申请在模型中引入专门的神经网络结构用于表示词语信息,并将每个字所在词的词语信息融入到字的表示当中,从而有效引入了词语信息,增强了模型的语义表示能力,大幅提升了模型对整个词都写错的情况的纠错能力,提升了模型整体文本纠错能力。

    基于模板检索的文本到SQL生成方法

    公开(公告)号:CN115203236A

    公开(公告)日:2022-10-18

    申请号:CN202210836518.3

    申请日:2022-07-15

    Abstract: 基于模板检索的文本到SQL生成方法,涉及数据处理技术领域,针对现有技术中针对长度较长的SQL语句解码速度慢的问题,由于非自回归模型的并行性带来时间性能提升的同时,也存在一些缺陷,无法在生成阶段观察到目标序列的上下文信息,因此本申请通过模板检索和多次迭代生成,弥补了非自回归模型的不足,本申请的技术方案对于结构复杂,长度较长的SQL语句,解码速度较传统方式提升了50%以上。本申请技术方案的模板库具有可扩展性,易于迁移,且具有较快的生成速度。

    融入词语信息的中文拼写纠错方法

    公开(公告)号:CN115169331A

    公开(公告)日:2022-10-11

    申请号:CN202210850675.X

    申请日:2022-07-19

    Abstract: 融入词语信息的中文拼写纠错方法,涉及自然语言处理技术领域,针对现有技术中由于缺少词语信息,并不能对整个词都写错的词语进行纠错的问题,本申请在模型当中有效地引入了词语信息,增强了模型的语义表示能力,大幅提升了模型对整个词都写错的情况的纠错能力,提升了模型整体文本纠错能力。本申请在模型中引入专门的神经网络结构用于表示词语信息,并将每个字所在词的词语信息融入到字的表示当中,从而有效引入了词语信息,增强了模型的语义表示能力,大幅提升了模型对整个词都写错的情况的纠错能力,提升了模型整体文本纠错能力。

    基于预训练模型的语义检索方法和系统

    公开(公告)号:CN110309267B

    公开(公告)日:2021-05-25

    申请号:CN201910609351.5

    申请日:2019-07-08

    Abstract: 本发明提供一种基于预训练模型的语义检索方法和系统。该方法包括:采用标注数据对预训练语义表示模型进行训练,获得满足设定优化目标的经训练的预训练语义表示模型;将句子库中的句子输入到所述经训练的预训练语义表示模型,获得该句子库中句子的向量表示;对所述句子库中的句子的向量表示建立语义索引,获得句子库的语义索引;将待查询语句输入到所述经训练的预训练语义表示模型,获得待查询语句的向量表示;将所述待查询语句的向量表示和所述句子库的语义索引进行匹配,获得查询结果。本发明的方法和系统能够提高语义检索的准确率和效率。

Patent Agency Ranking