一种增强BART预训练任务的句子排序方法及装置

    公开(公告)号:CN115879421A

    公开(公告)日:2023-03-31

    申请号:CN202310120728.7

    申请日:2023-02-16

    Abstract: 本发明公开了一种增强BART预训练任务的句子排序方法及装置,包括如下步骤:步骤1、从文本资源中提取有序的句子作为原始训练数据;步骤2、对原始训练数据进行预处理;步骤3、用预处理后的训练数据训练BART模型;步骤4、将待排序的句子输入到训练完成的模型中进行预测排序。设计词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务进一步增强BART模型对句子语义和句间关系的特征提取能力。设计的预训练任务是一种多任务学习的训练方法,也是一种位置可控的句子排序方法,将排序控制信息通过句子标签序列的形式加到输入字符串中,模型会根据输入的排序控制信息进行句子排序。

    一种基于大语言模型的智能对话方法、装置、介质及设备

    公开(公告)号:CN117076650B

    公开(公告)日:2024-02-23

    申请号:CN202311328288.0

    申请日:2023-10-13

    Abstract: 在本说明书提供的基于大语言模型的智能对话方法,根据用户输入的第一文本的分类结果,确定不同的对话方法,当用户输入的第一文本为非知识类文本时,将第一文本输入第三方大语言模型确定返回用户的目标文本。当用户输入的第一文本为知识类文本时,对第一文本进行本地搜索和线上搜索,再将第一文本和所有的搜索结果输入本地大语言模型,确定返回用户的目标文本,若不存在关联度大于预设值的检索结果,则将第一文本输入第三方大语言模型,将第三方大语言模型的输出结果作为返回用户的目标文本。通过在系统中融合若干个本地模型,减少了对第三方大语言模型的调用,降低了智能对话系统的使用成本的同时,也降低了智能对话过程的时延。

    一种机器阅读方法、装置、存储介质及电子设备

    公开(公告)号:CN116720008B

    公开(公告)日:2024-01-09

    申请号:CN202311010113.5

    申请日:2023-08-11

    Abstract: 本说明书公开了一种机器阅读方法、装置、存储介质及电子设备。在采用本说明书提供的机器阅读方法,确定目标问题的目标答案时,可通过搜索引擎获取目标问题的候选文本,并以匹配度计算的方式确定出与目标问题匹配的匹配文本;通过预先训练的阅读模型以及生成式模型,根据目标问题与匹配文本,分别得到第一候选答案和第二候选答案;最终根据目标问题与各候选答案之间的相似度确定出最终的候选答案并回复给用户。在采用本方法时可无需预先设置具有庞大数据量的问答模板以及知识库等内容,实施成本较低,且能够适用于多种不同的场景,灵活性较强。

    一种机器阅读方法、装置、存储介质及电子设备

    公开(公告)号:CN116720008A

    公开(公告)日:2023-09-08

    申请号:CN202311010113.5

    申请日:2023-08-11

    Abstract: 本说明书公开了一种机器阅读方法、装置、存储介质及电子设备。在采用本说明书提供的机器阅读方法,确定目标问题的目标答案时,可通过搜索引擎获取目标问题的候选文本,并以匹配度计算的方式确定出与目标问题匹配的匹配文本;通过预先训练的阅读模型以及生成式模型,根据目标问题与匹配文本,分别得到第一候选答案和第二候选答案;最终根据目标问题与各候选答案之间的相似度确定出最终的候选答案并回复给用户。在采用本方法时可无需预先设置具有庞大数据量的问答模板以及知识库等内容,实施成本较低,且能够适用于多种不同的场景,灵活性较强。

    一种基于对比学习的中文拼写纠错方法、装置和介质

    公开(公告)号:CN116127953B

    公开(公告)日:2023-07-25

    申请号:CN202310410135.4

    申请日:2023-04-18

    Abstract: 本发明公开了一种基于对比学习的中文拼写纠错方法、装置和介质,该方法首先收集原始纠错数据并进行预处理;然后根据预处理后的纠错数据构建中文拼写纠错模型的数据集;再构建包括embedding模块、编码器、错误检测网络和错误纠正网络的中文拼写纠错模型,将待纠错文本输入中文拼写纠错模型输出字符编码向量序列、字符错误概率序列和正确字符概率分布;其次基于对比学习使用数据集对中文拼写纠错模型进行训练,根据损失函数值更新参数,并保存训练好的中文拼写纠错模型;最后将待纠错文本输入训练好的中文拼写纠错模型进行纠错,以获取纠错后的文本。本发明可以有效地提升中文拼写纠错模型的鲁棒性和纠错准确率,具有很强的实用性。

    一种基于大语言模型的智能对话方法、装置、介质及设备

    公开(公告)号:CN117076650A

    公开(公告)日:2023-11-17

    申请号:CN202311328288.0

    申请日:2023-10-13

    Abstract: 在本说明书提供的基于大语言模型的智能对话方法,根据用户输入的第一文本的分类结果,确定不同的对话方法,当用户输入的第一文本为非知识类文本时,将第一文本输入第三方大语言模型确定返回用户的目标文本。当用户输入的第一文本为知识类文本时,对第一文本进行本地搜索和线上搜索,再将第一文本和所有的搜索结果输入本地大语言模型,确定返回用户的目标文本,若不存在关联度大于预设值的检索结果,则将第一文本输入第三方大语言模型,将第三方大语言模型的输出结果作为返回用户的目标文本。通过在系统中融合若干个本地模型,减少了对第三方大语言模型的调用,降低了智能对话系统的使用成本的同时,也降低了智能对话过程的时延。

    一种命名实体识别方法、装置、设备及可读存储介质

    公开(公告)号:CN117034942A

    公开(公告)日:2023-11-10

    申请号:CN202311286040.2

    申请日:2023-10-07

    Abstract: 本说明书公开了一种命名实体识别方法、装置、设备及可读存储介质,将待识别文本输入预先训练的命名实体识别模型,通过字符特征提取模块确定待识别文本中各字符的字符特征向量,通过字符片段特征提取模块得到待识别文本中各字符片段的字符片段特征向量,根据所述待识别文本中各字符片段分别对应的字符片段特征向量,以及所述命名实体识别模型中二维条件随机场实体标签预测模块,确定所述待识别文本对应于各预设实体类别组合的条件概率,从而确定所述待识别文本包含的命名实体信息。可见,上述方案中,通过命名实体识别模型中二维条件随机场实体标签预测模块,能够有效识别待识别文本中的嵌套实体,从而提高实体识别的准确性。

    一种参考外部知识的指代消解方法及装置

    公开(公告)号:CN116562303A

    公开(公告)日:2023-08-08

    申请号:CN202310810661.X

    申请日:2023-07-04

    Abstract: 本发明公开了一种参考外部知识的指代消解方法及装置,该方法首先输入句子训练提及识别模型,该模型标记出句子中的提及;输入指定两个或三个提及的句子拼接上提及对应的知识,训练关系分类模型判断指定提及中是否有共指关系,并标记出存在共指关系的提及。训练好模型后用于指代消解。本发明方法在参考外部知识进行指代消解的过程中,考虑了句子整体的语义信息。关系分类模型训练过程中,训练模型判断提及间是否存在共指关系,以及训练模型标记出存在共指关系的提及,并且输入有指代三个提及时,这种训练方法使得模型对提及和共指关系的理解更深刻,使模型有更强的指代消解能力。

    一种基于对比学习的中文拼写纠错方法、装置和介质

    公开(公告)号:CN116127953A

    公开(公告)日:2023-05-16

    申请号:CN202310410135.4

    申请日:2023-04-18

    Abstract: 本发明公开了一种基于对比学习的中文拼写纠错方法、装置和介质,该方法首先收集原始纠错数据并进行预处理;然后根据预处理后的纠错数据构建中文拼写纠错模型的数据集;再构建包括embedding模块、编码器、错误检测网络和错误纠正网络的中文拼写纠错模型,将待纠错文本输入中文拼写纠错模型输出字符编码向量序列、字符错误概率序列和正确字符概率分布;其次基于对比学习使用数据集对中文拼写纠错模型进行训练,根据损失函数值更新参数,并保存训练好的中文拼写纠错模型;最后将待纠错文本输入训练好的中文拼写纠错模型进行纠错,以获取纠错后的文本。本发明可以有效地提升中文拼写纠错模型的鲁棒性和纠错准确率,具有很强的实用性。

Patent Agency Ranking