公开(公告)号：CN115329784B

公开(公告)日：2023-04-07

申请号：CN202211245822.7

申请日：2022-10-12

Applicant: 之江实验室

Inventor： 谢冰 ,  尹越 ,  袭向明 ,  宋伟 ,  朱世强

IPC: G06F40/58 ,  G06F40/30 ,  G06F40/247 ,  G06F40/205 ,  G06F16/35 ,  G06F18/22

Abstract: 本发明公开了基于预训练模型的句子复述生成系统，包括复述生成模块、流利度过滤模块和语义过滤模块，复述生成模块用于生成复述，复述生成模块包括翻译生成、模型生成和同义词替换生成模块，翻译生成模块通过直译和回译两种方法生成复述，模型生成模块通过直接训练中文复述生成模型生成复述和利用英文复述生成模型间接生成中文复述，同义词生成模块通过替换原句中的同义词生成复述，本发明充分利用开源的预训练模型资源，利用翻译模型进行直接翻译生成复述和回译生成复述，提高生成复述的效率和多样性，利用预训练的语言模型将英语复述生成模型应用到中文复述生成中，使用多项措施确保生成高质量复述。

公开(公告)号：CN115329784A

公开(公告)日：2022-11-11

申请号：CN202211245822.7

申请日：2022-10-12

Applicant: 之江实验室

Inventor： 谢冰 ,  尹越 ,  袭向明 ,  宋伟 ,  朱世强

IPC: G06F40/58 ,  G06F40/30 ,  G06F40/247 ,  G06F40/205 ,  G06F16/35 ,  G06K9/62

Abstract: 本发明公开了基于预训练模型的句子复述生成系统，包括复述生成模块、流利度过滤模块和语义过滤模块，复述生成模块用于生成复述，复述生成模块包括翻译生成、模型生成和同义词替换生成模块，翻译生成模块通过直译和回译两种方法生成复述，模型生成模块通过直接训练中文复述生成模型生成复述和利用英文复述生成模型间接生成中文复述，同义词生成模块通过替换原句中的同义词生成复述，本发明充分利用开源的预训练模型资源，利用翻译模型进行直接翻译生成复述和回译生成复述，提高生成复述的效率和多样性，利用预训练的语言模型将英语复述生成模型应用到中文复述生成中，使用多项措施确保生成高质量复述。

公开(公告)号：CN116795972B

公开(公告)日：2024-01-09

申请号：CN202311010097.X

申请日：2023-08-11

Applicant: 之江实验室

Inventor： 谢冰 ,  宋伟 ,  朱世强 ,  王雨菡 ,  赵鑫安 ,  尹越 ,  袭向明

IPC: G06F16/332 ,  G06F40/211 ,  G06F40/289 ,  G06F18/214 ,  G06F40/30 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/084

Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，将若干个独立表达句输入该模型的生成器，以得到融合句，并将该融合句加入训练数据集，将该训练数据集中的待判别句输入该模型的来源判别器，以确定待判别句是否为原始句的判别结果，根据该判别结果分别确定该来源判别器的来源判别损失及生成器的来源生成损失，根据该来源生成损失及该来源判别损失，对该模型进行训练，其中，该模型的生成器用于将回复用户的若干独立表达句进行融合。本方法通过对模型中的生成器和来源判别器进行对抗训练，以使生成器生成接近原始句的融合句，获得语序正常、内容衔接自然不生硬的句子，(56)对比文件Jiaxian Guo.Long Text Generation viaAdversarial Training with LeakedInformation.arXiv.2017,第1-14页.

公开(公告)号：CN115879421B

公开(公告)日：2024-01-09

申请号：CN202310120728.7

申请日：2023-02-16

Applicant: 之江实验室

Inventor： 谢冰 ,  袭向明 ,  赵鑫安 ,  尹越 ,  宋伟 ,  朱世强

IPC: G06F40/166 ,  G06F40/284 ,  G06F40/117 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种增强BART预训练任务的句子排序方法及装置，包括如下步骤：步骤1、从文本资源中提取有序的句子作为原始训练数据；步骤2、对原始训练数据进行预处理；步骤3、用预处理后的训练数据训练BART模型；步骤4、将待排序的句子输入到训练完成的模型中进行预测排序。设计词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务进一步增强BART模型对句子语义和句间关系的特征提取能力。设计的预训练任务是一种多任务学习的训练方法，也是一种位置可控的句子排序方法，将排序控制信息通过句子标签序列的形式加到输入字符串中，模

公开(公告)号：CN116561339A

公开(公告)日：2023-08-08

申请号：CN202310522687.4

申请日：2023-05-10

Applicant: 之江实验室

Inventor： 宋伟 ,  王雨菡 ,  朱世强 ,  谢冰 ,  尹越 ,  赵鑫安 ,  姜娜 ,  赵文宇

IPC: G06F16/36 ,  G06F16/332 ,  G06F40/295 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请涉及一种知识图谱实体链接方法、装置、计算机设备及存储介质，该方法包括：基于问题样本、实体提及样本、知识图谱实体正样本和知识图谱实体邻接子图样本，获取训练数据正样本；基于问题样本、实体提及样本、知识图谱实体负样本和对应的知识图谱实体邻接子图样本，获取训练数据负样本；基于训练数据正样本、训练数据负样本对实体链接初始模型进行训练，得到实体链接模型；将用户问题、实体提及、候选知识图谱实体和对应的知识图谱实体邻接子图输入训练完成的实体链接模型，确定与实体提及链接的目标知识图谱实体，解决了相关技术中存在的问答场景中实体一致性模型效果不佳，实体链接准确性较低的问题。

公开(公告)号：CN116127952A

公开(公告)日：2023-05-16

申请号：CN202310088091.8

申请日：2023-01-16

Applicant: 之江实验室

Inventor： 赵鑫安 ,  宋伟 ,  朱世强 ,  谢冰 ,  袭向明 ,  尹越 ,  王雨菡

IPC: G06F40/232 ,  G06F40/126 ,  G06F18/25 ,  G06F16/332 ,  G06F40/216 ,  G06F16/35 ,  G06F40/169 ,  G06F18/22

Abstract: 一种多粒度中文文本纠错方法，包括：对待纠错的中文文本进行预处理；构建名词知识库和文本纠错训练语料；使用预训练语言模型对输入待纠错的文本进行向量编码，并融合文本的语音信息，得到字符向量序列；基于神经网络检测文本中的字粒度和词粒度错误，得到错误字集合和错误词集合；对检测得到的字粒度和词粒度的错误分别进行纠正，得到字、词粒度错误的候选替换字、词；使用多任务学习的方式联合训练整个模型；将字、词粒度纠正结果进行融合，得到纠错后的文本。本发明还包括一种多粒度中文文本纠错装置。本发明可以有效地对文本中的多粒度(字粒度和词粒度)错误进行纠错，并采用多任务学习的方式训练整个模型，具有很好的纠错准确性和实用性。

公开(公告)号：CN115879421A

公开(公告)日：2023-03-31

申请号：CN202310120728.7

申请日：2023-02-16

Applicant: 之江实验室

Inventor： 谢冰 ,  袭向明 ,  赵鑫安 ,  尹越 ,  宋伟 ,  朱世强

IPC: G06F40/166 ,  G06F40/284 ,  G06F40/117 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种增强BART预训练任务的句子排序方法及装置，包括如下步骤：步骤1、从文本资源中提取有序的句子作为原始训练数据；步骤2、对原始训练数据进行预处理；步骤3、用预处理后的训练数据训练BART模型；步骤4、将待排序的句子输入到训练完成的模型中进行预测排序。设计词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务进一步增强BART模型对句子语义和句间关系的特征提取能力。设计的预训练任务是一种多任务学习的训练方法，也是一种位置可控的句子排序方法，将排序控制信息通过句子标签序列的形式加到输入字符串中，模型会根据输入的排序控制信息进行句子排序。