-
-
公开(公告)号：CN116136957B
公开(公告)日：2023-07-07
申请号：CN202310410370.1
申请日：2023-04-18
Applicant: 之江实验室
IPC: G06F40/232 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于意图一致性的文本纠错方法、装置和介质，该方法包括：收集原始纠错数据进行预处理和标注，构建文本纠错模型的纠错数据集；构建基于神经网络的文本纠错模型，将待纠错文本输入至文本纠错模型输出第一字符概率分布；使用第一字符概率分布及其对应的真实标签计算纠错损失值作为第一损失值；使用第一字符概率分布计算基于意图一致性得分的纠错损失值作为第二损失值；基于第一损失值和第二损失值，以两阶段训练的方式训练文本纠错模型，以获取训练好的最终的文本纠错模型；将待纠错文本输入训练得到的文本纠错模型进行纠错，输出纠错后文本。本发明可以有效地降低文本纠错模型的误纠率，提高纠错准确率，具有很强的实用性。
-
公开(公告)号：CN116136957A
公开(公告)日：2023-05-19
申请号：CN202310410370.1
申请日：2023-04-18
Applicant: 之江实验室
IPC: G06F40/232 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于意图一致性的文本纠错方法、装置和介质，该方法包括：收集原始纠错数据进行预处理和标注，构建文本纠错模型的纠错数据集；构建基于神经网络的文本纠错模型，将待纠错文本输入至文本纠错模型输出第一字符概率分布；使用第一字符概率分布及其对应的真实标签计算纠错损失值作为第一损失值；使用第一字符概率分布计算基于意图一致性得分的纠错损失值作为第二损失值；基于第一损失值和第二损失值，以两阶段训练的方式训练文本纠错模型，以获取训练好的最终的文本纠错模型；将待纠错文本输入训练得到的文本纠错模型进行纠错，输出纠错后文本。本发明可以有效地降低文本纠错模型的误纠率，提高纠错准确率，具有很强的实用性。
-
公开(公告)号：CN117034942B
公开(公告)日：2024-01-09
申请号：CN202311286040.2
申请日：2023-10-07
Applicant: 之江实验室
IPC: G06F40/295 , G06F40/216 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种命名实体识别方法、装置、设备及可读存储介质，将待识别文本输入预先训练的命名实体识别模型，通过字符特征提取模块确定待识别文本中各字符的字符特征向量，通过字符片段特征提取模块得到待识别文本中各字符片段的字符片段特征向量，根据所述待识别文本中各字符片段分别对应的字符片段特征向量，以及所述命名实体识别模型中二维条件随机场实体标签预测模块，确定所述待识别文本对应于各预设实体类别组合的条件概率，从而确定所述待识别文本包含的命名实体信息。可见，上述方案中，通过命名实体识别模型中二维条件随机场实体标签预测模块，能够有效识别待识别文本中的嵌套实体，从而提高实体识别的准确性。
-
公开(公告)号：CN117171346A
公开(公告)日：2023-12-05
申请号：CN202311153257.6
申请日：2023-09-07
Applicant: 之江实验室
IPC: G06F16/35 , G06F16/33 , G06F40/295 , G06F40/30
Abstract: 本说明书公开了一种实体链接方法、装置、存储介质及电子设备。所述实体链接方法包括：获取待链接文本、待链接文本中包含的各实体提及，根据预先确定的实体提及与实体之间的映射关系表，确定待链接文本中包含的每个实体提及对应的候选实体，将待链接文本、待链接文本中包含的各实体提及、预设的候选实体的描述文本输入到预先训练的实体链接模型中，以通过实体链接模型确定每个候选实体的描述文本的特征表示与待链接文本的特征表示之间的细粒度交互特征表示，并确定每个候选实体为目标链接实体的概率，以根据概率，从各候选实体中确定出待链接文本对应的目标链接实体，并根据目标链接实体进行任务执行。
-
Patent Agency Ranking
公开(公告)号：CN116795972A
公开(公告)日：2023-09-22
申请号：CN202311010097.X
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/211 , G06F40/289 , G06F18/214 , G06F40/30 , G06F18/25 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，将若干个独立表达句输入该模型的生成器，以得到融合句，并将该融合句加入训练数据集，将该训练数据集中的待判别句输入该模型的来源判别器，以确定待判别句是否为原始句的判别结果，根据该判别结果分别确定该来源判别器的来源判别损失及生成器的来源生成损失，根据该来源生成损失及该来源判别损失，对该模型进行训练，其中，该模型的生成器用于将回复用户的若干独立表达句进行融合。本方法通过对模型中的生成器和来源判别器进行对抗训练，以使生成器生成接近原始句的融合句，获得语序正常、内容衔接自然不生硬的句子，来源判别器更精准判断输入的句子是否为原始句。
-
公开(公告)号：CN116795972B
公开(公告)日：2024-01-09
申请号：CN202311010097.X
申请日：2023-08-11
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/211 , G06F40/289 , G06F18/214 , G06F40/30 , G06F18/25 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，将若干个独立表达句输入该模型的生成器，以得到融合句，并将该融合句加入训练数据集，将该训练数据集中的待判别句输入该模型的来源判别器，以确定待判别句是否为原始句的判别结果，根据该判别结果分别确定该来源判别器的来源判别损失及生成器的来源生成损失，根据该来源生成损失及该来源判别损失，对该模型进行训练，其中，该模型的生成器用于将回复用户的若干独立表达句进行融合。本方法通过对模型中的生成器和来源判别器进行对抗训练，以使生成器生成接近原始句的融合句，获得语序正常、内容衔接自然不生硬的句子，(56)对比文件Jiaxian Guo.Long Text Generation viaAdversarial Training with LeakedInformation.arXiv.2017,第1-14页.
-
公开(公告)号：CN115879421B
公开(公告)日：2024-01-09
申请号：CN202310120728.7
申请日：2023-02-16
Applicant: 之江实验室
IPC: G06F40/166 , G06F40/284 , G06F40/117 , G06N3/0499 , G06N3/08
Abstract: 本发明公开了一种增强BART预训练任务的句子排序方法及装置，包括如下步骤：步骤1、从文本资源中提取有序的句子作为原始训练数据；步骤2、对原始训练数据进行预处理；步骤3、用预处理后的训练数据训练BART模型；步骤4、将待排序的句子输入到训练完成的模型中进行预测排序。设计词性标注预训练任务、句子掩盖预训练任务、句子删除预训练任务、句子填充预训练任务和句子旋转预训练任务进一步增强BART模型对句子语义和句间关系的特征提取能力。设计的预训练任务是一种多任务学习的训练方法，也是一种位置可控的句子排序方法，将排序控制信息通过句子标签序列的形式加到输入字符串中，模
-
公开(公告)号：CN116561339A
公开(公告)日：2023-08-08
申请号：CN202310522687.4
申请日：2023-05-10
Applicant: 之江实验室
IPC: G06F16/36 , G06F16/332 , G06F40/295 , G06N3/042 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种知识图谱实体链接方法、装置、计算机设备及存储介质，该方法包括：基于问题样本、实体提及样本、知识图谱实体正样本和知识图谱实体邻接子图样本，获取训练数据正样本；基于问题样本、实体提及样本、知识图谱实体负样本和对应的知识图谱实体邻接子图样本，获取训练数据负样本；基于训练数据正样本、训练数据负样本对实体链接初始模型进行训练，得到实体链接模型；将用户问题、实体提及、候选知识图谱实体和对应的知识图谱实体邻接子图输入训练完成的实体链接模型，确定与实体提及链接的目标知识图谱实体，解决了相关技术中存在的问答场景中实体一致性模型效果不佳，实体链接准确性较低的问题。
-
公开(公告)号：CN116127952A
公开(公告)日：2023-05-16
申请号：CN202310088091.8
申请日：2023-01-16
Applicant: 之江实验室
IPC: G06F40/232 , G06F40/126 , G06F18/25 , G06F16/332 , G06F40/216 , G06F16/35 , G06F40/169 , G06F18/22
Abstract: 一种多粒度中文文本纠错方法，包括：对待纠错的中文文本进行预处理；构建名词知识库和文本纠错训练语料；使用预训练语言模型对输入待纠错的文本进行向量编码，并融合文本的语音信息，得到字符向量序列；基于神经网络检测文本中的字粒度和词粒度错误，得到错误字集合和错误词集合；对检测得到的字粒度和词粒度的错误分别进行纠正，得到字、词粒度错误的候选替换字、词；使用多任务学习的方式联合训练整个模型；将字、词粒度纠正结果进行融合，得到纠错后的文本。本发明还包括一种多粒度中文文本纠错装置。本发明可以有效地对文本中的多粒度(字粒度和词粒度)错误进行纠错，并采用多任务学习的方式训练整个模型，具有很好的纠错准确性和实用性。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.017 seconds)
