公开(公告)号：CN117909494A

公开(公告)日：2024-04-19

申请号：CN202410321411.4

申请日：2024-03-20

Applicant: 北京建筑大学

Inventor： 魏楚元 ,  张森

IPC: G06F16/34 ,  G06F40/211 ,  G06F40/289 ,  G06F40/295 ,  G06F40/30 ,  G06F18/214 ,  G06F18/22

Abstract: 本申请提供一种摘要一致性评估模型训练方法和装置，涉及文本处理领域。本申请提供的摘要一致评估模型训练方法包括：获取通用摘要数据集，基于正处理规则和负处理规则对通用摘要数据集进行处理形成训练样本；基于通用摘要数据集、正训练样本、负训练样本和人工标注的领域摘要数据集构建混合样本；根据实际训练样本中样本的来源，确定实际训练样本中各个样本的增强方式，构建增强后实际训练样本；对增强后实际训练样本进行掩码，基于掩码后的样本对摘要一致评估模型进行训练，不同训练轮次的增强后实际训练样本的掩码方式不同；判断摘要一致评估模型是否训练完毕，若是，返回确定语言模型的训练轮次的步骤；否则，完成摘要一致评估模型的训练。

公开(公告)号：CN119202237A

公开(公告)日：2024-12-27

申请号：CN202411390625.3

申请日：2024-10-08

Applicant: 北京建筑大学

Inventor： 吕橙 ,  魏楚元 ,  张森 ,  黄明

IPC: G06F16/34 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/092

Abstract: 本申请提供一种长文本摘要快速生成方法、模型训练方法和装置。本申请提供的长文本摘要快速生成方法包括：获取待摘要的长文本，并对长文本进行分块，得到多个文本块；摘要编码器读取第i个文本块，计算第i个文本块的前向隐藏状态和后向隐藏状态；基于第i个文本块的前向隐藏状态和后向隐藏状态预测跳读位置；基于跳读位置确定下一待读取的文本块编号，作为最新的i值，返回摘要编码器读取第i个文本块的步骤；组合所有已读取的文本块的前向隐藏状态和后向隐藏状态，获得编码器输出的第一隐藏表示；添加各个已读取的文本块的位置信息嵌入表示，重构第一隐藏表示，以获得第二隐藏嵌入表示；摘要解码器基于第二隐藏嵌入表示预测输出长文本的摘要。

公开(公告)号：CN117909494B

公开(公告)日：2024-06-07

申请号：CN202410321411.4

申请日：2024-03-20

Applicant: 北京建筑大学

Inventor： 魏楚元 ,  张森

IPC: G06F16/34 ,  G06F40/211 ,  G06F40/289 ,  G06F40/295 ,  G06F40/30 ,  G06F18/214 ,  G06F18/22

Abstract: 本申请提供一种摘要一致性评估模型训练方法和装置，涉及文本处理领域。本申请提供的摘要一致评估模型训练方法包括：获取通用摘要数据集，基于正处理规则和负处理规则对通用摘要数据集进行处理形成训练样本；基于通用摘要数据集、正训练样本、负训练样本和人工标注的领域摘要数据集构建混合样本；根据实际训练样本中样本的来源，确定实际训练样本中各个样本的增强方式，构建增强后实际训练样本；对增强后实际训练样本进行掩码，基于掩码后的样本对摘要一致评估模型进行训练，不同训练轮次的增强后实际训练样本的掩码方式不同；判断摘要一致评估模型是否训练完毕，若是，返回确定语言模型的训练轮次的步骤；否则，完成摘要一致评估模型的训练。