-
公开(公告)号:CN119378563B
公开(公告)日:2025-03-21
申请号:CN202411946424.7
申请日:2024-12-27
Applicant: 华东交通大学
IPC: G06F40/30 , G06F40/211 , G06F16/35 , G06N3/045
Abstract: 本发明提供一种大语言模型生成数据增强的隐式篇章关系识别方法,基于大语言模型的数据生成模块利用预定义的提示引导大语言模型在原始实例的基础上分别生成多样性增强的实例和上下文增强的实例,基于预训练模型的编码模块用于编码实例中各论元的初始语义矩阵表示,多级交互模块基于双向注意力机制建模原始实例与数据增强实例之间的交互,分别得到原始实例的最终语义向量表示、多样性增强后实例的最终语义向量表示和上下文增强后实例的最终语义向量表示,动态分类模块分别以三种最终语义向量表示作为输入进行分类,并选择可信度最高的分类结果作为最终预测结果。本发明能够解决现有技术实用性不强、理解不够准确的问题。
-
公开(公告)号:CN118013962B
公开(公告)日:2024-06-21
申请号:CN202410417577.6
申请日:2024-04-09
Applicant: 华东交通大学
IPC: G06F40/284 , G06F40/30 , G06F40/289 , G06N3/0442
Abstract: 本发明提供一种基于双向序列生成的汉语篇章连接词识别方法,通过句子预处理及编码模块学习候选篇章连接词的初始语义向量表示,基于Longformer的段落编码模块通过全局注意力机制和局部注意力机制引入段落级别的上下文信息,计算候选篇章连接词的最终语义向量表示,基于双向序列生成的预测模块包括正向生成层和反向生成层,分别使用两个长短时记忆网络从左至右和从右至左预测篇章连接词序列,实现篇章连接词的识别,此外,通过后处理模块处理复合连接词的识别问题,并通过互学习代价增强的训练模块使正向生成层和反向生成层能相互学习,提升识别的性能,本发明能够充分捕获篇章连接词之间双向长距离的依赖关系,显著地提高汉语篇章连接词识别的性能。
-
公开(公告)号:CN118013962A
公开(公告)日:2024-05-10
申请号:CN202410417577.6
申请日:2024-04-09
Applicant: 华东交通大学
IPC: G06F40/284 , G06F40/30 , G06F40/289 , G06N3/0442
Abstract: 本发明提供一种基于双向序列生成的汉语篇章连接词识别方法,通过句子预处理及编码模块学习候选篇章连接词的初始语义向量表示,基于Longformer的段落编码模块通过全局注意力机制和局部注意力机制引入段落级别的上下文信息,计算候选篇章连接词的最终语义向量表示,基于双向序列生成的预测模块包括正向生成层和反向生成层,分别使用两个长短时记忆网络从左至右和从右至左预测篇章连接词序列,实现篇章连接词的识别,此外,通过后处理模块处理复合连接词的识别问题,并通过互学习代价增强的训练模块使正向生成层和反向生成层能相互学习,提升识别的性能,本发明能够充分捕获篇章连接词之间双向长距离的依赖关系,显著地提高汉语篇章连接词识别的性能。
-
公开(公告)号:CN118153566B
公开(公告)日:2024-07-19
申请号:CN202410566175.2
申请日:2024-05-09
Applicant: 华东交通大学
IPC: G06F40/279 , G06F40/216 , G06F16/35
Abstract: 本发明提供一种段落大意引导的汉语篇章结构分析方法,应用于段落大意引导的汉语篇章结构分析模型,该模型包括融合词信息的字级编码模块,文本块级稀疏Transformer编码模块、基于指针网络的解码模块、基本文本摘要语料的预训练模块和基于篇章语料的训练模块。本发明充分利用了汉语篇章结构的特性,实质性地提高了汉语篇章结构分析的性能,具有较强的实用价值,该方法为端到端的自顶向下分析方法,不需要以切分好的基本篇章单元作为输入,有效地避免了错误传播问题,提高了方法的适用性;本发明能较好地学习输入文本的段落大意,并把这种全局信息和段落中文本块的表示等局部信息有效融合,以引导整个篇章结构树的构建,达到提高分析性能的目的。
-
公开(公告)号:CN118153566A
公开(公告)日:2024-06-07
申请号:CN202410566175.2
申请日:2024-05-09
Applicant: 华东交通大学
IPC: G06F40/279 , G06F40/216 , G06F16/35
Abstract: 本发明提供一种段落大意引导的汉语篇章结构分析方法,应用于段落大意引导的汉语篇章结构分析模型,该模型包括融合词信息的字级编码模块,文本块级稀疏Transformer编码模块、基于指针网络的解码模块、基本文本摘要语料的预训练模块和基于篇章语料的训练模块。本发明充分利用了汉语篇章结构的特性,实质性地提高了汉语篇章结构分析的性能,具有较强的实用价值,该方法为端到端的自顶向下分析方法,不需要以切分好的基本篇章单元作为输入,有效地避免了错误传播问题,提高了方法的适用性;本发明能较好地学习输入文本的段落大意,并把这种全局信息和段落中文本块的表示等局部信息有效融合,以引导整个篇章结构树的构建,达到提高分析性能的目的。
-
公开(公告)号:CN119378563A
公开(公告)日:2025-01-28
申请号:CN202411946424.7
申请日:2024-12-27
Applicant: 华东交通大学
IPC: G06F40/30 , G06F40/211 , G06F16/35 , G06N3/045
Abstract: 本发明提供一种大语言模型生成数据增强的隐式篇章关系识别方法,基于大语言模型的数据生成模块利用预定义的提示引导大语言模型在原始实例的基础上分别生成多样性增强的实例和上下文增强的实例,基于预训练模型的编码模块用于编码实例中各论元的初始语义矩阵表示,多级交互模块基于双向注意力机制建模原始实例与数据增强实例之间的交互,分别得到原始实例的最终语义向量表示、多样性增强后实例的最终语义向量表示和上下文增强后实例的最终语义向量表示,动态分类模块分别以三种最终语义向量表示作为输入进行分类,并选择可信度最高的分类结果作为最终预测结果。本发明能够解决现有技术实用性不强、理解不够准确的问题。
-
-
-
-
-