公开(公告)号：CN112613582B

公开(公告)日：2022-06-24

申请号：CN202110007332.2

申请日：2021-01-05

Applicant: 重庆邮电大学

Inventor： 邓维斌 ,  朱坤 ,  胡峰 ,  李云波 ,  王崇宇 ,  彭露 ,  黄龙海 ,  陈航

IPC: G06K9/62 ,  G06F40/279 ,  G06F40/211 ,  G06F40/216 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于深度学习混合模型的争议焦点检测方法及装置，属于自然语言处理领域。该方法包括以下步骤：①构建争议焦点树库；②完成数据的标注并得到数据集；③得到完整可训练的数据集；④将步骤S3得到的数据集进行中文数据预处理；⑤利用BERT‑wwm模型得到文本字向量矩阵；⑥使用LSTM网络模型提取文本全局语义特征；使用TextCNN模型的多种卷积核提取文本不同粒度的局部语义特征；将两个模型的概率结果进行平均计算，设定阈值进行预测，输出概率超过阈值的争议焦点。本发明针对单模型不能同时捕捉并利用多层面语义特征的问题，提供了一种混合模型的争议焦点预测方法，大大提升了预测精度。

公开(公告)号：CN112784047B

公开(公告)日：2023-02-28

申请号：CN202110098164.2

申请日：2021-01-25

Applicant: 重庆邮电大学

Inventor： 刘群 ,  王崇宇 ,  邓维斌 ,  王国胤 ,  朱坤 ,  李云波 ,  彭露

IPC: G06F16/35 ,  G06F16/31 ,  G06F16/33

Abstract: 本发明涉及一种基于自注意力机制的可控可解释司法文本分类方法，属于自然语言处理文本分类领域。该方法提出了Leadformer模型，在Leadformer上人为的设定每个头的作用，分为关键词头与多粒度上下文头，做到宏观上的可控可解释，在关键词头上，以自注意力机制为着力点，采用多任务学习，文本分类任务结合关键词抽取任务，使模型受人为控制地注意在可作为分类解释的词语上，做到微观上的可控可解释。本发明应用于司法领域，能够在高准确率分类的同时，给出分类的解释，并且人为控制注意力矩阵注意在与此类案由相关的关键词上，使相关人员能信任此分类结果。

公开(公告)号：CN112765345A

公开(公告)日：2021-05-07

申请号：CN202110088451.5

申请日：2021-01-22

Applicant: 重庆邮电大学

Inventor： 邓维斌 ,  李云波 ,  胡峰 ,  王崇宇 ,  朱坤 ,  彭露

IPC: G06F16/34 ,  G06F16/335 ,  G06F40/126 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种融合预训练模型的文本摘要自动生成方法及系统，属于文本摘要自动生成技术领域。该系统在传统Sequence‑to‑Sequence模型和Transformer框架的基础上，使用BERT作为编码器来获取原始文本的上下文语义特征，同时加入卷积神经网络作为门控，对特征向量进行关键词和关键短语的筛选。在解码器阶段使用Transformer Decoder的基础上，增加了指针机制，使得摘要生成模型能够更好地解决生成过程中遇到的词汇不足OOV问题，从而提高生成摘要的可读性，最后生成阶段采用beam search的方法生成最好的摘要法律文本。

公开(公告)号：CN112613582A

公开(公告)日：2021-04-06

申请号：CN202110007332.2

申请日：2021-01-05

Applicant: 重庆邮电大学

Inventor： 邓维斌 ,  朱坤 ,  胡峰 ,  李云波 ,  王崇宇 ,  彭露 ,  黄龙海 ,  陈航

IPC: G06K9/62 ,  G06F40/279 ,  G06F40/211 ,  G06F40/216 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于深度学习混合模型的争议焦点检测方法及装置，属于自然语言处理领域。该方法包括以下步骤：①构建争议焦点树库；②完成数据的标注并得到数据集；③得到完整可训练的数据集；④将步骤S3得到的数据集进行中文数据预处理；⑤利用BERT‑wwm模型得到文本字向量矩阵；⑥使用LSTM网络模型提取文本全局语义特征；使用TextCNN模型的多种卷积核提取文本不同粒度的局部语义特征；将两个模型的概率结果进行平均计算，设定阈值进行预测，输出概率超过阈值的争议焦点。本发明针对单模型不能同时捕捉并利用多层面语义特征的问题，提供了一种混合模型的争议焦点预测方法，大大提升了预测精度。

公开(公告)号：CN112784047A

公开(公告)日：2021-05-11

申请号：CN202110098164.2

申请日：2021-01-25

Applicant: 重庆邮电大学

Inventor： 刘群 ,  王崇宇 ,  邓维斌 ,  王国胤 ,  朱坤 ,  李云波 ,  彭露

IPC: G06F16/35 ,  G06F16/31 ,  G06F16/33

Abstract: 本发明涉及一种基于自注意力机制的可控可解释司法文本分类方法，属于自然语言处理文本分类领域。该方法提出了Leadformer模型，在Leadformer上人为的设定每个头的作用，分为关键词头与多粒度上下文头，做到宏观上的可控可解释，在关键词头上，以自注意力机制为着力点，采用多任务学习，文本分类任务结合关键词抽取任务，使模型受人为控制地注意在可作为分类解释的词语上，做到微观上的可控可解释。本发明应用于司法领域，能够在高准确率分类的同时，给出分类的解释，并且人为控制注意力矩阵注意在与此类案由相关的关键词上，使相关人员能信任此分类结果。