公开(公告)号：CN116340506A

公开(公告)日：2023-06-27

申请号：CN202310003775.3

申请日：2023-01-03

Applicant: 重庆邮电大学

Inventor： 唐贤伦 ,  周朝宇 ,  谢颖 ,  万辉 ,  丁河长 ,  党晓圆 ,  徐梓辉 ,  孙霞 ,  王会明

IPC: G06F16/35 ,  G06F40/30 ,  G06N3/08 ,  G06F40/242 ,  G06F40/289 ,  G06N3/0464

Abstract: 本发明请求保护一种基于BERT和无池化卷积神经网络的文本分类方法，步骤包括：对原始中文新闻文本进行分词、转换文本序列等预处理；将新闻文本输入BERT模型中得到词嵌入向量输出，基于BERT模型的多头注意力机制可以更充分地保留全局语义信息；将词嵌入向量输入卷积神经网络并对卷积神经网络进行优化，在卷积层使用三个不同大小的卷积核提取更加丰富的局部语义信息，以及取消池化层避免池化操作造成的部分语义信息丢失问题；将训练得到的参数作为网络模型的初始参数；最后将无池化卷积神经网络的输出输入全连接层实现分类。本发明具有良好的收敛性和稳定性，同时能够提高文本分类准确率。