公开(公告)号：CN111178525A

公开(公告)日：2020-05-19

申请号：CN201911349816.4

申请日：2019-12-24

Applicant: 重庆邮电大学

Inventor： 李琳 ,  徐亦农 ,  杨苗苗 ,  赖彬彬 ,  刘凡

IPC: G06N3/08

Abstract: 本发明请求保护一种基于剪枝的卷积神经网络压缩方法、系统及介质，包括步骤：对训练数据进行预处理；初始化卷积神经网络模型的权重；计算网络连接的显著度，以显著度的分数作为评估连接重要性的标准，并对显著度进行排序：对卷积神经网络进行剪枝，保留top-k的连接，使得网络稀疏化：训练稀疏化后的卷积神经网络模型，直到模型收敛。本发明在训练之前对网络进行裁剪，省去了预训练和微调流程，极大地简化了剪枝过程的同时保持了网络的准确率，同时通过显著度分数结构化地选择重要的连接，对于不同的网络结构具有鲁棒性，因此可以应用到多种网络结构中而不需要进行过多的调整。

公开(公告)号：CN112434514A

公开(公告)日：2021-03-02

申请号：CN202011333910.3

申请日：2020-11-25

Applicant: 重庆邮电大学

Inventor： 李琳 ,  赖彬彬 ,  黄江平 ,  刘凡 ,  蹇杰安

IPC: G06F40/211 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于自然语言处理领域，设特别涉及一种基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备，所述方法包括使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示，并进行预处理；使用双向长短时记忆网络提取句子表示矩阵的上下文知识，并使用余弦距离处理双向长短时记忆网络提取的特征；使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征；将获取的两种不同的匹配向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果；本发明使用双向长短时记忆网络提取全局特征，使用自注意力机制侧重局部特征，使得模型学习到的权重更加全面，更加精准。

公开(公告)号：CN112434514B

公开(公告)日：2022-06-21

申请号：CN202011333910.3

申请日：2020-11-25

Applicant: 重庆邮电大学

Inventor： 李琳 ,  赖彬彬 ,  黄江平 ,  刘凡 ,  蹇杰安

IPC: G06F40/211 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于自然语言处理领域，设特别涉及一种基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备，所述方法包括使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示，并进行预处理；使用双向长短时记忆网络提取句子表示矩阵的上下文知识，并使用余弦距离处理双向长短时记忆网络提取的特征；使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征；将获取的两种不同的匹配向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果；本发明使用双向长短时记忆网络提取全局特征，使用自注意力机制侧重局部特征，使得模型学习到的权重更加全面，更加精准。