公开(公告)号：CN113987171A

公开(公告)日：2022-01-28

申请号：CN202111222503.X

申请日：2021-10-20

Applicant: 绍兴达道生涯教育信息咨询有限公司 ,  杭州电子科技大学

Inventor： 黄孝喜 ,  童伟 ,  王荣波 ,  谌志群 ,  姚金良

IPC: G06F16/35 ,  G06F16/951 ,  G06F40/205 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练模型变种的新闻文本分类方法及系统，属于文本分类领域。本发明采用BERT和RNN复合模型对数据集中的特征进行有效提取，对于已经经过预训练的BERT模型，其广泛适用于下游任务的各个集合，不需要利用重复数据进行训练，同时基于self‑attention机制可以有效的可以不仅可以得到源端与目标端词与词之间的依赖关系，同时还可以有效获取源端或目标端自身词与词之间的依赖关系。在此基础上，引入了RNN模型，用于捕捉长距离文本依赖上信息丢失的问题，对结果进行特征融合，在新闻文本分类上取得了较为理想的效果。

公开(公告)号：CN114020906A

公开(公告)日：2022-02-08

申请号：CN202111222502.5

申请日：2021-10-20

Applicant: 杭州电子科技大学

Inventor： 黄孝喜 ,  童伟 ,  王荣波 ,  谌志群 ,  姚金良

IPC: G06F16/35 ,  G06F16/332 ,  G06F40/211 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于孪生神经网络的中文医疗文本信息匹配方法及系统。本发明采用双向长短期记忆网络构建用于实现医疗中文文本信息匹配的孪生神经网络，使得它能够同时捕获长距离和短距离的依赖，从而将问句对中的两个句子的表达输出为句向量并计算相似度得分，通过得到相似度得分即可实现问句对的匹配判断。这种多语义文档表达的深度学习模型不仅考虑了最终表达向量的相似程度，而且多粒度的匹配可以有效的解决传统的的单语义文档表达的深度学习模型在压缩整个句子中产生的信息损失，提升了匹配效果。