-
公开(公告)号:CN116521836A
公开(公告)日:2023-08-01
申请号:CN202310330245.X
申请日:2023-03-30
Applicant: 东南大学
IPC: G06F16/332 , G06F18/214 , G06N3/08 , G06N3/04
Abstract: 本发明公开了一种基于动态路由和答案投票的生物医学抽取式问答方法,具体如下,收集和预处理数据集,将数据集处理成抽取式问答任务所需的格式;设计一个新的路由算法对预训练模型的隐藏层进行动态路由,动态分配合适的权重;预测阶段采用一种投票机制选出更可能的正确答案,该机制能够考虑答案之间的相似度;采用预微调方法,在通用语料上预先训练模型,以提高模型在生物医学问答任务上的性能;本发明基于ALBERT添加动态路由和答案投票,并予以预训练,有效提高了模型性能。在拥有小参数量优势的前提下,能够取得不错的性能。