-
公开(公告)号：CN119514636A
公开(公告)日：2025-02-25
申请号：CN202411485750.2
申请日：2024-10-23
Applicant: 北京理工大学东南信息技术研究院 , 北京理工大学
IPC: G06N3/09 , G06F40/237 , G06F40/284 , G06N3/0464 , G06F40/216 , G06N3/0455 , G06N3/047 , G06N3/084
Abstract: 本申请提供一种轻量级中英双语大语言模型的两阶段训练方法，方法包括：步骤1，进行中英文训练数据收集与预处理；预处理流程包括特殊标记清除，敏感数据清理、数据去重、去除广告、格式化处理；步骤2，第一阶段高资源语言训练，即利用英语进行模型训练；步骤3，进行第二阶段双语混合训练，采用语言迁移训练，将中文数据和英文数据混杂进行第二阶段训练；其中，步骤3包括：步骤31，进行词表扩展；步骤32，语言迁移训练。本申请能够提高双语处理能力。
-
公开(公告)号：CN112784013B
公开(公告)日：2022-10-04
申请号：CN202110039994.8
申请日：2021-01-13
Applicant: 北京理工大学 , 北京理工大学东南信息技术研究院
Abstract: 本发明涉及一种基于上下文语义的多粒度文本推荐方法，属于计算机自然语言处理技术领域。本方法利用文档级的主题过滤方法，缩减了候选文本集合的大小，大大缩减模型推荐的时间，同时提高文本推荐的准确性。本方法首次提出了多粒度的文本推荐方法，能够在文档级、段落级和句子级等多个语言粒度上进行文本推荐，并通过单一的模型完成推荐过程，提高了用户的使用效率。
-
公开(公告)号：CN112784013A
公开(公告)日：2021-05-11
申请号：CN202110039994.8
申请日：2021-01-13
Applicant: 北京理工大学 , 北京理工大学东南信息技术研究院
Abstract: 本发明涉及一种基于上下文语义的多粒度文本推荐方法，属于计算机自然语言处理技术领域。本方法利用文档级的主题过滤方法，缩减了候选文本集合的大小，大大缩减模型推荐的时间，同时提高文本推荐的准确性。本方法首次提出了多粒度的文本推荐方法，能够在文档级、段落级和句子级等多个语言粒度上进行文本推荐，并通过单一的模型完成推荐过程，提高了用户的使用效率。
-
公开(公告)号：CN119514633A
公开(公告)日：2025-02-25
申请号：CN202411485748.5
申请日：2024-10-23
Applicant: 北京理工大学东南信息技术研究院 , 北京理工大学
IPC: G06N3/084 , G06F40/284 , G06N3/0464 , G06F40/216 , G06F40/194 , G06F21/62 , G06N3/048 , G06N3/047
Abstract: 本申请提供一种轻量级中英双语大语言模型的训练方法，方法包括：步骤1，进行中英文训练数据收集与预处理；步骤2，进行预训练；步骤21，进行文本分词；步骤22，文本编码：步骤23，旋转位置编码：在输入层采用在注意力层的旋转位置编码；步骤24，设定注意力机制、残差网络、标准化层和全连接网络输出层与自回归训练方式；步骤25，选择预训练数据；步骤26，进行预训练；每个批次使用中英文数据交叉的方式进行输入，即交叉从英文数据和中文数据中各采样一条，直到达到训练批次大小后输入到模型中进行训练。步骤3，指令微调训练。本申请极高的灵活性和适应性。
-
-
-
Search Results
4
records
(took 0.034 seconds)
