公开(公告)号：CN119514636A

公开(公告)日：2025-02-25

申请号：CN202411485750.2

申请日：2024-10-23

Applicant: 北京理工大学东南信息技术研究院 ,  北京理工大学

Inventor： 黄河燕 ,  杨毅哲 ,  柏宇 ,  孙华山 ,  高扬

IPC: G06N3/09 ,  G06F40/237 ,  G06F40/284 ,  G06N3/0464 ,  G06F40/216 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/084

Abstract: 本申请提供一种轻量级中英双语大语言模型的两阶段训练方法，方法包括：步骤1，进行中英文训练数据收集与预处理；预处理流程包括特殊标记清除，敏感数据清理、数据去重、去除广告、格式化处理；步骤2，第一阶段高资源语言训练，即利用英语进行模型训练；步骤3，进行第二阶段双语混合训练，采用语言迁移训练，将中文数据和英文数据混杂进行第二阶段训练；其中，步骤3包括：步骤31，进行词表扩展；步骤32，语言迁移训练。本申请能够提高双语处理能力。

公开(公告)号：CN118445652A

公开(公告)日：2024-08-06

申请号：CN202410457265.8

申请日：2024-04-16

Applicant: 北京理工大学东南信息技术研究院

Inventor： 黄河燕 ,  吴之璟 ,  周祐超 ,  高扬 ,  刘宇航

IPC: G06F18/2323 ,  G06F18/22 ,  G06N3/0895 ,  G06N3/0455 ,  G06F40/205 ,  G06F18/241

Abstract: 本发明设计一种长文本匹配任务的训练方法，属于自然语言处理、信息检索和深度学习技术领域，包括：S1，文档内容聚类；S2，文档多视图采样；S3，动态对比学习；S4，聚合推理。其中，步骤S1包括对文档进行预处理并分句，对句子依据相似度聚类；步骤S2依据S1所得聚类，利用多种方法进行采样获取文档的视图；步骤3依据S2中获取的视图，选取不同的视图进行训练，获取文档匹配模型；步骤S4基于S3中训练所得的匹配模型，获取待匹配文档对的多个视图的分数，聚合获取最终的匹配度分数。本发明能获取文档中多种潜在的匹配关系，帮助高效学习到文档中的多种匹配关系，进而通过聚合推理获取更为全面的评估分数，训练效率更高，可适用于多种模型。

公开(公告)号：CN112784013B

公开(公告)日：2022-10-04

申请号：CN202110039994.8

申请日：2021-01-13

Applicant: 北京理工大学 ,  北京理工大学东南信息技术研究院

Inventor： 黄河燕 ,  杨毅哲 ,  高扬

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/30

Abstract: 本发明涉及一种基于上下文语义的多粒度文本推荐方法，属于计算机自然语言处理技术领域。本方法利用文档级的主题过滤方法，缩减了候选文本集合的大小，大大缩减模型推荐的时间，同时提高文本推荐的准确性。本方法首次提出了多粒度的文本推荐方法，能够在文档级、段落级和句子级等多个语言粒度上进行文本推荐，并通过单一的模型完成推荐过程，提高了用户的使用效率。

公开(公告)号：CN112784013A

公开(公告)日：2021-05-11

申请号：CN202110039994.8

申请日：2021-01-13

Applicant: 北京理工大学 ,  北京理工大学东南信息技术研究院

Inventor： 黄河燕 ,  杨毅哲 ,  高扬

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/30

Abstract: 本发明涉及一种基于上下文语义的多粒度文本推荐方法，属于计算机自然语言处理技术领域。本方法利用文档级的主题过滤方法，缩减了候选文本集合的大小，大大缩减模型推荐的时间，同时提高文本推荐的准确性。本方法首次提出了多粒度的文本推荐方法，能够在文档级、段落级和句子级等多个语言粒度上进行文本推荐，并通过单一的模型完成推荐过程，提高了用户的使用效率。

公开(公告)号：CN119514633A

公开(公告)日：2025-02-25

申请号：CN202411485748.5

申请日：2024-10-23

Applicant: 北京理工大学东南信息技术研究院 ,  北京理工大学

Inventor： 黄河燕 ,  杨毅哲 ,  刘润衡 ,  孙华山 ,  高扬

IPC: G06N3/084 ,  G06F40/284 ,  G06N3/0464 ,  G06F40/216 ,  G06F40/194 ,  G06F21/62 ,  G06N3/048 ,  G06N3/047

Abstract: 本申请提供一种轻量级中英双语大语言模型的训练方法，方法包括：步骤1，进行中英文训练数据收集与预处理；步骤2，进行预训练；步骤21，进行文本分词；步骤22，文本编码：步骤23，旋转位置编码：在输入层采用在注意力层的旋转位置编码；步骤24，设定注意力机制、残差网络、标准化层和全连接网络输出层与自回归训练方式；步骤25，选择预训练数据；步骤26，进行预训练；每个批次使用中英文数据交叉的方式进行输入，即交叉从英文数据和中文数据中各采样一条，直到达到训练批次大小后输入到模型中进行训练。步骤3，指令微调训练。本申请极高的灵活性和适应性。

公开(公告)号：CN118153686A

公开(公告)日：2024-06-07

申请号：CN202410116003.5

申请日：2024-01-26

Applicant: 北京理工大学东南信息技术研究院

Inventor： 刘宇航 ,  周祐超 ,  袁长森 ,  吴之璟 ,  高扬 ,  黄河燕

IPC: G06N5/04 ,  G06N5/025 ,  G06N3/045 ,  G06N3/09 ,  G06F16/332 ,  G06F16/33 ,  G06F16/2455

Abstract: 本发明提供一种智能政务问答的方法，包括下列步骤：S1、利用政务文件搭建政务知识库以及问答数据集；S2、通过开源模型中的指令跟随功能，对知识库文件进行提问，生成政务问答训练数据；S3、通过训练好的预训练语言模型，基于用户查询的政策问题，从政务知识数据库中粗粒度匹配相关的政策文件；S4、将政策文件切分成政策段落，并将问题和政策段落输入训练好的预训练语言模型，引导模型与问题最相关的政策段落匹配；S5、将问题和政策段落构建成提示语，并将提示语输入到训练好的大语言模型，引导训练好的大语言模型生成问题的回答。本发明可以在准确回答的基础上做到多样性生成，用户可以提问其关心的政策内容，并实时获取最新政策内容的解答。