公开(公告)号：CN117688176A

公开(公告)日：2024-03-12

申请号：CN202311653724.1

申请日：2023-12-04

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 刘学博 ,  马新羽 ,  张民

IPC: G06F16/35 ,  G06F40/58 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明涉及文本机器翻译技术领域，特别是指一种基于多语言预训练大模型的伪语言族聚类方法及装置，方法包括：建立共享语言池；基于多语言预训练大模型，计算共享语言池中的语言对的费舍信息矩阵，获得共享语言池中的语言对的表征结果；根据表征结果对语言对之间的相似度进行计算，获得相似度值；根据相似度值，对语言对之间的相似性进行排序，根据预设边界值选择符合边界值的辅助语言对，完成基于多语言预训练大模型的伪语言族聚类。本发明使用多语言预训练本身的能力对语言对进行表征，更有效地选择并聚类辅助语言并提高其在不同模型和数据集之间的泛化性，最终提高低资源语言对在多语言协同训练下的翻译质量。

公开(公告)号：CN117688176B

公开(公告)日：2024-09-24

申请号：CN202311653724.1

申请日：2023-12-04

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 刘学博 ,  马新羽 ,  张民

IPC: G06F16/35 ,  G06F40/58 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明涉及文本机器翻译技术领域，特别是指一种基于多语言预训练大模型的伪语言族聚类方法及装置，方法包括：建立共享语言池；基于多语言预训练大模型，计算共享语言池中的语言对的费舍信息矩阵，获得共享语言池中的语言对的表征结果；根据表征结果对语言对之间的相似度进行计算，获得相似度值；根据相似度值，对语言对之间的相似性进行排序，根据预设边界值选择符合边界值的辅助语言对，完成基于多语言预训练大模型的伪语言族聚类。本发明使用多语言预训练本身的能力对语言对进行表征，更有效地选择并聚类辅助语言并提高其在不同模型和数据集之间的泛化性，最终提高低资源语言对在多语言协同训练下的翻译质量。

公开(公告)号：CN119918585A

公开(公告)日：2025-05-02

申请号：CN202510383331.6

申请日：2025-03-28

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 刘学博 ,  莫皓斯 ,  马新羽 ,  张民

IPC: G06N3/0455 ,  G06N3/0475 ,  G06N5/04 ,  G06F18/214 ,  G06F18/21

Abstract: 本发明提供一种多维度大语言模型能力框架搭建的方法及装置，涉及大语言模型技术领域。该方法包括：基于CHC理论模型的认知能力，定义大语言模型的认知维度能力；基于FLASK领域分类体系定义大语言模型的领域维度能力；定义大语言模型的任务维度能力；根据大语言模型的认知维度能力、领域维度能力以及任务维度能力，构建多维度大语言模型能力框架；获取能力标注训练集，采用GPT‑4o模型对训练集进行标注，获得标注后的数据集；根据标注后的数据集，对能力框架进行训练，获得训练好的多维度能力标注模型；获取待筛选的大语言模型的微调数据；将微调数据输入训练好的多维度能力标注模型中，获得高质量微调数据。采用本发明可获得高质量微调数据。