-
公开(公告)号：CN118939783B
公开(公告)日：2025-02-07
申请号：CN202411429185.8
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/3329 , G06F16/36 , G06F18/27 , G06F18/214
Abstract: 本发明提供一种基于知识图谱检索增强的大模型推理方法及装置，涉及自然语言处理技术领域。该方法包括：使用ChatGPT生成多指令微调数据集；根据多指令微调数据集，对大语言模型进行自回归训练，获得微调后大语言模型；基于知识图谱，根据知识密集型查询以及知识实体集合，通过微调后大语言模型进行迭代推理，获得第一证据子图；基于回归评分器以及预设得分阈值，对第一证据子图进行剪枝，获得第二证据子图；基于第二提示模板，根据第二证据子图以及知识密集型查询，通过微调后大语言模型进行联合推理，获得查询推理结果。本发明是一种基于知识图谱增强的有效结合外部知识且回答复杂多跳问题准确的大模型推理方法。
-
公开(公告)号：CN118038870B
公开(公告)日：2024-06-11
申请号：CN202410440333.X
申请日：2024-04-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种针对大语音模型的指令感知训练方法及装置。针对大语音模型的指令感知训练方法包括：使用麦克风采集音频，获取目标原始数据以及指令音频；根据目标原始数据，获得目标文本数据以及目标音频数据；根据指令音频，获得第一指令文本；根据目标文本数据以及第一指令文本，通过文本大模型进行数据生成，获得指令感知文本数据；对第一指令文本进行差异化处理，获得第二指令文本；根据指令感知文本数据、目标音频数据和第二指令文本，对大语音模型进行优化训练，获得优化大语音模型。本发明是一种面向大语音模型的有效缓解指令跟随能力缺陷的大语音模型训练方法。
-
公开(公告)号：CN117493890B
公开(公告)日：2024-05-31
申请号：CN202410007433.3
申请日：2024-01-03
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/214 , G06F16/332 , G06F16/335 , G06N5/04
Abstract: 本发明涉及文本处理技术领域，特别是指一种对用于问答的大语言模型进行样本筛选的方法及装置，方法包括：从样本数据集中筛选出特定样本，基于特定样本对待训练大语言模型进行训练，得到前置模型；基于样本数据集以及前置模型，得到样本数据集中的每个样本数据的多个不同评分，进而确定出每个样本数据的一致性分数以及自信度分数，进而确定每个样本数据的质量评估分数；基于质量评估分数，筛选出微调样本数据；基于微调样本数据，对待训练大语言模型进行训练，得到训练好的大语言模型；基于待回答的用户问题以及训练好的大语言模型，得到更加对齐人类偏好的问题回答。采用本发明，可以提升模型处理和预测的准确性，提高用户问题回答的准确性。
-
公开(公告)号：CN115496079A
公开(公告)日：2022-12-20
申请号：CN202211463449.2
申请日：2022-11-22
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/58 , G06F40/289 , G06F40/242 , G06F40/211
Abstract: 本发明涉及自然语言的处理及转换技术领域，特别是指一种中文翻译方法，所述方法包括：S1、对训练集的中文源数据进行外语化笔画序列建模，得到所述中文源数据的外语化笔画序列；S2、对所述外语化笔画序列进行密文数据增强，得到密文；S3、对所述外语化笔画序列的数据集和所述密文的数据集，以及对应译文的数据集进行联合子词学习，并对文本进行切分，得到后续模型训练的最终数据集；S4、用所述最终数据集，对变换器Transformer模型进行多源一致性训练，得到中文神经机器翻译模型；S5、使用所述中文神经机器翻译模型，将待翻译语句翻译成目标语句。采用本发明，明显地提升了翻译效果并减少了模型参数量。
-
公开(公告)号：CN119476410B
公开(公告)日：2025-05-09
申请号：CN202510026657.3
申请日：2025-01-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N3/096
Abstract: 本发明属于人工智能与深度学习领域，为了解决新旧知识的不平衡和适配性差的问题，提供基于持续知识保护分解的小样本持续学习方法及系统。其中，基于持续知识保护分解的小样本持续学习方法包括基于每个类别的回放样本数据及持续学习模型骨干网络，经奇异值分解得到知识敏感成分和冗余容量成分；在增量适配训练过程中，冻结知识敏感成分所对应的预训练线性权重矩阵；同时利用冗余容量成分来构建可学习的适配器，更新预训练线性权重矩阵；重新获取小样本回放数据，基于更新后的预训练线性权重矩阵再次进行奇异值分解及增量适配训练操作。其通过协方差矩阵的动态更新，实现了新旧知识的平衡和高效适配，提高了分类结果的准确性。
-
Patent Agency Ranking
公开(公告)号：CN119670718A
公开(公告)日：2025-03-21
申请号：CN202510185747.7
申请日：2025-02-20
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 中国科学院计算技术研究所
IPC: G06F40/189 , G06F40/30 , G06F16/334 , G06F16/36 , G10L15/06 , G10L15/22
Abstract: 本发明提供一种基于两阶段解耦方式的语音大模型模态对齐方法及装置，涉及自然语言处理技术领域。该方法包括：获取预训练的语音数据集以及预训练的任务指令文本；构建初始的语音大模型，根据预训练的语音数据集以及预训练的任务指令文本，采用两阶段解耦方式处对初始的语音大模型进行预训练，获得预训练好的语音大模型；采用LoRA微调技术对预训练好的语音大模型进行指令微调，获得训练好的语音大模型；将待处理的语音数据和语音数据对应的指令，输入训练好的语音大模型中进行处理，输出与语音数据对应的指令需求相匹配的文本。采用本发明可解决在特征解耦导致信息损失的问题，采用本发明可提高语音大模型对任务分析的性能。
-
公开(公告)号：CN119397366A
公开(公告)日：2025-02-07
申请号：CN202510007379.7
申请日：2025-01-03
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/241 , G06F18/2135 , G06N3/084 , G06N3/048 , G06N3/0895
Abstract: 本发明属于人工智能与深度学习领域，提供基于自适应适配层选择的小样本持续学习方法及系统。其中，基于自适应适配层选择的小样本持续学习方法包括将预训练线性权重的奇异值；冻结知识敏感成分所对应的预训练线性权重矩阵；自适应确定适配层；基于适配层的适配器矩阵与当前增量适配训练阶段的训练样本特征相乘，得到冗余容量特征；重新获取小样本回放数据，基于更新后的预训练线性权重矩阵依次进行奇异值分解、适配层自适应确定及增量适配训练操作，直至持续学习模型达到设定要求时停止学习，以利用训练好的持续学习模型执行分类任务。其实现了对最小化旧知识干扰的动态适配器选择，保障了小样本持续学习模型的分类准确性。
-
公开(公告)号：CN118628614B
公开(公告)日：2024-12-27
申请号：CN202411107024.7
申请日：2024-08-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及人工智能技术领域，特别是指一种基于少样本学习的大语言模型的图到文本生成方法及装置。方法包括：构建正例样本和负例样本，对初始的图神经网络进行训练，得到图编码器，设定四个不同的训练任务，获取分别对应的训练样本，对初始的线性网络进行训练，得到图到文本投影器；选取少样本学习样本，使用少样本学习样本对预训练的大语言模型进行微调，根据图编码器、图到文本投影器以及微调后的大语言模型，得到训练好的基于大语言模型的图到文本生成模型；获取待生成图，将待生成图输入训练好的基于大语言模型的图到文本生成模型，得到待生成图对应的生成文本。采用本发明，可以降低对大规模标注数据集的依赖，提高训练的模型的准确度。
-
公开(公告)号：CN118643142B
公开(公告)日：2024-10-29
申请号：CN202411117913.1
申请日：2024-08-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06F16/33 , G06F16/36 , G06N5/022 , G06N5/04
Abstract: 本发明提供一种面向大语言模型的结构化知识注入方法及系统，涉及人工智能技术领域。所述方法包括：利用命名实体识别技术对问题中的实体进行识别标记；在知识图谱上链接识别出的实体；检索两两实体之间的可能路径上的实体及其关系，构建知识子图；根据实体对与问题的相关性，对知识子图上的实体对进行打分；利用图神经网络对知识子图进行建模，并利用打分的分数引导图神经网络消除噪音；基于知识子图选取图谱嵌入化知识，并映射到大语言模型的参数化知识空间，得到对齐知识；将对齐知识注入大语言模型的前馈神经网络参数中进行知识性问答。本发明能够提高大语言模型对知识检索以及知识利用的能力。
-
公开(公告)号：CN118643142A
公开(公告)日：2024-09-13
申请号：CN202411117913.1
申请日：2024-08-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06F16/33 , G06F16/36 , G06N5/022 , G06N5/04
Abstract: 本发明提供一种面向大语言模型的结构化知识注入方法及系统，涉及人工智能技术领域。所述方法包括：利用命名实体识别技术对问题中的实体进行识别标记；在知识图谱上链接识别出的实体；检索两两实体之间的可能路径上的实体及其关系，构建知识子图；根据实体对与问题的相关性，对知识子图上的实体对进行打分；利用图神经网络对知识子图进行建模，并利用打分的分数引导图神经网络消除噪音；基于知识子图选取图谱嵌入化知识，并映射到大语言模型的参数化知识空间，得到对齐知识；将对齐知识注入大语言模型的前馈神经网络参数中进行知识性问答。本发明能够提高大语言模型对知识检索以及知识利用的能力。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.03 seconds)
