-
公开(公告)号：CN118628614B
公开(公告)日：2024-12-27
申请号：CN202411107024.7
申请日：2024-08-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及人工智能技术领域，特别是指一种基于少样本学习的大语言模型的图到文本生成方法及装置。方法包括：构建正例样本和负例样本，对初始的图神经网络进行训练，得到图编码器，设定四个不同的训练任务，获取分别对应的训练样本，对初始的线性网络进行训练，得到图到文本投影器；选取少样本学习样本，使用少样本学习样本对预训练的大语言模型进行微调，根据图编码器、图到文本投影器以及微调后的大语言模型，得到训练好的基于大语言模型的图到文本生成模型；获取待生成图，将待生成图输入训练好的基于大语言模型的图到文本生成模型，得到待生成图对应的生成文本。采用本发明，可以降低对大规模标注数据集的依赖，提高训练的模型的准确度。
-
公开(公告)号：CN118643142B
公开(公告)日：2024-10-29
申请号：CN202411117913.1
申请日：2024-08-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06F16/33 , G06F16/36 , G06N5/022 , G06N5/04
Abstract: 本发明提供一种面向大语言模型的结构化知识注入方法及系统，涉及人工智能技术领域。所述方法包括：利用命名实体识别技术对问题中的实体进行识别标记；在知识图谱上链接识别出的实体；检索两两实体之间的可能路径上的实体及其关系，构建知识子图；根据实体对与问题的相关性，对知识子图上的实体对进行打分；利用图神经网络对知识子图进行建模，并利用打分的分数引导图神经网络消除噪音；基于知识子图选取图谱嵌入化知识，并映射到大语言模型的参数化知识空间，得到对齐知识；将对齐知识注入大语言模型的前馈神经网络参数中进行知识性问答。本发明能够提高大语言模型对知识检索以及知识利用的能力。
-
公开(公告)号：CN118643142A
公开(公告)日：2024-09-13
申请号：CN202411117913.1
申请日：2024-08-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06F16/33 , G06F16/36 , G06N5/022 , G06N5/04
Abstract: 本发明提供一种面向大语言模型的结构化知识注入方法及系统，涉及人工智能技术领域。所述方法包括：利用命名实体识别技术对问题中的实体进行识别标记；在知识图谱上链接识别出的实体；检索两两实体之间的可能路径上的实体及其关系，构建知识子图；根据实体对与问题的相关性，对知识子图上的实体对进行打分；利用图神经网络对知识子图进行建模，并利用打分的分数引导图神经网络消除噪音；基于知识子图选取图谱嵌入化知识，并映射到大语言模型的参数化知识空间，得到对齐知识；将对齐知识注入大语言模型的前馈神经网络参数中进行知识性问答。本发明能够提高大语言模型对知识检索以及知识利用的能力。
-
公开(公告)号：CN118628614A
公开(公告)日：2024-09-10
申请号：CN202411107024.7
申请日：2024-08-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及人工智能技术领域，特别是指一种基于少样本学习的大语言模型的图到文本生成方法及装置。方法包括：构建正例样本和负例样本，对初始的图神经网络进行训练，得到图编码器，设定四个不同的训练任务，获取分别对应的训练样本，对初始的线性网络进行训练，得到图到文本投影器；选取少样本学习样本，使用少样本学习样本对预训练的大语言模型进行微调，根据图编码器、图到文本投影器以及微调后的大语言模型，得到训练好的基于大语言模型的图到文本生成模型；获取待生成图，将待生成图输入训练好的基于大语言模型的图到文本生成模型，得到待生成图对应的生成文本。采用本发明，可以降低对大规模标注数据集的依赖，提高训练的模型的准确度。
-
公开(公告)号：CN117787421B
公开(公告)日：2024-05-31
申请号：CN202410201337.2
申请日：2024-02-23
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/04 , G06F40/166
Abstract: 本发明公开了一种基于思维链确定问题答案的方法和装置、电子设备，属于人工智能技术领域，所述方法包括：获取待解答问题以及多个样本数据，其中，每个所述样本数据包括：一个问题和所述问题对应的第一求解计划；将所述待解答问题与多个所述样本数据进行拼接后输入模型，得到待解答问题对应的第二求解计划；控制所述模型按照所述第二求解计划中的每个步骤执行求解，直至完成最后一个步骤，得到目标答案。本申请提供的基于思维链确定问题答案的方案，既能够赋予思维链纠错能力，又可以人为或者模型自动干预对第二求解计划中的第一步骤进行修正。
-
Patent Agency Ranking
公开(公告)号：CN118038870A
公开(公告)日：2024-05-14
申请号：CN202410440333.X
申请日：2024-04-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种针对大语音模型的指令感知训练方法及装置。针对大语音模型的指令感知训练方法包括：使用麦克风采集音频，获取目标原始数据以及指令音频；根据目标原始数据，获得目标文本数据以及目标音频数据；根据指令音频，获得第一指令文本；根据目标文本数据以及第一指令文本，通过文本大模型进行数据生成，获得指令感知文本数据；对第一指令文本进行差异化处理，获得第二指令文本；根据指令感知文本数据、目标音频数据和第二指令文本，对大语音模型进行优化训练，获得优化大语音模型。本发明是一种面向大语音模型的有效缓解指令跟随能力缺陷的大语音模型训练方法。
-
公开(公告)号：CN117669721B
公开(公告)日：2024-04-19
申请号：CN202410139850.3
申请日：2024-02-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/022 , G06N3/0455 , G06N3/08
Abstract: 本申请适用于计算机领域，提供了信息抽取方法、装置、电子设备及计算机存储介质，包括：获取待抽取文本；将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。本申请通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
-
公开(公告)号：CN117688176A
公开(公告)日：2024-03-12
申请号：CN202311653724.1
申请日：2023-12-04
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/35 , G06F40/58 , G06N3/0455 , G06N3/0499 , G06N3/084
Abstract: 本发明涉及文本机器翻译技术领域，特别是指一种基于多语言预训练大模型的伪语言族聚类方法及装置，方法包括：建立共享语言池；基于多语言预训练大模型，计算共享语言池中的语言对的费舍信息矩阵，获得共享语言池中的语言对的表征结果；根据表征结果对语言对之间的相似度进行计算，获得相似度值；根据相似度值，对语言对之间的相似性进行排序，根据预设边界值选择符合边界值的辅助语言对，完成基于多语言预训练大模型的伪语言族聚类。本发明使用多语言预训练本身的能力对语言对进行表征，更有效地选择并聚类辅助语言并提高其在不同模型和数据集之间的泛化性，最终提高低资源语言对在多语言协同训练下的翻译质量。
-
公开(公告)号：CN117669721A
公开(公告)日：2024-03-08
申请号：CN202410139850.3
申请日：2024-02-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/022 , G06N3/0455 , G06N3/08
Abstract: 本申请适用于计算机领域，提供了信息抽取方法、装置、电子设备及计算机存储介质，包括：获取待抽取文本；将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。本申请通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
-
公开(公告)号：CN120046742A
公开(公告)日：2025-05-27
申请号：CN202510529737.0
申请日：2025-04-25
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/04
Abstract: 本发明提供一种基于视觉对比对齐的可信多模态大模型构建方法及装置，涉及自然语言处理技术领域。该方法包括：获取文本数据和图片数据；将文本数据和图片数据输入指令微调后的多模态大模型中，获得图片数据对应的偏好响应logit和拒绝响应logit以及无图片对应的偏好响应logit和拒绝响应logit；构建基于视觉对比对齐的可信多模态大模型的框架包括：文本偏好优化模块、差额稳定优化模块、响应级视觉对比对齐模块和标记级视觉对比对齐模块；分别构建每个模块对应的损失函数；根据每个模块对应的损失函数，构建框架的整体损失函数；根据整体损失函数对模型进行训练，获得训练好的多模态大模型。采用本发明可提升多模态大模型的可信度。
-
-
-
-
-
-
-
-
-
Search Results
51
records
(took 0.078 seconds)
