-
公开(公告)号：CN117669721B
公开(公告)日：2024-04-19
申请号：CN202410139850.3
申请日：2024-02-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/022 , G06N3/0455 , G06N3/08
Abstract: 本申请适用于计算机领域，提供了信息抽取方法、装置、电子设备及计算机存储介质，包括：获取待抽取文本；将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。本申请通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
-
公开(公告)号：CN117669721A
公开(公告)日：2024-03-08
申请号：CN202410139850.3
申请日：2024-02-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/022 , G06N3/0455 , G06N3/08
Abstract: 本申请适用于计算机领域，提供了信息抽取方法、装置、电子设备及计算机存储介质，包括：获取待抽取文本；将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。本申请通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
-
公开(公告)号：CN120046742A
公开(公告)日：2025-05-27
申请号：CN202510529737.0
申请日：2025-04-25
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/04
Abstract: 本发明提供一种基于视觉对比对齐的可信多模态大模型构建方法及装置，涉及自然语言处理技术领域。该方法包括：获取文本数据和图片数据；将文本数据和图片数据输入指令微调后的多模态大模型中，获得图片数据对应的偏好响应logit和拒绝响应logit以及无图片对应的偏好响应logit和拒绝响应logit；构建基于视觉对比对齐的可信多模态大模型的框架包括：文本偏好优化模块、差额稳定优化模块、响应级视觉对比对齐模块和标记级视觉对比对齐模块；分别构建每个模块对应的损失函数；根据每个模块对应的损失函数，构建框架的整体损失函数；根据整体损失函数对模型进行训练，获得训练好的多模态大模型。采用本发明可提升多模态大模型的可信度。
-
公开(公告)号：CN119475211A
公开(公告)日：2025-02-18
申请号：CN202411447063.1
申请日：2024-10-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/25 , G06F18/22 , G06N5/022 , G06N3/048 , G06N3/0985 , G06N5/01 , G06F16/242
Abstract: 本发明提供一种基于参数制约的大语言模型知识融合方法及装置，涉及知识融合技术领域。该方法包括：获取多个任务模型；采用非线性激活函数对多个任务模型中的任务向量进行冗余参数抑制，获得冗余参数的抑制程度；采用非线性激活函数计算初始任务向量中相同位置参数的相似性；根据冗余参数的抑制程度以及相似性，获得任务向量中的参数重要性得分；根据任务向量中的参数重要性得分，获得最终合并的任务向量；将最终合并的任务向量进行重新缩放，生成合并后的任务模型参数。采用本发明可提升大语言模型合并性能。
-
公开(公告)号：CN118939783B
公开(公告)日：2025-02-07
申请号：CN202411429185.8
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/3329 , G06F16/36 , G06F18/27 , G06F18/214
Abstract: 本发明提供一种基于知识图谱检索增强的大模型推理方法及装置，涉及自然语言处理技术领域。该方法包括：使用ChatGPT生成多指令微调数据集；根据多指令微调数据集，对大语言模型进行自回归训练，获得微调后大语言模型；基于知识图谱，根据知识密集型查询以及知识实体集合，通过微调后大语言模型进行迭代推理，获得第一证据子图；基于回归评分器以及预设得分阈值，对第一证据子图进行剪枝，获得第二证据子图；基于第二提示模板，根据第二证据子图以及知识密集型查询，通过微调后大语言模型进行联合推理，获得查询推理结果。本发明是一种基于知识图谱增强的有效结合外部知识且回答复杂多跳问题准确的大模型推理方法。
-
Patent Agency Ranking
公开(公告)号：CN119862423A
公开(公告)日：2025-04-22
申请号：CN202510340570.3
申请日：2025-03-21
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/214 , G06F18/25
Abstract: 本发明提供基于层次混合专家模型的大模型多偏好对齐方法及装置，涉及自然语言处理技术领域。该方法包括：获取预训练的单目标微调模型；提取模型中每个单目标策略的目标向量，通过任务向量奇异值分解法分解目标向量，生成低秩适配器作为每个单目标的LoRA专家；采用PCB‑merging和Free‑merging融合模型进行处理，获得多目标LoRA专家；生成线性路由层，构造奖励损失函数；采用镜像梯度下降和平滑切比雪夫标量化对损失函数进行优化，获得多目标的路由专家；设计权重路由器；根据多目标LoRA专家、多目标的路由专家和权重路由器，构建层次化的混合专家模型；将获取的用户输入的提示词和偏好向量，输入层次化的混合专家模型中，输出符合用户的偏好。采用本发明可提高推理效率。
-
公开(公告)号：CN118193684A
公开(公告)日：2024-06-14
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
-
公开(公告)号：CN118939783A
公开(公告)日：2024-11-12
申请号：CN202411429185.8
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06F16/36 , G06F18/27 , G06F18/214
Abstract: 本发明提供一种基于知识图谱检索增强的大模型推理方法及装置，涉及自然语言处理技术领域。该方法包括：使用ChatGPT生成多指令微调数据集；根据多指令微调数据集，对大语言模型进行自回归训练，获得微调后大语言模型；基于知识图谱，根据知识密集型查询以及知识实体集合，通过微调后大语言模型进行迭代推理，获得第一证据子图；基于回归评分器以及预设得分阈值，对第一证据子图进行剪枝，获得第二证据子图；基于第二提示模板，根据第二证据子图以及知识密集型查询，通过微调后大语言模型进行联合推理，获得查询推理结果。本发明是一种基于知识图谱增强的有效结合外部知识且回答复杂多跳问题准确的大模型推理方法。
-
公开(公告)号：CN118193684B
公开(公告)日：2024-07-23
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
-
-
-
-
-
-
-
-
-
Search Results
31
records
(took 0.024 seconds)
