-
公开(公告)号：CN118468899A
公开(公告)日：2024-08-09
申请号：CN202410933627.6
申请日：2024-07-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及机器翻译领域，特别是指一种基于示例感知的机器翻译大语言模型的翻译方法及装置，方法包括：构造句子级感知示例以及文档级感知示例；根据句子级感知示例、文档级感知示例构造的示例感知训练数据，根据训练数据以及低秩适应LoRA微调技术，得到训练好的机器翻译大语言模型；构造领域翻译示例以及文档级翻译示例；根据领域翻译示例以及文档级翻译示例，对训练好的机器翻译大语言模型进行优化，得到构建好的示例感知能力提升的机器翻译大语言模型，进而得到翻译结果。本发明不仅能够为特定领域翻译和文档级翻译等特定需求提供定制化解决方案，还能够在不牺牲翻译质量的前提下，显著提高翻译效率和性能。
-
公开(公告)号：CN118193684B
公开(公告)日：2024-07-23
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
-
公开(公告)号：CN117808095B
公开(公告)日：2024-05-28
申请号：CN202410206258.0
申请日：2024-02-26
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/025 , G06N5/04 , G06F40/289 , G06F40/247
Abstract: 本发明公开了一种对抗攻击样本生成方法和装置、电子设备，属于人工智能安全技术领域，所述方法包括：对第一大语言模型进行全量微调，得到第二模型；使用BERT‑Attack算法对所述第二模型进行攻击实验，得到原始攻击样本；使用原始攻击样本对第二模型进行知识蒸馏处理，得到第三模型；使用攻击算法和原始攻击样本，对第三模型进行文本对抗攻击，得到迁移攻击样本；确定原始攻击样本与迁移攻击样本的可迁移性；依据可迁移性、原始攻击样本和迁移攻击样本，进行攻击算法自适应性改进。本发明提供的对抗攻击样本生成方案，能够增加所生成的对抗攻击样本在不同环境和模型下的可迁移性，提高攻击的鲁棒性和可靠性。
-
公开(公告)号：CN117593215B
公开(公告)日：2024-03-29
申请号：CN202410077241.X
申请日：2024-01-19
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明属于图像自监督预训练领域，为解决生成模型生成图像的准确性差的问题，提供一种生成模型增强的大规模视觉预训练方法及系统。其中，生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型，自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，使用预训练的图像编码器提取正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献，计算每个正样本对的重新加权因子，得到最终损失函数，以确定是否继续训练生成模型，其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。
-
-
Patent Agency Ranking
公开(公告)号：CN117494806A
公开(公告)日：2024-02-02
申请号：CN202311830157.2
申请日：2023-12-28
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于知识图谱和大语言模型的关系抽取方法、系统及介质，涉及自然语言处理技术领域，包括：从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；目标实体包括头实体和尾实体；基于大语言模型和依据目标实体所在文本，将候选抽象实体与实际语境中对应的抽象实体进行关联，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程；将推理过程融入提示中，利用大语言模型生成待预测文本中的头实体和尾实体之间的目标预测关系。本发明缓解了现有技术存在的对模型进行训练的过程费时费力的技术问题。
-
公开(公告)号：CN117094329B
公开(公告)日：2024-02-02
申请号：CN202311326597.4
申请日：2023-10-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/44 , G06F40/242 , G06F40/30 , G06F40/211 , G10L15/26 , G10L15/18
Abstract: 本发明公开了一种用于解决语音歧义的语音翻译方法及装置，涉及语音翻译技术领域。包括：获取待翻译的语音数据；构建同音异义词词典；将语音数据输入到构建好的语音翻译模型；根据语音数据、同音异义词词典以及语音翻译模型，得到语音数据的翻译文本。本发明构建了一种高效的语音消歧的方法，能够有效地缓解语音翻译模型中的歧义现象，提高语音翻译的准确度。
-
公开(公告)号：CN117422075A
公开(公告)日：2024-01-19
申请号：CN202311448715.9
申请日：2023-11-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F40/58 , G06F40/289 , G06F16/332 , G06F16/33
Abstract: 本发明提供一种基于单词删除的同声传译方法及系统，涉及自然语言处理技术领域，包括：获取源语言文字序列和目标语言文字序列；对源语言文字序列和目标语言文字序列进行数据预处理；构建翻译模型，对翻译模型进行初始化；基于预处理后的数据对翻译模型进行单词随机删除训练，获得训练好的翻译模型；将源语言文字序列输入至训练好的翻译模型，输出翻译结果。本发明通过采用随机删除目标语言单词的技术手段,强迫模型减少对完整目标语言的依赖,迫使其关注源语言端的信息,增强模型对不完整源语言序列的建模能力。通过针对性的单词随机删除技术方案，可以有效解决文本同传中产生的翻译幻觉问题。
-
公开(公告)号：CN119918585A
公开(公告)日：2025-05-02
申请号：CN202510383331.6
申请日：2025-03-28
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N3/0455 , G06N3/0475 , G06N5/04 , G06F18/214 , G06F18/21
Abstract: 本发明提供一种多维度大语言模型能力框架搭建的方法及装置，涉及大语言模型技术领域。该方法包括：基于CHC理论模型的认知能力，定义大语言模型的认知维度能力；基于FLASK领域分类体系定义大语言模型的领域维度能力；定义大语言模型的任务维度能力；根据大语言模型的认知维度能力、领域维度能力以及任务维度能力，构建多维度大语言模型能力框架；获取能力标注训练集，采用GPT‑4o模型对训练集进行标注，获得标注后的数据集；根据标注后的数据集，对能力框架进行训练，获得训练好的多维度能力标注模型；获取待筛选的大语言模型的微调数据；将微调数据输入训练好的多维度能力标注模型中，获得高质量微调数据。采用本发明可获得高质量微调数据。
-
公开(公告)号：CN119862423A
公开(公告)日：2025-04-22
申请号：CN202510340570.3
申请日：2025-03-21
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/214 , G06F18/25
Abstract: 本发明提供基于层次混合专家模型的大模型多偏好对齐方法及装置，涉及自然语言处理技术领域。该方法包括：获取预训练的单目标微调模型；提取模型中每个单目标策略的目标向量，通过任务向量奇异值分解法分解目标向量，生成低秩适配器作为每个单目标的LoRA专家；采用PCB‑merging和Free‑merging融合模型进行处理，获得多目标LoRA专家；生成线性路由层，构造奖励损失函数；采用镜像梯度下降和平滑切比雪夫标量化对损失函数进行优化，获得多目标的路由专家；设计权重路由器；根据多目标LoRA专家、多目标的路由专家和权重路由器，构建层次化的混合专家模型；将获取的用户输入的提示词和偏好向量，输入层次化的混合专家模型中，输出符合用户的偏好。采用本发明可提高推理效率。
-
-
-
-
-
-
-
-
-
Search Results
51
records
(took 0.054 seconds)
