-
公开(公告)号：CN119887954A
公开(公告)日：2025-04-25
申请号：CN202411980108.1
申请日：2024-12-31
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种基于大型多模态模型的视觉表征压缩方法，包括：将输入的多个第一视觉令牌压缩为至少一个第二视觉令牌；在输入大型多模态模型之前，将所述对第二视觉令牌与文本令牌进行融合，生成对应的融合信息；将所述融合信息输入所述大型多模态模型进行处理。本发明还提供一种基于大型多模态模型的视觉表征压缩装置、存储介质及电子设备。借此，本发明能够显著提高计算效率、降低内存占用和增强模型灵活性。
-
公开(公告)号：CN119831041A
公开(公告)日：2025-04-15
申请号：CN202411890644.2
申请日：2024-12-20
Applicant: 中国科学院计算技术研究所
IPC: G06N5/04 , G06N3/045 , G06N3/09 , G06N5/022 , G06F16/3329
Abstract: 本发明提供了一种基于大语言模型的自主检索增强生成方法，包括：数据构建步骤，通过少样本样例引导大语言模型在迭代检索中基于推理生成检索策略，根据所述检索策略生成训练数据；模型训练步骤，使用训练数据对大语言模型进行训练；推理应用步骤，在大语言模型在接收到用户提问后基于推理生成对应的检索策略，并根据检索策略自主对用户提问进行迭代检索。本发明还提供一种基于大语言模型的自主检索增强生成装置、存储介质及电子设备。借此，本发明能够充分利用大语言模型自身所具有的推理决策能力，在迭代检索中实现自主决策，不仅具有更好的检索效果，而且效率更高。
-
公开(公告)号：CN119670718A
公开(公告)日：2025-03-21
申请号：CN202510185747.7
申请日：2025-02-20
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 中国科学院计算技术研究所
IPC: G06F40/189 , G06F40/30 , G06F16/334 , G06F16/36 , G10L15/06 , G10L15/22
Abstract: 本发明提供一种基于两阶段解耦方式的语音大模型模态对齐方法及装置，涉及自然语言处理技术领域。该方法包括：获取预训练的语音数据集以及预训练的任务指令文本；构建初始的语音大模型，根据预训练的语音数据集以及预训练的任务指令文本，采用两阶段解耦方式处对初始的语音大模型进行预训练，获得预训练好的语音大模型；采用LoRA微调技术对预训练好的语音大模型进行指令微调，获得训练好的语音大模型；将待处理的语音数据和语音数据对应的指令，输入训练好的语音大模型中进行处理，输出与语音数据对应的指令需求相匹配的文本。采用本发明可解决在特征解耦导致信息损失的问题，采用本发明可提高语音大模型对任务分析的性能。
-
公开(公告)号：CN115455993A
公开(公告)日：2022-12-09
申请号：CN202210950390.3
申请日：2022-08-09
Applicant: 中国科学院计算技术研究所
IPC: G06F40/58 , G06F40/126 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种利用条件变分自动编码器进行标签平滑的翻译方法和系统，包括：将翻译训练文本输入具有条件变分自动编码器的神经网络翻译模型，经过该神经网络翻译模型的编解码器，得到解码器的输出向量，将该输出向量输入该条件变分自动编码器，计算出隐变量，并利用隐变量重构出输出向量，最后用该输出向量替换原有的输出向量，预测标签概率分布。在训练阶段，对比该标签概率分布和原输出向量得出的概率分布构成翻译损失；对比条件变分自动编码器的先验后验输出构成自编码器损失。这两种损失函数加上原有输出向量和后验输出向量分别计算出的标签概率分布损失，一同构成该神经网络翻译模型的训练目标；以神经网络翻译模型执行翻译。
-
公开(公告)号：CN119831039A
公开(公告)日：2025-04-15
申请号：CN202411885787.4
申请日：2024-12-20
Applicant: 中国科学院计算技术研究所
IPC: G06N5/04 , G06N3/045 , G06F16/3329 , G10L15/22 , G06F3/01
Abstract: 本发明提出一种基于大语言模型的人机对话方法、装置，该方法包括如下步骤：基于预设的基线策略，筛选每一时间步的初始流式输入数据，得到对应的目标流式输入数据；并将每一时间步的初始流式输入数据、目标流式输入数据输入至大语言模型，分别得到第一分布、第二分布，依据第一分布、第二分布计算KL散度与置信度。最终结合KL散度与置信度确定目标生成时刻。该方法通过对比激进策略的方式确定模型的目标生成时刻，指导大语言模型在读入恰当流式输入时生成回复，准确确定了生成时刻，避免冗余延时以及不充分的流式输入情况，满足基于大语言模型人机对话的精确性和实时性的要求。
-
Patent Agency Ranking
公开(公告)号：CN119721258A
公开(公告)日：2025-03-28
申请号：CN202510206425.6
申请日：2025-02-25
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 中国科学院计算技术研究所
IPC: G06N5/04 , G06N3/0475 , G06N3/094 , G06N3/045
Abstract: 本发明提供一种语音大模型的自适应层次表征对齐训练方法及装置，涉及自然语言处理技术领域；该方法包括：基于内部语音适应器，根据候选语音大模型，使用源语音以及文本提示词进行模型训练，获得第一语音大模型；基于跨模态语义检索任务，根据源语音以及源语音转录文本，对第一语音大模型的进行语义检索能力筛选，获得最优神经网络层级；基于最优神经网络层级，根据源语音、文本提示词和源语音转录文本，通过第一语音大模型进行预测，并计算模型预测损失；根据模型预测损失，对第一语音大模型进行参数优化，获得第二语音大模型；本发明是一种充分利用源语音和转录文本的映射关系的高效且准确的自适应层次表征对齐训练方法。
-
公开(公告)号：CN117151123A
公开(公告)日：2023-12-01
申请号：CN202310729758.8
申请日：2023-06-19
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种利用交互式翻译指令的大规模语言模型指令微调方法和系统，包括：获取初始语言的预训练模型，构建交互式翻译数据；以该交互式翻译数据为训练数据，训练该预训练模型执行用户指令，以利用该交互式翻译数据对该预训练模型进行指令微调训练；指令微调训练过程采用交叉熵损失衡量该预训练模型在该训练数据上的损失函数，通过优化该预训练模型直到该损失函数收敛，保存当前预训练模型作为指令遵循大规模语言模型；将任意语言的用户指令输入该指令遵循大规模语言模型，得到该指令的对应执行结果。通过少量训练数据的构建，就能实现语言对齐，并提高大规模语言模型在非初始语言的生成能力和指令遵循能力。
-
公开(公告)号：CN110263350A
公开(公告)日：2019-09-20
申请号：CN201910176207.7
申请日：2019-03-08
Applicant: 腾讯科技(深圳)有限公司 , 中国科学院计算技术研究所
Abstract: 本申请涉及一种模型训练方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取训练文本对；所述训练文本对包括相对应的源文本和期望文本；将所述源文本输入翻译模型，生成与所述源文本相对应的翻译文本；获取所述翻译模型的隐层所输出的隐层向量作为质量评估模型的训练样本；所述隐层向量融合了所述源文本和所述翻译文本；根据所述翻译文本与所述期望文本，确定所述训练样本相应的训练标签；通过所述训练样本和相应的训练标签训练所述质量评估模型。本申请提供的方案可以降低模型训练成本。
-
公开(公告)号：CN114048758B
公开(公告)日：2025-04-15
申请号：CN202111328003.4
申请日：2021-11-10
Applicant: 北京有竹居网络技术有限公司 , 中国科学院计算技术研究所
IPC: G06F40/42 , G06F40/58 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本公开提供了一种用于语音翻译模型的训练方法、语音翻译方法、设备和计算机可读介质。训练方法包括：获得与源语音数据对应的源语音表示序列和与该源语音数据对应的源文本表示序列；根据源语音表示序列和源文本表示序列，获得混合序列；利用语音翻译模型对源语音表示序列进行处理以输出第一目标文本的第一概率分布，并利用语音翻译模型对混合序列进行处理以输出第二目标文本的第二概率分布；根据第一概率分布和第二概率分布，计算总损失函数；和根据总损失函数训练语音翻译模型。
-
公开(公告)号：CN117371527A
公开(公告)日：2024-01-09
申请号：CN202311439852.6
申请日：2023-11-01
Applicant: 中国科学院计算技术研究所
IPC: G06N5/022 , G06N3/0455 , G06N3/082 , G06F18/214 , G06F18/22
Abstract: 本发明提出一种基于大模型的多模态实体链接方法和系统，将大模型相关的技术应用于知识图谱领域的多模态实体链接问题。相比基于纯文本模态的实体链接，本发明能够考虑到视觉模态的辅助信息，从而能够在纯文本无法消除歧义的场合完成精确的实体链接；而与其他现有的多模态实体链接方法相比，本发明基于参数高效的训练方法，实现了基于大模型的实体链接，能够更好地利用到大模型强大的理解能力和生成能力，在训练代价较小的情况下取得了客观的性能提升。
-
-
-
-
-
-
-
-
-
Search Results
25
records
(took 0.041 seconds)
