-
公开(公告)号：CN119849624A
公开(公告)日：2025-04-18
申请号：CN202411916261.8
申请日：2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06N5/04 , G06F18/25 , G06N3/0455 , G06N3/0464 , G06N3/0475
Abstract: 本申请涉及一种基于多模态情感的大模型对话方法、装置、设备及介质，尤其涉及自然语言处理技术领域。包括：接收用户的多模态输入，并对多模态输入进行多模态情感分析得到多模态情感表征；将多模态情感表征和当前对话上下文输入情感生成网络，得到情感生成网络输出的当前情感倾向；基于当前情感倾向对历史情感倾向进行更新，得到目标情感倾向；将目标情感倾向和当前对话上下文输入解码器，得到解码器输出的情感回复内容。本申请实施例提升了情感理解的准确性，适应于用户情感波动，能够生成连贯且一致的情感回复内容。
-
公开(公告)号：CN119831045A
公开(公告)日：2025-04-15
申请号：CN202411915111.5
申请日：2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06N5/04 , G06F40/30 , G06F18/22 , G06F16/3329 , G06F16/335
Abstract: 本申请实施例公开了一种基于上下文的大语言模型对话处理方法、装置及电子设备，可解决如何提供一种基于上下文相似度分析与智能筛选的动态管理方法来优化大语言模型交互的问题。该方法包括：获取用户输入的当前文本信息；对当前文本信息和预存的多个历史对话信息分别进行编码，得到当前文本向量和多个历史对话向量；根据每个历史对话向量和当前文本向量之间的语义相似度，对多个历史对话向量进行筛选，得到筛选后的目标历史对话信息；将当前文本信息和筛选后的目标历史对话信息进行拼接，得到目标输入文本；将目标输入文本输入到目标语言模型中，得到目标输出响应信息，目标语言模型包括大语言模型。
-
Patent Agency Ranking
公开(公告)号：CN119761417A
公开(公告)日：2025-04-04
申请号：CN202411808552.5
申请日：2024-12-10
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06N3/0455 , G06N3/048 , G06N3/047 , G06N3/084 , G06N5/04
Abstract: 本申请涉及数据处理技术领域，尤其提供一种大模型的优化训练、数据处理方法、装置、设备和存储介质，首先，针对每条样本指令，将样本指令输入基础模型，得到样本指令的N条候选答案，利用M个不同的奖励模型分别对候选答案进行评分，得到候选答案的M个评分结果；然后对候选答案的M个评分结果进行加权计算，得到候选答案的偏好值；基于候选答案的偏好值从N条候选答案中选取第一答案和第二答案；最后构建偏好样本数据集，偏好样本数据集包括偏好样本，偏好样本包括样本指令以及样本指令对应的第一答案和第二答案，偏好样本数据集用于采用离线方式对基础模型进行优化训练。以减少了对巨量计算资源的消耗，使大模型偏好对齐训练任务更易实施。
-
公开(公告)号：CN119849626A
公开(公告)日：2025-04-18
申请号：CN202411916870.3
申请日：2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
IPC: G06N5/04 , G06N3/0499 , G06N3/08
Abstract: 本申请实施例提供了一种针对大语言模型的推理过程的优化方法及装置，涉及大语言模型技术领域，该方法具体为：接收用户输入的问题文本；获取所述问题文本对应的目标特征集合，并基于所述目标特征集合对所述问题文本进行复杂度量化评估，以获取所述问题文本对应的目标复杂度；所述目标特征集合中的特征用于表征所述问题文本的复杂性；基于所述目标复杂度确定待激活的解码层的目标数量M，并将所述目标数量的解码层进行激活；其中，M为大于等于1的整数；待M个解码层激活之后，利用所述M个解码层对所述问题文本进行解码分析，获取所述问题文本对应的目标答复文本。本申请能够提高大语言模型的推理效率，同时避免资源浪费。
-
公开(公告)号：CN119849625A
公开(公告)日：2025-04-18
申请号：CN202411916264.1
申请日：2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
Abstract: 本公开涉及一种基于对偶复数的知识图谱推理方法、装置、设备及介质，该方法包括：从待推理的知识图谱中提取样本三元组；对样本三元组进行负采样，得到负样本三元组；将样本三元组和负样本三元组确定为训练数据输入至用于将实体和关系嵌入至对偶复数空间的向量转换模型，基于向量转换模型输出的第一头实体向量、第一关系向量、第一尾实体向量、第二头实体向量、第二关系向量和第二尾实体向量构建损失函数，并对向量转换模型进行训练；基于训练后的向量转换模型对知识图谱进行推理补全。本公开通过将对偶复数空间应用于知识图谱的向量表示并训练向量转换模型，能够在不牺牲模型表现力的情况下减少参数量，提高知识图谱推理补全任务的运算效率。
-
公开(公告)号：CN119830345A
公开(公告)日：2025-04-15
申请号：CN202411915119.1
申请日：2024-12-24
Applicant: 北京中科闻歌科技股份有限公司
Abstract: 本公开实施例涉及一种基于大模型的隐私保护方法、装置、设备及介质，该方法包括：获取用户输入文本中的隐私信息以及隐私信息的实体类型标识；根据用户输入文本和实体类型标识，对隐私信息进行基于上下文的编码处理和基于类型的解码处理，得到隐私信息对应的替代信息；基于隐私信息和替代信息之间的对应关系，对用户输入文本进行基于问答模型的脱敏问答并恢复隐私信息，生成用户输入文本的应答文本。从而，提高了替代信息上下文语义的连贯性和完整性，以及替代信息与隐私信息的实体类型一致性，降低了将隐私信息替换为替代信息对脱敏问答的影响，在脱敏问答过程中保护了用户隐私，又使得最终生成的应答文本具有更好的准确性以及文本连贯性。
-
公开(公告)号：CN119538981A
公开(公告)日：2025-02-28
申请号：CN202411627791.0
申请日：2024-11-14
Applicant: 北京中科闻歌科技股份有限公司
Abstract: 本公开涉及一种领域大语言模型微调训练方法、装置、电子设备及介质；方法包括：在微调训练阶段，获取多个领域任务的原始指令数据，构建单项选择任务数据集，单项选择任务数据集包括多个领域任务的多条单项选择任务数据，对单项选择任务数据集中的原始指令题目进行数据扰动操作，识别各个领域任务的关键注意力头，获取关键注意力头索引表，基于关键注意力头索引表，加载目标领域任务对应的目标关键注意力头列表；针对目标领域任务，基于目标关键注意力头列表进行关键注意力头训练，更新目标关键注意力头列表中各个关键注意力头的权重参数，冻结其他网络层的权重参数。
-
-
-
-
-
-
Search Results
7
records
(took 0.027 seconds)
