-
公开(公告)号：CN117236421B
公开(公告)日：2024-03-12
申请号：CN202311512843.5
申请日：2023-11-14
Applicant: 湘江实验室
Abstract: 本发明实施例中提供了一种基于联邦知识蒸馏的大模型训练方法，属于计算技术领域，具体包括：步骤1，将预设机构中的数据集联合，构建联邦大模型系统；步骤2，在联邦大模型系统中的服务器中部署一个知识蒸馏，以用户的本地数据训练出来的模型参数作为输入，训练得到一个教师模型，在知识蒸馏的控制下使用教师模型的输出和本地数据的真实标签训练学生模型；步骤3，将训练好的学生模型通过服务器发送给小机构的客户端；步骤4，根据小机构的数据量和训练需要，结合学生模型确定训练方案进行训练，得到目标模型。通过本发明的方案，提高了训练效率和安全性。
-
公开(公告)号：CN119151015B
公开(公告)日：2025-03-04
申请号：CN202411614725.X
申请日：2024-11-13
Applicant: 湘江实验室
IPC: G06N20/00 , G06F18/213 , G06F18/25
Abstract: 本申请涉及多模态数据技术领域，提供了一种弥补模态缺失的多模态联邦学习方法及相关设备，该方法包括：从所有目标客户端中确定出缺失客户端；对缺失客户端的模态的数据进行特征提取，得到数据特征，对所有数据特征进行融合得到最终融合特征，并提取缺失客户端的模态的数据的时间特征，对所有时间特征进行融合得到最终时间特征，基于最终融合特征和最终时间特征，获取缺失模态的数据；将目标客户端和获取缺失模态的数据后的缺失客户端均作为最终客户端，利用最终客户端的所有模态的数据对每个模态模型进行训练，得到训练后的模态模型；将所有训练后的模态模型进行整合得到多模态模型。本申请的方法能够提高多模态模型的质量。
-
公开(公告)号：CN118972667B
公开(公告)日：2024-12-13
申请号：CN202411432446.1
申请日：2024-10-14
Applicant: 湘江实验室
IPC: H04N21/4402 , G06N20/00 , H04N7/01
Abstract: 本发明实施例中提供了一种基于深度强化学习的视频插帧任务调度方法，属于数据处理技术领域，具体包括：步骤1，对视频数据进行解码得到不同视频帧组并进行插帧算法类型划分，得到视频帧组特征信息向量；步骤2，获得算力设备性能指标向量；步骤3，基于视频帧组特征信息向量和算力设备性能指标向量，采用强化学习对不同视频帧组分配算力设备；步骤4，从各算力设备得到插帧结果，将插帧结果插入视频帧之间，得到完整插帧视频组，对其进行编码操作，得到插帧视频数据。通过本发明的方案，提高了任务调度的效率、精准度和适应性。
-
公开(公告)号：CN118364897B
公开(公告)日：2024-09-03
申请号：CN202410765183.X
申请日：2024-06-14
Applicant: 湘江实验室
IPC: G06N3/098 , G06N3/0464 , G06N3/0495 , G06N3/082 , G06N5/01 , G06V10/82
Abstract: 本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练，得到本地模型；在每个本地工业设备对本地模型进行混合精度量化和剪枝，得到量化损失函数和剪枝后的损失函数；每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型；若是，则训练结束；否则，将全局模型作为原始全局模型，并返回执行进行初始化和量化处理；有效提升了联邦学习整体的通信和数据传输效率。
-
公开(公告)号：CN118364897A
公开(公告)日：2024-07-19
申请号：CN202410765183.X
申请日：2024-06-14
Applicant: 湘江实验室
IPC: G06N3/098 , G06N3/0464 , G06N3/0495 , G06N3/082 , G06N5/01 , G06V10/82
Abstract: 本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练，得到本地模型；在每个本地工业设备对本地模型进行混合精度量化和剪枝，得到量化损失函数和剪枝后的损失函数；每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型；若是，则训练结束；否则，将全局模型作为原始全局模型，并返回执行进行初始化和量化处理；有效提升了联邦学习整体的通信和数据传输效率。
-
Patent Agency Ranking
公开(公告)号：CN117688193B
公开(公告)日：2024-05-31
申请号：CN202410139026.8
申请日：2024-02-01
Applicant: 湘江实验室
IPC: G06F16/51 , G06F16/30 , G06F16/35 , G06F16/383 , G06F16/55 , G06F16/583 , G06F18/22 , G06N3/045 , G06N3/082
Abstract: 本发明公开了一种图文统一编码方法、装置、计算机设备及介质，包括：构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；采用训练好的图文编码模型对图文进行统一编码，实现基于双向生成网络的图文统一编码方法，能快速实现对图像和文本数据的统一编码表示，提高图文查询检索效率。
-
公开(公告)号：CN118093836A
公开(公告)日：2024-05-28
申请号：CN202410491451.3
申请日：2024-04-23
Applicant: 湘江实验室
IPC: G06F16/332 , G06F40/216 , G06F40/284 , G06F16/335 , G06F16/35 , G06F16/36
Abstract: 本公开实施例中提供了一种基于大语言模型的在线问答提示词优化生成方法，属于计算技术领域，具体包括：构建咨询问题数据库；组成关键字集合；提示词向量化；计算向量化的输入提示词和每个向量化的咨询提示词之间的余弦相似度；将关键字集合根据语义随机组合；将第一提示词集合和第二提示词集合合并；根据适应值函数计算初始化种群中每个个体的分数；进行单点交叉操作；进行流动关联变异；计算流动关联变异后的提示词集合的得分；根据目标得分集合和轮盘赌算法从目标提示词集合中选择一半数量提示词；循环得到新提示词集合和其对应的新得分集合；将新得分集合中的分数进行排序并选择前X项组成集合。通过本公开的方案，提高了解答准确性和效率。
-
公开(公告)号：CN117236421A
公开(公告)日：2023-12-15
申请号：CN202311512843.5
申请日：2023-11-14
Applicant: 湘江实验室
Abstract: 本发明实施例中提供了一种基于联邦知识蒸馏的大模型训练方法，属于计算技术领域，具体包括：步骤1，将预设机构中的数据集联合，构建联邦大模型系统；步骤2，在联邦大模型系统中的服务器中部署一个知识蒸馏，以用户的本地数据训练出来的模型参数作为输入，训练得到一个教师模型，在知识蒸馏的控制下使用教师模型的输出和本地数据的真实标签训练学生模型；步骤3，将训练好的学生模型通过服务器发送给小机构的客户端；步骤4，根据小机构的数据量和训练需要，结合学生模型确定训练方案进行训练，得到目标模型。通过本发明的方案，提高了训练效率和安全性。
-
公开(公告)号：CN118972667A
公开(公告)日：2024-11-15
申请号：CN202411432446.1
申请日：2024-10-14
Applicant: 湘江实验室
IPC: H04N21/4402 , G06N20/00 , H04N7/01
Abstract: 本发明实施例中提供了一种基于深度强化学习的视频插帧任务调度方法，属于数据处理技术领域，具体包括：步骤1，对视频数据进行解码得到不同视频帧组并进行插帧算法类型划分，得到视频帧组特征信息向量；步骤2，获得算力设备性能指标向量；步骤3，基于视频帧组特征信息向量和算力设备性能指标向量，采用强化学习对不同视频帧组分配算力设备；步骤4，从各算力设备得到插帧结果，将插帧结果插入视频帧之间，得到完整插帧视频组，对其进行编码操作，得到插帧视频数据。通过本发明的方案，提高了任务调度的效率、精准度和适应性。
-
公开(公告)号：CN117688193A
公开(公告)日：2024-03-12
申请号：CN202410139026.8
申请日：2024-02-01
Applicant: 湘江实验室
IPC: G06F16/51 , G06F16/30 , G06F16/35 , G06F16/383 , G06F16/55 , G06F16/583 , G06F18/22 , G06N3/045 , G06N3/082
Abstract: 本发明公开了一种图文统一编码方法、装置、计算机设备及介质，包括：构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；采用训练好的图文编码模型对图文进行统一编码，实现基于双向生成网络的图文统一编码方法，能快速实现对图像和文本数据的统一编码表示，提高图文查询检索效率。
-
-
-
-
-
-
-
-
-
Search Results
16
records
(took 0.02 seconds)
