基于分步采样的带噪声数据聚类方法及媒体数据分析方法

    公开(公告)号:CN118734110A

    公开(公告)日:2024-10-01

    申请号:CN202410869755.9

    申请日:2024-07-01

    Abstract: 本发明公开了一种基于分步采样的带噪声数据聚类方法,包括获取带噪声数据;针对获取的带噪声数据,通过分步随机采样处理,获取数据对应的候选中心点,构建部分中心点集;针对获取的带噪声数据进行迭代处理,同时将处理后的数据加入到构建的部分中心点集中,构建候选中心点集;采用构建的候选中心点集,构建弱核心集;采用构建的弱核心集,通过鲁棒聚类方法,完成带噪音数据的聚类处理;本发明还提供一种包括了所述的基于分步采样的带噪声数据聚类方法的媒体数据分析方法;本发明方法的可靠性增强、复杂性降低、聚类精度提高。

    一种基于相互知识转移的联邦学习优化方法

    公开(公告)号:CN118364898A

    公开(公告)日:2024-07-19

    申请号:CN202410783397.X

    申请日:2024-06-18

    Abstract: 本发明实施例中提供了一种基于相互知识转移的联邦学习优化方法,属于计算技术领域,具体包括:存储大模型对应的数据集;在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;将学生模型下发给联邦系统的本地客户端;得到本轮训练后的一代本地模型;通过相互知识转移技术得到该本地客户端本轮训练的二代本地模型;服务器将本地客户端上传的模型进行模型聚合,得到本轮训练的全局模型;将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。通过本发明的方案,提高了模型性能、泛化能力和安全性。

    一种基于隐私保护的金融文本可信度评分方法

    公开(公告)号:CN117932614A

    公开(公告)日:2024-04-26

    申请号:CN202410061208.8

    申请日:2024-01-16

    Abstract: 本申请涉及一种基于隐私保护的金融文本可信度评分方法,该方法包括:收集金融文本测试样本,并计算出金融文本测试样本中各文本测试数据对应的机器综合评分;将所有机器综合评分输入至训练好的回归器,得到各文本测试数据对应的可信度评分;以可信度评分的加权距离最小和为目标函数,并设置约束条件;根据目标函数构造马尔科夫决策;采用深度强化学习求解马尔科夫决策,求解出可信度评分的加权距离最小时的可信度中心点,并以可信度中心点对应的可信度评分作为文本测试数据的文本可信度评分;根据文本可信度评分和预设的可信度阈值,确定文本测试数据的可信度情况并对文本测试数据进行可信度标记。

    一种基于数据质量与强化学习的元任务小样本分类方法

    公开(公告)号:CN117688455A

    公开(公告)日:2024-03-12

    申请号:CN202410158075.6

    申请日:2024-02-04

    Abstract: 本申请涉及一种基于数据质量与强化学习的元任务小样本分类方法,该方法包括:分别对标准化处理后的训练集和测试集进行采样,得到采样训练集和采样测试集;将采样训练集和采样测试集组合成一元学习任务;对计算出的每个权重进行归一化,得到每个任务对应的归一化权重;基于每个任务对应的归一化权重,确定每个任务的所属类别;对所属类别为0的任务,进行元策略优化,得到第一元策略以及第一参数;对所属类别为1的任务,进行元强化学习,得到第二元策略以及第二参数;基于第一元策略和第二元策略,得到混合策略;基于第一参数和第二参数,得到混合参数;基于混合策略和混合参数构建目标函数,并最大化目标函数,直至收敛,得到分类模型。

    工业数字孪生数据隐私保护方法及相关介质

    公开(公告)号:CN117094031B

    公开(公告)日:2024-02-06

    申请号:CN202311332704.4

    申请日:2023-10-16

    Abstract: 本发明公开了一种工业数字孪生数据隐私保护方法及相关介质,包括:基于每个工业设备的参数信息,确定参与训练的工业设备,将每个参与训练的工业设备的参数信息,作为一组训练数据;基于训练数据,对训练模型进行分组,得到若干组别的基础模型;根据预设的拆分规则,对每个组别的基础模型进行拆分,得到若干子模型,并对子模型进行组内子模型分配;采用联邦拆分学习的方式,选择参与联邦学习的工业设备,作为目标设备,并确定目标设备对应的组别和子模型;在每个目标设备上采用训练数据对子模型进行本地训练,并基于训练结果进行全局聚合,得到全局训练结果,将全局训练结果分发给所有工业设备,采用本发明提高工业数字孪生的

    一种基于相互知识转移的联邦学习优化方法

    公开(公告)号:CN118364898B

    公开(公告)日:2024-09-03

    申请号:CN202410783397.X

    申请日:2024-06-18

    Abstract: 本发明实施例中提供了一种基于相互知识转移的联邦学习优化方法,属于计算技术领域,具体包括:存储大模型对应的数据集;在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上;将学生模型下发给联邦系统的本地客户端;得到本轮训练后的一代本地模型;通过相互知识转移技术得到该本地客户端本轮训练的二代本地模型;服务器将本地客户端上传的模型进行模型聚合,得到本轮训练的全局模型;将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端,本地客户端再次利用本地数据集训练本轮的本地模型,进行迭代训练,直至最后一轮训练完成后的全局模型收敛,结束训练过程。通过本发明的方案,提高了模型性能、泛化能力和安全性。

    一种基于数据质量与强化学习的元任务小样本分类方法

    公开(公告)号:CN117688455B

    公开(公告)日:2024-05-03

    申请号:CN202410158075.6

    申请日:2024-02-04

    Abstract: 本申请涉及一种基于数据质量与强化学习的元任务小样本分类方法,该方法包括:分别对标准化处理后的训练集和测试集进行采样,得到采样训练集和采样测试集;将采样训练集和采样测试集组合成一元学习任务;对计算出的每个权重进行归一化,得到每个任务对应的归一化权重;基于每个任务对应的归一化权重,确定每个任务的所属类别;对所属类别为0的任务,进行元策略优化,得到第一元策略以及第一参数;对所属类别为1的任务,进行元强化学习,得到第二元策略以及第二参数;基于第一元策略和第二元策略,得到混合策略;基于第一参数和第二参数,得到混合参数;基于混合策略和混合参数构建目标函数,并最大化目标函数,直至收敛,得到分类模型。

    一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法

    公开(公告)号:CN118364897B

    公开(公告)日:2024-09-03

    申请号:CN202410765183.X

    申请日:2024-06-14

    Abstract: 本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法,通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练,得到本地模型;在每个本地工业设备对本地模型进行混合精度量化和剪枝,得到量化损失函数和剪枝后的损失函数;每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型;若是,则训练结束;否则,将全局模型作为原始全局模型,并返回执行进行初始化和量化处理;有效提升了联邦学习整体的通信和数据传输效率。

    一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法

    公开(公告)号:CN118364897A

    公开(公告)日:2024-07-19

    申请号:CN202410765183.X

    申请日:2024-06-14

    Abstract: 本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法,通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练,得到本地模型;在每个本地工业设备对本地模型进行混合精度量化和剪枝,得到量化损失函数和剪枝后的损失函数;每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型;若是,则训练结束;否则,将全局模型作为原始全局模型,并返回执行进行初始化和量化处理;有效提升了联邦学习整体的通信和数据传输效率。

    一种基于联邦知识蒸馏的大模型训练方法

    公开(公告)号:CN117236421A

    公开(公告)日:2023-12-15

    申请号:CN202311512843.5

    申请日:2023-11-14

    Abstract: 本发明实施例中提供了一种基于联邦知识蒸馏的大模型训练方法,属于计算技术领域,具体包括:步骤1,将预设机构中的数据集联合,构建联邦大模型系统;步骤2,在联邦大模型系统中的服务器中部署一个知识蒸馏,以用户的本地数据训练出来的模型参数作为输入,训练得到一个教师模型,在知识蒸馏的控制下使用教师模型的输出和本地数据的真实标签训练学生模型;步骤3,将训练好的学生模型通过服务器发送给小机构的客户端;步骤4,根据小机构的数据量和训练需要,结合学生模型确定训练方案进行训练,得到目标模型。通过本发明的方案,提高了训练效率和安全性。

Patent Agency Ranking