基于联邦学习的模型训练方法及通信网络欺诈检测方法

    公开(公告)号:CN118827137A

    公开(公告)日:2024-10-22

    申请号:CN202410655287.5

    申请日:2024-05-24

    Abstract: 本发明公开了一种基于联邦学习的模型训练方法及通信网络欺诈检测方法,通过联邦学习的每一汇聚节点收集本地用户行为数据,并生成训练数据集,根据训练数据集进行模型训练,对训练获得的本地模型进行参数提取与封装,将获得的参数文件上传至中心服务器;通过中心服务器对接收到的每一汇聚节点上传的参数文件进行验证,解析验证通过的参数文件;在隔离的测试环境中对解析获得的所有模型参数进行聚合,生成全局模型;对全局模型进行模型评估与优化,并将优化后的全局模型下发至每一汇聚节点;通过每一汇聚节点接收优化后的全局模型,以根据优化后的全局模型进行通信网络欺诈行为检测,能够降低数据隐私泄露风险,提高欺诈检测的实时性和准确性。

    联邦训练方法、装置、设备、介质及产品

    公开(公告)号:CN119005355A

    公开(公告)日:2024-11-22

    申请号:CN202410948334.5

    申请日:2024-07-16

    Abstract: 本公开涉及通信技术领域,尤其是提供一种联邦训练方法、装置、设备、介质及产品,包括:在确定第一联邦客户端退出联邦学习任务的当前训练轮次的情况下,获取所述第一联邦客户端和第二联邦客户端在历史训练轮次训练得到的历史模型参数;其中,所述第二联邦客户端为当前训练轮次未退出的客户端;基于所述历史模型参数,计算所述第一联邦客户端和所述第二联邦客户端之间在历史训练轮次所训练得到的目标模型的相似度;基于所述相似度在所述第二联邦客户端中确定所述第一联邦客户端的替代联邦客户端,并通过所述替代联邦客户端执行所述第一联邦客户端针对当前训练轮次的训练任务,从而节省联邦训练过程中的通信资源,提高联邦学习效率。

    任务处理方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN117009061A

    公开(公告)日:2023-11-07

    申请号:CN202210453839.5

    申请日:2022-04-27

    Inventor: 马超

    Abstract: 本申请实施例提供了任务处理方法、装置、设备及计算机可读存储介质,任务的处理过程包括Map任务处理阶段和Reduce任务处理阶段,Reduce任务处理阶段包括多个子阶段,方法包括:预估各个子阶段执行Reduce任务的耗时占比;对于当前执行的M个Reduce任务中的任意第i个Reduce任务,根据第i个Reduce任务所处于的子阶段和至少一个子阶段的耗时占比,确定第i个Reduce任务的执行进度;根据M个Reduce任务的执行进度,得到平均执行进度;根据每个Reduce任务的执行进度和平均执行进度,确定执行进度小于或等于平均执行进度的目标任务。本申请实施例能够提升慢任务预估准确性。

    任务调度方法、装置、电子设备及可读存储介质

    公开(公告)号:CN117009041A

    公开(公告)日:2023-11-07

    申请号:CN202210453970.1

    申请日:2022-04-27

    Inventor: 马超

    Abstract: 本申请提供一种任务调度方法、装置、电子设备及可读存储介质。其中,方法包括:获取与第一数据切片组合对应的第一关系拓扑图;根据第一关系拓扑图,确定与P个数据切片调度序列一一对应的P个第一数据切片调度方式,其中,P个数据切片调度序列均包括m个目标数据切片,在不同数据切片调度序列中,m个目标数据切片的调度顺序不同;第一数据切片调度方式为数据切片调度序列对应的至少两个调度方式中,调度成本最低的数据切片调度方式,调度成本基于至少一个调度成本贡献值确定;根据P个第一数据切片调度方式中的第一目标数据切片调度方式,执行m个目标数据切片的调度。本申请考虑了任务调度的全局影响,从而可以提高全局执行效率。

    基于网络行为数据的信息推送方法及装置

    公开(公告)号:CN113098916A

    公开(公告)日:2021-07-09

    申请号:CN201911338660.X

    申请日:2019-12-23

    Abstract: 本发明公开了一种基于网络行为数据的信息推送方法及装置,该方法包括:获取用户的网络行为数据,从网络行为数据中选出训练数据;将训练数据划分为n份,得到n份子训练数据;设置神经网络模型的模型变量的初始值;每次训练过程将其中的n‑1份作为训练集,另外一份作为测试集,循环选取训练集和测试集,并将测试得到的误差进行累加,若n次循环的累加结果不满足则更新模型变量值进行下一轮的循环训练,最终确定出目标模型变量值及其构建的目标神经网络模型进行用户流量特征的预测,进而根据预测结果进行信息推送。由此可见,通过设置不同的模型变量值,并循环选取测试集和训练集进行模型训练,可提高训练结果的准确性,进而有利于准确的进行信推送。

    基于网络行为数据的信息推送方法及装置

    公开(公告)号:CN113098916B

    公开(公告)日:2023-11-14

    申请号:CN201911338660.X

    申请日:2019-12-23

    Abstract: 本发明公开了一种基于网络行为数据的信息推送方法及装置,该方法包括:获取用户的网络行为数据,从网络行为数据中选出训练数据;将训练数据划分为n份,得到n份子训练数据;设置神经网络模型的模型变量的初始值;每次训练过程将其中的n‑1份作为训练集,另外一份作为测试集,循环选取训练集和测试集,并将测试得到的误差进行累加,若n次循环的累加结果不满足则更新模型变量值进行下一轮的循环训练,最终确定出目标模型变量值及其构建的目标神经网络模型进行用户流量特征的预测,进而根据预测结果进行信息推送。由此可见,通过设置不同的模型变量值,并循环选取测试集和训练集进行模型训练,可提高训练结果的准确性,进而有利于准确的进行信推送。

    Hadoop平台下的任务调度方法及装置

    公开(公告)号:CN113094155B

    公开(公告)日:2023-07-18

    申请号:CN201911338708.7

    申请日:2019-12-23

    Inventor: 马超

    Abstract: 本发明公开了一种Hadoop平台下的任务调度方法及装置,该方法包括:对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估;根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理;根据重排序结果将待处理任务调度给执行节点以供进行任务处理。通过上述方式,本发明可以通过预估映射阶段以及归约阶段的混洗时期和排序时期的处理耗时,来对任务队列中的任务进行重排序,避免处理过程中的拥堵,以使任务的调度更为合理。

Patent Agency Ranking