-
公开(公告)号:CN116090528A
公开(公告)日:2023-05-09
申请号:CN202211670584.4
申请日:2022-12-25
Applicant: 湖南大学
IPC: G06N3/063
Abstract: 本发明公开了一种面向AI的跨域数据并行训练调度方法。所述方法包括如下步骤:(1)在跨域多数据中心之间建立广域网,使各数据中心的参数服务器与全局参数服务器之间可以在广域网下互相通信;在单个数据中心内部建立高速局域网,使数据中心内的工作节点可以在高速局域网下通信;(2)基于步骤(1)搭建的通信网络,各数据中心在本地数据集上使用随机梯度下降算法训练本地的神经网络模型,在达到最大迭代次数后,聚合各数据中心的神经网络模型参数,得到全局神经网络模型参数。
-
公开(公告)号:CN112711607A
公开(公告)日:2021-04-27
申请号:CN202011605240.6
申请日:2020-12-30
Applicant: 湖南大学 , 湖南匡安网络技术有限公司
IPC: G06F16/2453 , G06F16/2455 , G06F16/2458
Abstract: 本发明公开了一种基于Flink框架的实时增量式频繁项集挖掘方法,包括:(1)对实时增量数据集db进行频繁项集挖掘,得到频繁项集集合f;(2)获取原始数据集DB的频繁项集集合F;(3)获取频繁项集集合F和频繁项集集合f二者之间的频繁项集交集F∩f、以及频繁项集差集f‑F和F‑f,以及每个集合中各个项集的出现次数;(4)获取频繁项集差集f‑F和F‑f中出现次数大于等于全局数据集中最小出现次数的项集,将其和频繁项集交集F∩f中的所有项集进行合并,以得到全局频繁项集集合。本发明能解决现有技术中需要多次扫描全局数据集而导致的挖掘方法效率低下的技术问题。
-