-
公开(公告)号：CN110347489B
公开(公告)日：2021-08-03
申请号：CN201910629253.8
申请日：2019-07-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于Spark的多中心数据协同计算的流处理方法，多个客户端生成和提交用户的计算任务请求给计算端，计算端解析请求，生成并执行计算指令；本发明对于多中心的数据计算的需求和操作的执行流处理计算，提高程序执行性能和资源分配效率；设置资源管理的日志和RESTFul，准确调控记录来自多中心的Spark请求任务所占用和需求的内存和线程资源；利用最大最小公平原则的策略，执行对流计算中每一步的资源分配；本发明解决了多中心数据协同计算的大批量的线程阻塞延迟问题，减少单个用户的等待时间，提升资源分配的灵活性和公平程度。
-
公开(公告)号：CN110190946A
公开(公告)日：2019-08-30
申请号：CN201910629833.7
申请日：2019-07-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于同态加密的隐私保护多机构数据分类方法，首先使用者生成训练数据的筛选条件发送给计算中心；计算中心利用同态加密算法生成加密参数发送给各家数据提供机构；各家数据提供机构对标注有分类标签的本地数据进行筛选，得到训练数据，根据加密参数利用同态加密算法生成各自的公钥和私钥，通过公钥加密训练数据发送给计算中心；计算中心与各家数据提供机构共同执行同态加密下的逻辑回归分析，得到数据分类模型发送给使用者；使用者将待分类数据输入数据分类模型得到分类结果。本发明在实际应用中具有更高的安全性，既有效保护了个人隐私，又避免了数据提供机构可能产生的利益损失，在很大程度上促进了多机构数据分析的开展。
-
公开(公告)号：CN110190946B
公开(公告)日：2021-09-03
申请号：CN201910629833.7
申请日：2019-07-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于同态加密的隐私保护多机构数据分类方法，首先使用者生成训练数据的筛选条件发送给计算中心；计算中心利用同态加密算法生成加密参数发送给各家数据提供机构；各家数据提供机构对标注有分类标签的本地数据进行筛选，得到训练数据，根据加密参数利用同态加密算法生成各自的公钥和私钥，通过公钥加密训练数据发送给计算中心；计算中心与各家数据提供机构共同执行同态加密下的逻辑回归分析，得到数据分类模型发送给使用者；使用者将待分类数据输入数据分类模型得到分类结果。本发明在实际应用中具有更高的安全性，既有效保护了个人隐私，又避免了数据提供机构可能产生的利益损失，在很大程度上促进了多机构数据分析的开展。
-
公开(公告)号：CN110347489A
公开(公告)日：2019-10-18
申请号：CN201910629253.8
申请日：2019-07-12
Applicant: 之江实验室
Abstract: 本发明公开了一种基于Spark的多中心数据协同计算的流处理方法，多个客户端生成和提交用户的计算任务请求给计算端，计算端解析请求，生成并执行计算指令；本发明对于多中心的数据计算的需求和操作的执行流处理计算，提高程序执行性能和资源分配效率；设置资源管理的日志和RESTFul，准确调控记录来自多中心的Spark请求任务所占用和需求的内存和线程资源；利用最大最小公平原则的策略，执行对流计算中每一步的资源分配；本发明解决了多中心数据协同计算的大批量的线程阻塞延迟问题，减少单个用户的等待时间，提升资源分配的灵活性和公平程度。
-
-
-
Search Results
4
records
(took 0.015 seconds)
