-
公开(公告)号:CN106095573B
公开(公告)日:2019-10-22
申请号:CN201610404619.8
申请日:2016-06-08
Applicant: 北京大学
Abstract: 本发明公开了一种工作槽感知的Storm平台作业均分调度方法。本方法为:1)获取集群中需要任务调度的拓扑集合,及集群中所有空闲可利用的工作槽集合;2)对该工作槽集合中同一工作节点的工作槽分为同一组;3)从当前工作槽剩余最多的分组中取出工作槽放入槽感知排序队列,然后更新每组工作槽的数量,直到工作槽集合为空;4)对于该拓扑集合中的拓扑,根据该拓扑所设置的进程数、工作槽总数目和已经分配的工作槽数目,计算该拓扑需分配的工作槽数目Na;5)从该队列中顺序取出工作槽,并实时控制分配给该拓扑的工作槽中属于同一工作节点的工作槽数n占该拓扑工作槽总数的比例不超过设定比例α,直至取出Na个工作槽分配给该拓扑。
-
公开(公告)号:CN110598467A
公开(公告)日:2019-12-20
申请号:CN201910700256.6
申请日:2019-07-31
Applicant: 北京大学
IPC: G06F21/64
Abstract: 本发明公开了一种内存数据块完整性检验方法,其步骤包括:1)对于收到客户端的一数据块验证请求,当Alluxio系统管理的空间没有所请求的数据块时,客户端将从UFS读取相应的数据块,并计算该数据块的Hash值,然后进行步骤2);如果Alluxio系统管理的空间有所请求的数据块,则进行步骤3);2)客户端将该数据块的Hash值传输至Alluxio系统的主节点进行存储;3)客户端对所读取到的数据块进行Hash值计算,然后与主节点通信确认所读取的数据块与真实数据块的一致性,如果不一致,则判定该数据块的完整性遭到破坏。本发明能够有效防护安全威胁,并且本发明在考虑安全的同时,兼顾了对性能的要求。
-
公开(公告)号:CN106095573A
公开(公告)日:2016-11-09
申请号:CN201610404619.8
申请日:2016-06-08
Applicant: 北京大学
Abstract: 本发明公开了一种工作槽感知的Storm平台作业均分调度方法。本方法为:1)获取集群中需要任务调度的拓扑集合,及集群中所有空闲可利用的工作槽集合;2)对该工作槽集合中同一工作节点的工作槽分为同一组;3)从当前工作槽剩余最多的分组中取出工作槽放入槽感知排序队列,然后更新每组工作槽的数量,直到工作槽集合为空;4)对于该拓扑集合中的拓扑,根据该拓扑所设置的进程数、工作槽总数目和已经分配的工作槽数目,计算该拓扑需分配的工作槽数目Na;5)从该队列中顺序取出工作槽,并实时控制分配给该拓扑的工作槽中属于同一工作节点的工作槽数n占该拓扑工作槽总数的比例不超过设定比例α,直至取出Na个工作槽分配给该拓扑。
-
-