-
公开(公告)号:CN104636404B
公开(公告)日:2019-02-19
申请号:CN201310573545.7
申请日:2013-11-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明实施例提供一种用于测试的大规模数据生成方法和装置,其中,方法包括:第一节点对样本数据进行分析,以获得所述样本数据的至少一个概率分布函数,所述样本数据来源于实际的测试的文本数据;所述第一节点根据所述样本数据的至少一个概率分布函数构造随机数发生器;所述第一节点采用所述随机数发生器生成大规模数据。本发明实施例提供的用于测试的大规模数据生成装置方法和装置,可以获得能够反映真实数据规律的大规模数据。
-
公开(公告)号:CN104346380B
公开(公告)日:2018-03-09
申请号:CN201310330196.6
申请日:2013-07-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30958
Abstract: 基于MapReduce模型的数据排序方法和系统,其中排序方法包括步骤:在MAP阶段每个MAP模块在对数据分块中的元素排序过程中,每确定一个元素的排序结果后,即将该元素加入先入先出数据结构中;在Reduce阶段Reduce模块获取所有先入先出数据结构中的当前元素;获取当前全局极值元素;将当前全局极值元素作为排序结果输出;将输出的当前全局极值元素从所述Reduce阶段元素集中移除,并更新Reduce阶段元素集。通过本申请,不必要等待MAP阶段的排序过程完成,即可在Reduce阶段根据先入先出缓存队列中的当前元素中选取极值元素,并流式的输出排序结果,所以可以提前输出排序结果,以减少用户的等待时间。
-
公开(公告)号:CN104239019B
公开(公告)日:2017-11-03
申请号:CN201310248207.6
申请日:2013-06-21
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F9/44
Abstract: 本发明实施例涉及网络技术领域,公开了一种搜索请求生成方法和系统。其中,该方法包括:获取搜索请求的种子数据,所述种子数据的时间长度为第一时长;对所述种子数据进行分析,获取所述种子数据的负载特性;根据所述种子数据的负载特性生成时间长度为第二时长的搜索请求数据;所述第二时长大于第一时长。实施本发明实施例,其获得的搜索请求可以很好地反映请求数据的真实性,克服现有技术中使用固定的概率模型生成搜索请求所带来的缺陷。
-
公开(公告)号:CN107220285A
公开(公告)日:2017-09-29
申请号:CN201710270989.1
申请日:2017-04-24
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及一种面向海量轨迹点数据的并行时空索引构建方法,以轨迹点数据文件作为索引单元,降低了索引的存储消耗,使索引结构具有高度的可扩展性;同时使用了希尔伯特曲线对数据文件进行划分,相比其他的多维到一维映射的方式,希尔伯特曲线因其优秀的空间填充特性使得划分效果更良好,能够降低数据倾斜发生的概率。
-
公开(公告)号:CN103970738B
公开(公告)日:2017-08-29
申请号:CN201310027416.8
申请日:2013-01-24
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F17/10
Abstract: 本发明提供一种产生数据的方法和装置,涉及计算机领域,能够利用小规模的样本数据生成大数据,同时还保留了原有小规模数据的特征规律,提高了生成的大数据的参考价值,并且不需要进行数据的大规模移动,有效节省了存储和网络开销。其方法为:通过主节点根据样本数据制定数据生成的策略,并将数据生成的策略分发至至少一个从节点,以便主节点和从节点根据数据生成策略产生数据,并将产生的数据上传至文件系统。使得最终产生的数据具有样本数据的数值规律,并且在此基础上提高了生成数据的参考价值,同时避免了数据的大规模移动,有效的节省了存储和网络开销。本发明用于产生大数据。
-
公开(公告)号:CN106155822A
公开(公告)日:2016-11-23
申请号:CN201510133709.3
申请日:2015-03-25
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F11/00
Abstract: 本发明公开了一种处理能力评估方法及装置,涉及通信领域,在节省评估成本的前提下,实现了对大规模计算机集群的处理能力的评估。具体方案为:采集小规模计算机集群运行应用时的运行参数,根据运行参数获取性能推演模型,获取小规模计算机集群的配置信息和大规模计算机集群的配置信息,根据小规模计算机集群的配置信息、大规模计算机集群的配置信息和性能推演模型,对大规模计算机集群的处理能力进行评估,以得到大规模计算机集群的处理能力。本发明用于大规模计算机集群的处理能力评估过程中。
-
公开(公告)号:CN103294550B
公开(公告)日:2016-08-10
申请号:CN201310206533.0
申请日:2013-05-29
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种异构多核线程调度方法,包括根据程序的动态特征分别为线程和核生成排序列表,并根据排序列表找出线程和核的最优的稳定匹配,根据该稳定匹配进行线程调度。包括接收运行在该核的线程的特征向量,并据其为该线程给各个核进行选择一个优先级排序;为各个核对各个线程进行排序;接收各个线程和核的排序列表,并找出线程和核的稳定匹配结果;接收该匹配结果,通过操作系统进行调度,将各个线程分配到相应的核上运行。避免了抽样调度带来的巨大开销;将更多影响性能功耗的复杂因素考虑在内,只需要预测的相对关系而非具体值,降低了模型的复杂度的同时也提高了调度的精确性。
-
公开(公告)号:CN104636404A
公开(公告)日:2015-05-20
申请号:CN201310573545.7
申请日:2013-11-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30539 , G06F17/30536 , G06F17/3061
Abstract: 本发明实施例提供一种用于测试的大规模数据生成方法和装置,其中,方法包括:第一节点对样本数据进行分析,以获得所述样本数据的至少一个概率分布函数,所述样本数据来源于实际的测试的文本数据;所述第一节点根据所述样本数据的至少一个概率分布函数构造随机数发生器;所述第一节点采用所述随机数发生器生成大规模数据。本发明实施例提供的用于测试的大规模数据生成装置方法和装置,可以获得能够反映真实数据规律的大规模数据。
-
公开(公告)号:CN104239019A
公开(公告)日:2014-12-24
申请号:CN201310248207.6
申请日:2013-06-21
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F9/44
Abstract: 本发明实施例涉及网络技术领域,公开了一种搜索请求生成方法和系统。其中,该方法包括:获取搜索请求的种子数据,所述种子数据的时间长度为第一时长;对所述种子数据进行分析,获取所述种子数据的负载特性;根据所述种子数据的负载特性生成时间长度为第二时长的搜索请求数据;所述第二时长大于第一时长。实施本发明实施例,其获得的搜索请求可以很好地反映请求数据的真实性,克服现有技术中使用固定的概率模型生成搜索请求所带来的缺陷。
-
公开(公告)号:CN104102535A
公开(公告)日:2014-10-15
申请号:CN201310112322.0
申请日:2013-04-01
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F9/48
Abstract: 本发明实施例提供一种进程迁移方法和可迁移操作系统。本发明进程迁移方法,包括:在多内核操作系统的至少一个内核上存储的全局信息表中维护所有内核中进程的进程相关信息;监测是否产生进程迁移触发条件;当监测到产生进程迁移触发条件时,从所述全局信息表中提取源内核上待迁移进程对应的进程相关信息;根据所述进程相关信息获取所述待迁移进程的进程数据;根据所述进程数据将待迁移进程从源内核迁移至目标内核上运行。本发明实施例通过维护内核上进程相关信息,当某个内核失效时根据进程相关信息将待迁移进程迁移至其他内核运行,实现在较小系统开销下保证操作系统的高容错性,解决由于系统开销大影响操作系统性能的问题。
-
-
-
-
-
-
-
-
-