读密集型大数据处理的内存刷新方法和系统

    公开(公告)号:CN108597551B

    公开(公告)日:2020-12-08

    申请号:CN201810383388.6

    申请日:2018-04-26

    Abstract: 一种读密集型大数据处理的内存刷新方法和系统,其包含一种内存模块,包括:设置于内存模块内的接口、异或操作单元、芯片选择器以及与芯片选择器相连的若干个DRAM芯片,其中:内存控制器通过总线与内存模块相连并传输数据信息、地址信息和控制信息,内存模块接口与异或操作单元相连并传输恢复后数据信息,异或操作单元与芯片选择器相连并在刷新周期下的读取操作时传输恢复前数据信息,芯片选择器与DRAM芯片相连并传输芯片内存储的数据信息。本发明用以配合DBR刷新和数据恢复机制,对于提升DRAM数据吞吐量有较为显著的帮助。

    以问题为导向的两阶段问题生成系统

    公开(公告)号:CN111813913A

    公开(公告)日:2020-10-23

    申请号:CN202010661187.5

    申请日:2019-11-27

    Abstract: 一种以问题为导向的两阶段问题生成系统,包括:问答数据预处理模块、上下文序列标注模块和问题生成模块,其中:问答数据预处理模块对数据集进行了重新划分、特征提取及词典构建并将特征和单词向量化,得到标注训练集及真实标签;上下文序列标记模块采用标注数据集进行网络模型训练并得到上下文的预测标签;问题生成模块以真实标签和预测标签为输入产生预测问题序列,通过与真实问题的误差进行反向传播训练得到最终的最大概率预测问题。本发明在BLEU、MENTOR和ROUGE-L指标上有明显的提升。

    基于混合内存架构的带宽感知任务窃取方法、系统及芯片

    公开(公告)号:CN110502334A

    公开(公告)日:2019-11-26

    申请号:CN201810471957.2

    申请日:2018-05-17

    Abstract: 本发明提供一种基于混合内存架构的带宽感知任务窃取方法、系统及芯片,所述系统包括:内存分配模块,根据各个内存节点的带宽大小成比例的将程序数据分配到各个内存节点上;带宽感知的平衡访存模块,获得数据页的热度信息,估算出每个内存节点的访存信息并根据所述热度信息和所述访存信息将过载节点上的数据页迁移到相应的欠载节点上;多层次任务窃取模块,为每一个子任务确定最优的CPU,当任一子任务的CPU完成分配给它的任务后,从任务池中进行多层任务窃取。本发明可以在相同异构多核架构中获取更低的能耗,在无需升级硬件设备与不增加能耗的提前下,极大化并行计算性能,可以间接为潜在的混合内存架构的多核芯片提供调度技术的支持。

    电子地图空间关键字查询分布式索引系统和方法

    公开(公告)号:CN110059149A

    公开(公告)日:2019-07-26

    申请号:CN201910333878.X

    申请日:2019-04-24

    Abstract: 本发明公开了一种电子地图空间关键字查询分布式索引系统和方法,该方法包括如下步骤:S1,分区:通过Spark平台的数据分区抽象接口将原始数据进行分割后映射到集群的各节点,在各节点形成数据分区;S2,局部索引构建:在各个数据分区分别构建一个索引文件,同时收集各个数据分区的统计信息;S3,全局索引构建:使用局部索引构建收集的统计信息,在主节点构建全局索引。本发明能够增加关键字查询的吞吐量,降低索引成本,减少系统的响应延迟。

    基于服务质量感知提高吞吐量的多资源管理系统及服务器

    公开(公告)号:CN109947619A

    公开(公告)日:2019-06-28

    申请号:CN201910164582.X

    申请日:2019-03-05

    Abstract: 本发明提供一种基于服务质量感知提高吞吐量的多资源管理系统及服务器,所述基于服务质量感知提高吞吐量的多资源管理系统包括:在线预测器,用于根据预设预测模型预测每个延迟敏感型应用请求在给定资源配置下的运行时间;资源分配器,用于根据预测的所述运行时间为所述延迟敏感型应用请求分配满足服务质量的资源配置;动态QoS监视器,用于确定当前的内存带宽竞争是否会引起QoS违例,并在确定当前的内存带宽竞争会引起QoS违例时对所述资源配置进行调整。本发明在保证延迟敏感型应用的服务质量的提前下,极大提高了批处理任务的吞吐量,有效解决了现有技术中在保证应用的服务质量过程中资源利用率低的问题。

    一种磁盘阵列单盘恢复的缓存方法及系统

    公开(公告)号:CN106294032B

    公开(公告)日:2019-06-28

    申请号:CN201610637551.8

    申请日:2016-08-05

    Abstract: 本发明公开了一种磁盘阵列单盘恢复的缓存方法及系统,该方法包括:根据数据块是否已经被应用读取到缓存中,为数据块定义不同的优先级;为每一个出错的数据块枚举出所有可行的恢复方法,针对所有可行的恢复方法,结合恢复方法之间的关系,通过迪杰斯特拉遍历算法进行遍历,选取出I/O最小的、符合要求的恢复方法;针对所选择的恢复方法,选取其中负载相对均衡的方法作为最终采用的磁盘阵列单盘恢复的纠删码恢复方法;根据纠删码恢复方法的读取次数为数据块定义优先级,采用在缓存中优先替换优先级低的数据块的缓存替换方法,通过本发明,解决了现有技术中I/O较大,速度较慢,缓存命中率低,影响使用效率的问题。

    基于细粒度的GPU的资源管理方法及其应用的GPU

    公开(公告)号:CN109857564A

    公开(公告)日:2019-06-07

    申请号:CN201910164573.0

    申请日:2019-03-05

    Abstract: 本发明提供一种基于细粒度的GPU的资源管理方法及其应用的GPU,所述基于细粒度的GPU的资源管理方法包括:根据QoS目标获取内核执行的平均每周期指令数目标;根据所述内核执行的平均每周期指令数目标动态分配调整每个时期分配给内核的配额数量;根据所述内核的运行情况为各流处理器分配线程块。本发明提供了一种基于细粒度GPU共享机制,可以从动态资源管理、静态资源管理两个方面进行细粒度的QoS管理,既能保证特定应用的QoS需求,又能在此基础上最大化GPU系统的整体吞吐量。

    一种三盘容错阵列的可扩展方法及系统

    公开(公告)号:CN106293526B

    公开(公告)日:2019-04-12

    申请号:CN201610637554.1

    申请日:2016-08-05

    Abstract: 本发明公开了一种三盘容错阵列的可扩展方法及系统,该方法包括如下步骤:准备阶段,从存储系统中收集相关的参数,为接下来的两个阶段计算必要的参数;迁移阶段,选择一部分条带作为条带集,并且根据准备阶段中计算出的参数,在每个条带中选出一些数据行,用来迁移至新加的磁盘中;合并阶段,将空的条带聚合,通过本发明,可以确保扩展后数据分布是均衡的,扩展过程中的I/O开销较小。

    路网上的弹性聚合最近邻查询G-sum方法

    公开(公告)号:CN108763294A

    公开(公告)日:2018-11-06

    申请号:CN201810346514.0

    申请日:2018-04-17

    Abstract: 本发明公开了一种路网上的弹性聚合最近邻查询G‑sum方法,包括如下步骤:第一步,建立G树索引;第二步,定义和初始化;第三步,如果队列为空,则结束;否则出队得到x,进入第四步;第四步,如果x是叶子节点,对于x里面所有的点v,计算如有必要更新最终结果,遍历后回到第三步;否则进入第五步;第五步,遍历x的子节点c,计算Q中所有点到c的最小可能距离,得到前最小距离的和sum,记为τ;第六步,如果τ小于r*,将c的孩子节点入队,回到第三步;如果τ大于或等于r*,则结束。本发明可以有效减少弹性聚合函数的调用次数,并提高的效率,从而提升查询速度,降低成本。

Patent Agency Ranking