-
公开(公告)号：CN110532126A
公开(公告)日：2019-12-03
申请号：CN201910684556.X
申请日：2019-07-26
Applicant: 西安交通大学
IPC: G06F11/10
Abstract: 本发明属于计算机存储领域，公开了一种纠删码存储系统数据快速恢复方法、装置及存储介质，当管理节点检测到若干数据节点失效时，管理节点根据校验节点和数据节点的码元编号得到水平校验集和反对角校验集，根据失效数据节点的码元编号，通过水平校验集和反对角校验集得到能够恢复失效数据节点的码元数据的校验集合，根据校验集合确定每个正常节点的待读取码元编号集合，根据每个正常节点的待读取码元编号集合从对应节点中读取码元数据，根据读取的码元数据和校验集合通过异或运算得到失效数据节点的失效码元数据。与现有恢复算法相比，能够减少约25％的码元读取量，极大地减少了从硬盘读取与从网络上传输的数据量，提升了修复效率。
-
公开(公告)号：CN110531936A
公开(公告)日：2019-12-03
申请号：CN201910810633.1
申请日：2019-08-29
Applicant: 西安交通大学
IPC: G06F3/06
Abstract: 本发明公开了基于多种存储介质的分布式纠删码混合存储的林型存储结构及方法，其特征为在分布式存储系统中将纠删码的数据块数据放置到固态硬盘存储，将纠删码校验块数据放置到机械硬盘存储。其包括一下步骤：步骤(1)对分布式存储系统中数据存储介质进行分类，并建立林型混合存储结构；步骤(2)将分布式存储系统中纠删码数据进行分类，其中分为数据块数据与校验块数据并标记；步骤(3)将分类好的纠删码数据放置到林型存储结构的特定树上分发落盘。以此实现分布式存储上纠删码数据的基于多种存储介质的混合架构存储。本发明可以解决纠删码写放大对SSD的过度磨损，以更低成本提高系统性能，延长使用寿命，增强可靠性。
-
公开(公告)号：CN106033476B
公开(公告)日：2019-07-23
申请号：CN201610338716.1
申请日：2016-05-19
Applicant: 西安交通大学
IPC: G06F16/178 , G06F16/182 , H04L29/08
Abstract: 本发明公开了一种云计算环境中分布式计算模式下的增量式图计算方法，包括：201、归并服务器生成增量图；202、归并服务器将增量图与历史图进行对比，找出历史图中链接结构的不变部分的顶点集合并将其分发至各子节点数据交换器；203、作业开始前，各子节点的数据交换器对不变部分顶点的历史计算数据进行同步交换；204、各计算任务过滤不变部分的顶点并加载相应的历史计算数据；205、各计算任务在每轮超步计算时，复用不变部分顶点的历史计算数据并在计算完成时保存本次作业的计算数据。本发明对于图文件中链接结构的不变部分顶点对应的计算消息进行复用，从而减少原系统中重复计算对资源的浪费并提高性能。
-
公开(公告)号：CN109783443A
公开(公告)日：2019-05-21
申请号：CN201811594303.5
申请日：2018-12-25
Applicant: 西安交通大学
IPC: G06F16/13 , G06F16/17 , G06F16/182
Abstract: 本发明公开了一种分布式存储系统中数据冷热的判断方法，采用多版本的哈希表来统计数据的访问频度，并据此确定数据的冷热状况。该方法主要包括：选取合适数量的哈希函数，并在每次数据访问时将访问的索引通过这些哈希函数计算出对应的哈希结果，然后增加这些哈希结果在当前版本哈希表中对应位置的值；经过多次访问后，通过切换当前版本的哈希表以及移除所有版本哈希表的首位来进行衰减，以降低老旧信息的影响；最后通过统计所有版本哈希表中的数据访问信息来确定数据的冷热。相对于该领域其他方法，该方法可以在使用相同大小的内存空间时，提供更高的冷热数据判断准确率，有利于冷热数据的分别处理，从而提高系统性能。
-
公开(公告)号：CN109522127A
公开(公告)日：2019-03-26
申请号：CN201811378843.X
申请日：2018-11-19
Applicant: 西安交通大学
IPC: G06F9/50
CPC classification number: G06F9/5016 , G06F9/5027 , G06F2209/5018
Abstract: 本发明公开了一种基于GPU的流体机械仿真程序异构加速方法，步骤包括热点分析，寻找具有加速潜力的子程序；主机设备间的数据传输的减免；内存访问的合并以及多种类型内存的利用，提升有效内存利用率以及计算访存比；代码重构暴露数据并行性，GPU kernel显式全局同步有损数据并行性，应尽力避免；串行算法的GPU适配，通过将串行算法替换为具有相同功能的并行算法；线程分配参数的调整，通过调整线程分配，使得线程计算时延被充分隐藏，提升计算吞吐；若是经过以上步骤达到理想效果，则加速完成，否则从热点分析开始新的一轮迭代直到达到满意效果。本发明提供了一种针对流体机械仿真程序特性的GPU加速方法，修改后的程序能达到理想的加速效果。
-
Patent Agency Ranking
公开(公告)号：CN105718364B
公开(公告)日：2018-07-17
申请号：CN201610027583.6
申请日：2016-01-15
Applicant: 西安交通大学
IPC: G06F11/34
Abstract: 本发明公开了一种云计算平台中计算资源能力动态评估方法：依据云计算中负载大多为大规模并行而设计，通常包含多个执行逻辑相同或相似的任务的特性，通过分析多个执行逻辑相同或相似的任务在不同计算资源上执行的信息以及节点运行时信息对CPU、内存、磁盘带宽、网络带宽等计算资源的能力进行动态评估。本发明在保证评估值时效性、精确性的情况下，具有极低的运行时开销。本发明动态评估产生的结果可以用在云计算平台资源管理、作业调度、负载均衡、平台容错等方面，提高平台中计算资源的利用效率，最终提升云计算平台的整体吞吐率。
-
公开(公告)号：CN107977167A
公开(公告)日：2018-05-01
申请号：CN201711252685.9
申请日：2017-12-01
Applicant: 西安交通大学
Abstract: 本发明公开一种基于节点性能评估的纠删码存储系统退化读优化方法，该方法根据分布式存储系统各节点的硬件性能实时状况和软件请求情况，将各节点性能数据发送至性能评估节点，性能评估节点根据各节点的硬件性能状况以及分布式存储系统的排队延迟，过滤无用数据，通过评价公式获得每个节点的实时性能权值，将权值写回至各个存储节点。当某些节点出现故障，上层读请求转变为退化读请求，系统根据全局性能状态挑选最优的某些节点并进行解码操作。该方法在保证退化读操作顺利完成的情况，降低了读操作响应时间，充分利用了各节点软硬件资源。
-
公开(公告)号：CN106126407A
公开(公告)日：2016-11-16
申请号：CN201610464829.6
申请日：2016-06-22
Applicant: 西安交通大学
CPC classification number: G06F11/3485 , G06F11/3034
Abstract: 本发明提供一种针对分布式存储系统的性能监控调优系统及方法：包括数据处理模块以及数据采集模块；数据采集模块在系统各个节点实时采集与IO栈各个分层相关的性能参数数据以及节点的硬件性能参数数据，数据处理模块采用贪心算法根据最耗时IO栈部分和变化率最大IO栈部分对系统对应的配置参数进行调优；本发明首先将分布式存储系统IO栈映射到真实的分布式存储系统，然后利用在系统运行中采集的数据完成分析调优任务；本发明能够应用于真实的分布式存储系统，自动化分析发现集群的瓶颈并调优，使分布式存储系统的性能得到提高。
-
公开(公告)号：CN102937918B
公开(公告)日：2016-03-30
申请号：CN201210393176.9
申请日：2012-10-16
Applicant: 西安交通大学
Abstract: 本发明公开了一种HDFS运行时数据块平衡方法，该方法首先对节点本地任务列表进行预处理，为每一个节点划分出完成本地任务和非完全本地任务，以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动，从而数据块的分布就可以匹配预测的节点任务请求序列，最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略，通过预测节点任务请求提前判断可能出现的非本地map任务执行，并在相应的节点间移动合适的数据块，使得节点发出实际任务请求时候能够得到本地map任务的分配响应，从而提高Map阶段的完成效率。
-
公开(公告)号：CN103324699A
公开(公告)日：2013-09-25
申请号：CN201310228696.9
申请日：2013-06-08
Applicant: 西安交通大学
Abstract: 本发明提供一种适应大数据应用的快速重复数据删除方法，适用于大数据应用下的备份去重系统，解决传统基于内容识别的变长分块算法去重速率低，不能快速识别冗余数据问题；本发明在分块过程中通过调节去重因子和加速因子，在确保去重率的前提下大幅提高去重速率，能够快速进行去重检测，平衡了去重率和去重速率之间的矛盾，降低了备份窗口，节约了网络带宽和存储空间。
-
-
-
-
-
-
-
-
-
Search Results
165
records
(took 0.042 seconds)
