基于多线程共享内存通信的动态线程映射优化方法及装置

    公开(公告)号:CN111176831A

    公开(公告)日:2020-05-19

    申请号:CN201911236909.6

    申请日:2019-12-05

    Abstract: 基于多线程共享内存通信的动态线程映射优化方法及装置,方法包括:步骤一、在多线程并行程序运行过程中,周期性收集并统计线程间的通信量;步骤二、由步骤一统计得到的通信量矩阵,转化得到表示线程间通信量的无向图,根据线程间通信量的无向图层次化地计算出对线程合理划分后的分组,输出分组结果;步骤三、调用内核函数为每个线程依次设置其CPU亲和度,将程序中的各线程依据分组计算的结果,迁移到对应的CPU核心上;步骤四、间隔一段时间,重复步骤一至三,直到线程退出。装置包括:通信检测与统计模块,映射分组计算模块,线程迁移及控制模块。本发明优化了多线程并行程序在NUMA架构下运行的通信效率和访存效率,通用和可移植性好。

    一种基于rabin指纹与异或计算的重复数据检测方法

    公开(公告)号:CN110532795A

    公开(公告)日:2019-12-03

    申请号:CN201910625535.0

    申请日:2019-07-11

    Abstract: 一种基于rabin指纹与异或计算的重复数据检测方法,计算当前数据块的rabin指纹值;查找当前数据块的rabin指纹值是否在数据库中存在,如果不存在,则判断当前数据块为新数据块;否则查找数据库中所有具有与当前数据块相同rabin指纹值的数据块并将其读出;将读出的数据块与当前数据块按照异或计算进行数据对比,如果所有数据块对比的异或结果为1,则当前数据块为新数据块,否则判断当前数据块为重复数据块。本发明能够显著降低新型非易失性存储器件中的指纹计算性能开销,并且能够消除传统重复数据检测方法存在的安全隐患。

    一种基于模拟退火的分布式纠删码存储系统数据修复方法

    公开(公告)号:CN110212923A

    公开(公告)日:2019-09-06

    申请号:CN201910379654.2

    申请日:2019-05-08

    Abstract: 本发明公开了一种基于模拟退火的分布式纠删码存储系统数据修复方法,包括:构建一个分布式存储系统;监控节点判断存储节点发生故障;监控节点选择存储节点作为修复节点来修复数据和保存丢失的数据;修复节点获取网络传输速度;修复节点获取纠删码生成矩阵、失效节点编号、当前节点编号并通过搜索算法获取修复方案;修复节点根据修复方案构建数据读请求并发送到各个存储节点;各个完好的存储节点读取相应的元素数据并返回给修复节点;修复节点执行解码操作将丢失的数据重构出来;修复节点将元数据信息反馈给监控节点并将数据保存在本地。有效地降低CRS纠删码的数据修复的带宽占用,减少数据修复对系统带来的不良影响,加快数据修复速度。

    一种基于独立成分分析和核密度估计的虚拟样本生成方法

    公开(公告)号:CN110097116A

    公开(公告)日:2019-08-06

    申请号:CN201910357339.X

    申请日:2019-04-29

    Abstract: 本发明公开了一种基于独立成分分析和核密度估计的虚拟样本生成方法,本发明在系统运行初期,训练样本数量不足的情况下,利用核密度估计的方法,通过少量样本的概率密度函数估计样本整体的概率密度函数,当原始样本各属性之间存在相关性时先采用独立成分分析的方法去除原始样本各属性之间的相关性,再进行核密度估计,根据估计得到的概率密度函数生成虚拟样本。本发明可以缓解训练机器学习模型时训练样本不足的问题,提高机器学习模型的准确度。相较于其他虚拟样本生成方法,本发明引入了独立成分分析方法解决了样本各个属性间具有相关性的问题,从而拓宽了本发明的应用面。

    一种针对云平台的多维度虚拟机映射方法

    公开(公告)号:CN109947530A

    公开(公告)日:2019-06-28

    申请号:CN201910074812.3

    申请日:2019-01-25

    Abstract: 一种针对云平台的多维度虚拟机映射方法,包括以下步骤:步骤1,利用主权重维度规则计算确定该映射算法的主权重维度;步骤2,根据主权重维度参数对物理机进行降序排序;步骤3,根据主权重维度参数对虚拟机进行降序排序;步骤4,对未映射的虚拟机依次进行映射,激活相应的物理机;步骤5,对被激活的物理机的剩余空间进行映射;步骤6,判断是否存在未映射的虚拟机,若有则重复步骤4,否则结束整个调度算法。本发明综合分析了影响物理机能耗的诸多因素。其次,由于现实情况中云数据中心大多是采用廉价机器组成的异构集群,每台物理机由于CPU、内存等配置的不同会表现出不同的性能,本发明兼顾了集群的异构性。

    一种分布式存储系统中的弹性多维度冗余方法

    公开(公告)号:CN109783016A

    公开(公告)日:2019-05-21

    申请号:CN201811595585.0

    申请日:2018-12-25

    Abstract: 本发明公开了一种分布式存储系统中的弹性多维度冗余方法,主要针对分布式存储系统中数据的冗余方式进行优化。目前,在分布式存储系统中,一般多采用数据冗余方式来保证数据的可靠性。实现数据冗余的方法主要有副本技术和纠删码技术。其中,副本技术可以提供更高效的数据访问,但存储空间开销较大;而纠删码技术相对于副本技术更加节约存储空间,同时写入速度较快,但在进行数据读取和恢复时需要占用更多的网络带宽。本策略结合副本技术与纠删码技术的优点进行设计,提出了在系统运行时的冗余方式动态转换策略。这种策略可以在在保证数据安全的同时减少对存储空间的占用,并且在数据访问性能上做出了优化。

    基于遗传算法的流体机械并行仿真程序进程映射方法

    公开(公告)号:CN109241633A

    公开(公告)日:2019-01-18

    申请号:CN201811063464.1

    申请日:2018-09-12

    Abstract: 本发明公开了基于遗传算法的流体机械并行仿真程序进程映射方法,包括以下步骤:在流体机械并行仿真程序编译时链接进程通信插桩库,捕获程序运行过程中MPI通信的通信信息,得到记录有进程间传输消息大小和通信频次的日志文件;根据通信日志文件构建进程通信模式矩阵;对用户申请到的计算资源测试通信代价,建立计算单元通信距离矩阵;定义流体机械并行仿真程序的通信开销模型;使用混合并行遗传算法求解最优的进程映射策略;根据混合并行遗传算法中得到的最优进程映射策略,静态绑定MPI进程到指定计算节点,重新运行流体机械并行仿真程序。

    一种流体机械仿真程序的多层次串行优化方法

    公开(公告)号:CN108363887A

    公开(公告)日:2018-08-03

    申请号:CN201810195669.9

    申请日:2018-03-09

    Abstract: 本发明提供一种流体机械仿真程序的多层次串行优化方法,依次包括步骤:依据程序目的对程序采用的算法进行分析和算法级优化,寻找能达到程序目的的最适合程序执行的算法;进行指令级优化,提升程序在代码执行一级的性能;进行系统级优化,将代码向计算机系统结构靠拢以增强代码对计算机系统结构的适应;进行性能分析和代码整体分析,若分析结果低于程序预期性能,或程序经过迭代修改后在设计上有进一步可提升的空间,则重复如上步骤,若结果满足预期性能且程序设计,则多层次串行优化结束。本发明提供了具有可行性、通用性的流体机械仿真程序串行优化方案,优化后的程序具有更好地执行准确度和执行效率。

    一种基于页面访问间隔的闪存数据缓冲区置换方法

    公开(公告)号:CN107341112A

    公开(公告)日:2017-11-10

    申请号:CN201710517337.3

    申请日:2017-06-29

    Abstract: 本发明公开一种基于页面访问间隔的闪存数据缓冲区置换方法,该方法根据缓冲区内数据页的访问间隔特征和读写特征,将数据缓冲区内缓存的所有数据页分为热脏数据页、冷脏数据页、热非脏数据页和冷非脏数据页,并采用一级数据缓冲区和二级数据缓冲区对所有数据页进行管理。当冷数据页访问间隔小于缓冲区LRU队列中最后一个热数据页时,发生冷热数据页的转换,同时将一级数据缓冲区LRU队列中的冷数据页移入二级数据缓冲区。在需要进行数据缓冲区页面置换时,根据LRU规则,通过优先换出二级缓冲区中冷的非脏数据页,在保证命中率的前提下,减少由于数据缓冲区脏数据页写回操作次数较多对闪存性能和寿命造成的影响。

Patent Agency Ranking