一种基于图数据处理系统的数据并行访问方法

    公开(公告)号:CN104881840A

    公开(公告)日:2015-09-02

    申请号:CN201510239657.8

    申请日:2015-05-11

    Inventor: 金海 邵志远 侯林

    Abstract: 本发明公开了一种基于图数据处理系统的数据并行访问方法,所述方法包括以下步骤:S1、载入图数据至内存,将图数据各节点平均分配至各处理器上并行处理;S2、各处理器调用图算法并行处理分配至自身的图数据节点,处理过程中对图数据节点进行原子性读写;S3、将经图算法处理后的所有图数据节点写回至硬盘形成完整图数据,判断所有图数据节点是否均收敛,如果收敛,则流程结束;如果不收敛,则返回步骤S1进行下一次循环直到写回至硬盘的所有图数据节点均收敛。本发明可充分利用多核硬件的处理能力,在保证图算法正确性的同时,提高了算法的执行速度,硬件扩展性好。

    基于随机和连续磁盘访问的高速核外图处理方法及系统

    公开(公告)号:CN104778077A

    公开(公告)日:2015-07-15

    申请号:CN201510206124.X

    申请日:2015-04-27

    Inventor: 金海 邵志远 何剑

    Abstract: 本发明公开了一种基于随机和连续磁盘访问的高速核外图处理方法及系统,属于大数据领域的图计算与处理技术领域。本发明包括:应用于I/O操作子模块的核外数据的快速索引机制,采用内存映射的方式快速处理核外数据;应用于算法调度子模块的基于位图管理的同步与异步模型相结合的混合调度策略,达到减少迭代次数并节省内存的目的;应用于数据管理子模块的中间计算数据的“核内”置放与处理策略,达到减少中间计算数据的额外I/O开销的目的,并且该策略将随机I/O接入转化为连续I/O接入,减少了磁盘的空转,提高系统运行效率。

    嵌入式平台下半虚拟化的快速切换客户操作系统的方法

    公开(公告)号:CN102968342B

    公开(公告)日:2015-03-11

    申请号:CN201210450559.5

    申请日:2012-11-12

    Abstract: 本发明公开了一种嵌入式平台下半虚拟化的快速切换客户操作系统的方法,主要包括以下步骤:采用简单高效的内存管理方案提高客户操作系统的切换速度,对特定设备采用分区缓存和快速影射的方法提高客户操作系统的切换速度,通过快速保存和恢复中央处理器寄存器与硬件设备信息实现客户操作系统的快速切换。本发明能解决现有方法中存在的客户操作系统切换速度慢的问题。

    一种基于用户请求响应时间的副本创建方法

    公开(公告)号:CN103095812A

    公开(公告)日:2013-05-08

    申请号:CN201210589460.3

    申请日:2012-12-29

    Abstract: 本发明公开了一种基于用户请求响应时间的副本创建方法,包括:将分布式存储环境中的待测数据块复制n个副本,将n个副本分别分布在分布式存储环境中的n个存储节点上,每个副本的大小为Sb,并将这n个存储节点的信息存储在元数据服务器上,获取n个存储节点的节点网络传输能力(NTC1,NTC2,…,NTCn).和节点并发访问数(Num1,Num2,…,Numn),根据n个节点的节点网络传输能力(NTC1,NTC2,…,NTCn)、节点并发访问数(Num1,Num2,…,Numn)和副本大小Sb获取n个存储节点的相关特征值,根据n个存储节点的相关特征值,对待测数据块进行副本创建过程。本发明在恰当的时机为热点数据创建新的副本,从而降低用户访问的响应时间,并提高整个系统的性能。

    虚拟机过度分配环境下的MPI消息接收方法

    公开(公告)号:CN101968749A

    公开(公告)日:2011-02-09

    申请号:CN201010290600.8

    申请日:2010-09-26

    Abstract: 本发明公开了一种虚拟机过度分配环境下的MPI消息接收方法,其过程为:阻塞接收进程轮询套接字文件描述符集或者共享内存,该阻塞式消息接收进程调用sched_yield函数,释放该进程当前所占有的虚拟处理器资源;该虚拟处理器所属的虚拟机中的用户操作系统查询该虚拟处理器的运行队列,选择一个可以调度的进程调度运行;该阻塞式消息接收进程再次被调度执行时,判断是否需要通知虚拟机管理器执行虚拟处理器的重新调度操作;该阻塞式消息接收进程通过超级调用通知虚拟机管理器执行虚拟处理器的重新调度操作;虚拟机管理器执行虚拟处理器的重新调度操作,阻塞接收进程处理接收到的消息。本发明可以减少因MPI库消息接收机制产生“忙等”现象引起的性能损耗。

    一种并行多处理器虚拟机系统

    公开(公告)号:CN101183315A

    公开(公告)日:2008-05-21

    申请号:CN200710168720.9

    申请日:2007-12-10

    Abstract: 本发明公开了一种支持CPU同时执行的并行多处理器虚拟机系统,包括一个虚拟机和运行在虚拟机之上的操作系统。该虚拟机系统能够模拟至少一个虚拟处理器,它包括一个处理器并行模拟模块,一个内存管理模块,一个中断控制模拟模块以及外设模拟模块;操作系统的机器指令通过虚拟机的内存管理模块传递给处理器模拟模块,处理器模拟模块能够模拟多个虚拟处理器用于执行指令翻译模块翻译过来的操作系统指令,并且使之并行执行,同时出本发明提出了并行执行过程中的同步和访问控制算法;中断控制模拟模块负责协调外设模拟模块和处理器模拟模块。本发明特别适合于在一台SMP服务器或多核服务器上虚拟一个完整模拟硬件的并行化执行环境。

    一种基于U盘服务器的集群解决方法

    公开(公告)号:CN101014034A

    公开(公告)日:2007-08-08

    申请号:CN200610166609.1

    申请日:2006-12-31

    Abstract: 本发明涉及一种基于U盘服务器的集群解决方法,其方案是:采用Linux系统定制技术和文件映像打包技术精简应用于特定服务的Linux操作系统以及相关应用软件,并制作成映像;通过Linux网络启动、Linux启动盘制作等相关技术完成部署U盘;设置一个部署部署管理节点,该节点通过部署U盘启动系统,实施部署管理、完成集群各节点的配置、实现无人值守部署;在部署好的节点上,采用内存操作系统、数据分离等技术实现集群系统高可靠运行。本发明将经过定制的系统保存至U盘中,通过U盘进行系统的安装和配置,使得部署集群系统简单方便;将Linux系统定制应用至集群中,实现了操作系统与数据的分离存储,降低文件系统出错概率,实现集群系统的高可靠运行。

Patent Agency Ranking