一种千万级数据分片处理方法和装置

    公开(公告)号:CN113722099A

    公开(公告)日:2021-11-30

    申请号:CN202111019977.4

    申请日:2021-09-01

    Abstract: 本发明涉及一种千万级数据分片处理方法和装置。其方法部分主要包括:将分片机计算功能和业务处理功能解耦,并由分片机主动进行分片数据抢占任务;分片机根据自身性能实时申请分片数据;将每一台分片机申请所得的数据分为多个线程并行处理;最后一台处理完的分片机进行后置处理工作。本发明可以在不影响业务Service节点的情况下通过扩容分片机集群来大幅提高处理效率,且分片方法与业务解耦,在某些业务节点宕机时仍可保证数据正常处理。

    一种虚拟机内存热迁移的优化方法与装置

    公开(公告)号:CN112286630A

    公开(公告)日:2021-01-29

    申请号:CN202011136630.3

    申请日:2020-10-22

    Abstract: 本发明公开了一种虚拟机内存热迁移的优化方法与装置,初始化虚拟机配置时,在虚拟机内部安装代理软件;在虚拟机启动内存热迁移后,代理软件按照预设周期向虚拟机申请内存,申请到的内存页被标记为回收页;在虚拟机内存热迁移过程中,每次拷贝脏页时基于回收页标记从脏页中过滤掉回收页,进而将剩余脏页从源主机拷贝至宿主机。通过在虚拟机内部安装代理软件,在虚拟机内存热迁移过程中,可利用代理软件不断向源主机的虚拟机申请内存,并被标记为回收页,则在每次拷贝脏页时从脏页中过滤掉agent申请的内存页,从而可减少每次脏页数据的拷贝,提高虚拟机内存热迁移的效率。

Patent Agency Ranking