映射化简应用的缓存管理方法和装置

    公开(公告)号:CN105446896B

    公开(公告)日:2018-05-04

    申请号:CN201410438255.6

    申请日:2014-08-29

    CPC classification number: G06F12/0875 G06F17/30132 G06F17/30194

    Abstract: 本发明涉及分布式文件系统,其公开了MapReduce应用的缓存管理方法和装置,该方法包括:接收需要迭代计算的MapReduce作业的Map任务的处理请求;获取所述Map任务的参数,所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目;获取所述Map任务的缓存分片大小,其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的;将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理;将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据,提高内存缓存的利用率,减小处理延时。

    映射化简应用的缓存管理方法和装置

    公开(公告)号:CN105446896A

    公开(公告)日:2016-03-30

    申请号:CN201410438255.6

    申请日:2014-08-29

    CPC classification number: G06F12/0875 G06F17/30132 G06F17/30194

    Abstract: 本发明涉及分布式文件系统,其公开了MapReduce应用的缓存管理方法和装置,该方法包括:接收需要迭代计算的MapReduce作业的Map任务的处理请求;获取所述Map任务的参数,所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目;获取所述Map任务的缓存分片大小,其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的;将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理;将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据,提高内存缓存的利用率,减小处理延时。

    用于管理数据库的方法和系统

    公开(公告)号:CN104951462A

    公开(公告)日:2015-09-30

    申请号:CN201410119830.6

    申请日:2014-03-27

    Abstract: 本发明公开了用于管理数据库的方法和系统。根据本发明的实施例,提供一种用于管理数据库的方法,所述数据库中的每项数据与时间戳和数据点相关联,所述时间戳被用作所述数据库中的表的行的行键。所述方法包括:基于用户针对所述数据库的先前数据访问,获取所述用户的行为特征;基于获取的所述行为特征以及所述数据库的系统配置,将所述表中的列划分为列族;以及使所述数据库中的数据至少部分地基于相关联的所述数据点而被存储于相应的列族。还公开了相应的系统。

    一种打补丁的方法和装置

    公开(公告)号:CN103677878A

    公开(公告)日:2014-03-26

    申请号:CN201210337811.1

    申请日:2012-09-12

    Abstract: 本发明属于计算机领域,公开了一种打补丁的方法,所述方法包括:响应于需要对第一内容打补丁且该第一内容已经位于内存中,区分新的内容和旧的内容,所述新的内容为打补丁后的所述第一内容,所述旧的内容为已经位于内存中的所述第一内容;响应于所述新的内容被加载到内存中,将需要应用所述第一内容的新的进程映射到所述新的内容,其中所述新的进程包括所述新的内容被加载到内存后启动的进程。本发明还公开了用于打补丁的装置。根据本发明提供的技术方案,可以对虚拟机或者物理机进行动态打补丁,而不用停止已经运行的进行。

    空气污染异常定位机制
    5.
    发明授权

    公开(公告)号:CN106257474B

    公开(公告)日:2019-05-10

    申请号:CN201610423036.X

    申请日:2016-06-15

    Abstract: 空气污染异常定位机制。提供一种用于检测空气污染异常的机制。识别多个空气污染监控站的每个的历史空气污染模式。对于多个空气污染监控站的每个,响应于从特定空气污染监控站接收到实时数据,对实时数据与和特定空气污染监控站相关的历史空气污染模式进行比较;基于实时数据与和特定空气污染监控站相关的历史空气污染模式的比较产生浓度差值;确定所述浓度差值是否大于预定的置信度阈值;对于相关的浓度差值大于预定的置信度阈值的多个空气污染监控站中的子集中的每一个,向管理员产生检测到的空气污染水平的异常指示。

    用于管理数据库的方法和系统

    公开(公告)号:CN104951462B

    公开(公告)日:2018-08-03

    申请号:CN201410119830.6

    申请日:2014-03-27

    Abstract: 本发明公开了用于管理数据库的方法和系统。根据本发明的实施例,提供种用于管理数据库的方法,所述数据库中的每项数据与时间戳和数据点相关联,所述时间戳被用作所述数据库中的表的行的行键。所述方法包括:基于用户针对所述数据库的先前数据访问,获取所述用户的行为特征;基于获取的所述行为特征以及所述数据库的系统配置,将所述表中的列划分为列族;以及使所述数据库中的数据至少部分地基于相关联的所述数据点而被存储于相应的列族。还公开了相应的系统。

    利用电力线载波在电力线上传输数据的方法和系统

    公开(公告)号:CN104253630A

    公开(公告)日:2014-12-31

    申请号:CN201310260946.7

    申请日:2013-06-26

    Abstract: 本发明涉及电力线载波通信,公开了一种用于在电力线上传输数据的方法和系统。该方法包括:获取电力线上的负载相关信息;根据所获取的负载相关信息,确定用于发送数据的电力线的路由选择;以及,根据所确定的电力线的路由选择,从当前设备向下一跳设备发送所述数据。通过本发明的方法和系统,可以有效地提高电力线载波通信的数据的准确性。

    在虚拟机环境中进行数据交换的方法和装置

    公开(公告)号:CN103793330A

    公开(公告)日:2014-05-14

    申请号:CN201210430038.3

    申请日:2012-10-31

    Abstract: 本发明的各实施方式提供了在虚拟机环境中进行数据交换的方法和装置。在本发明的一个实施方式中,提供了一种在虚拟机环境中进行数据交换的方法,包括:响应于来自虚拟机的交换请求,查找与交换请求相关联的存储空间将宿主机中与存储空间相匹配的空闲的物理存储空间分配给虚拟机,以便空闲的物理存储空间在逻辑上成为虚拟机的可用存储空间;其中虚拟机在宿主机上运行,以及存储空间是宿主机中的物理存储空间。在本发明的一个实施方式中,提供了一种在虚拟机环境中进行数据交换的装置。

Patent Agency Ranking