-
公开(公告)号:CN106257474B
公开(公告)日:2019-05-10
申请号:CN201610423036.X
申请日:2016-06-15
Applicant: 国际商业机器公司
IPC: G01N15/06
Abstract: 空气污染异常定位机制。提供一种用于检测空气污染异常的机制。识别多个空气污染监控站的每个的历史空气污染模式。对于多个空气污染监控站的每个,响应于从特定空气污染监控站接收到实时数据,对实时数据与和特定空气污染监控站相关的历史空气污染模式进行比较;基于实时数据与和特定空气污染监控站相关的历史空气污染模式的比较产生浓度差值;确定所述浓度差值是否大于预定的置信度阈值;对于相关的浓度差值大于预定的置信度阈值的多个空气污染监控站中的子集中的每一个,向管理员产生检测到的空气污染水平的异常指示。
-
公开(公告)号:CN104951462B
公开(公告)日:2018-08-03
申请号:CN201410119830.6
申请日:2014-03-27
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30917 , G06F17/30297 , G06F17/30315 , G06F17/30353 , G06F17/30486 , G06F17/30548
Abstract: 本发明公开了用于管理数据库的方法和系统。根据本发明的实施例,提供种用于管理数据库的方法,所述数据库中的每项数据与时间戳和数据点相关联,所述时间戳被用作所述数据库中的表的行的行键。所述方法包括:基于用户针对所述数据库的先前数据访问,获取所述用户的行为特征;基于获取的所述行为特征以及所述数据库的系统配置,将所述表中的列划分为列族;以及使所述数据库中的数据至少部分地基于相关联的所述数据点而被存储于相应的列族。还公开了相应的系统。
-
公开(公告)号:CN106257474A
公开(公告)日:2016-12-28
申请号:CN201610423036.X
申请日:2016-06-15
Applicant: 国际商业机器公司
IPC: G06F19/00
CPC classification number: G01N33/0075 , G06F19/00 , G06F2219/10
Abstract: 空气污染异常定位机制。提供一种用于检测空气污染异常的机制。识别多个空气污染监控站的每个的历史空气污染模式。对于多个空气污染监控站的每个,响应于从特定空气污染监控站接收到实时数据,对实时数据与和特定空气污染监控站相关的历史空气污染模式进行比较;基于实时数据与和特定空气污染监控站相关的历史空气污染模式的比较产生浓度差值;确定所述浓度差值是否大于预定的置信度阈值;对于相关的浓度差值大于预定的置信度阈值的多个空气污染监控站中的子集中的每一个,向管理员产生检测到的空气污染水平的异常指示。
-
公开(公告)号:CN105446982A
公开(公告)日:2016-03-30
申请号:CN201410305761.8
申请日:2014-06-30
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F11/1448 , G06F11/1402 , G06F11/1469 , G06F11/2094 , G06F16/13 , G06F16/164 , G06F2201/80
Abstract: 本发明提供了用于管理数据存储系统的方法和装置。在一个实施方式中,提供了一种用于管理数据存储系统的方法,包括:响应于接收到数据对象,基于第一查询将数据对象中的数据记录排序以形成第一备份;在数据存储系统中存储第一备份;在数据存储系统的索引中存储第一查询以及第一备份在数据存储系统中的第一地址。在一个实施方式中,提供了一种用于查询数据存储系统的方法,包括:接收针对数据存储系统的查询;响应于数据存储系统的索引中存在与查询相匹配的查询,访问数据存储系统中与相匹配的查询相关联的地址以执行查询;其中数据存储系统是根据本发明的方法管理的数据存储系统。采用本发明的技术方案,可以提高数据查询效率。
-
公开(公告)号:CN105205082A
公开(公告)日:2015-12-30
申请号:CN201410302839.0
申请日:2014-06-27
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F16/182
Abstract: 本发明公开了一种用于处理文件存储的方法和系统。该方法包括:接收一个文件存储请求;确定所请求存储的文件的文件大小;响应于确定所述文件为小文件,将所述文件存储请求发送给HBase,以便将所述文件存储到HBase中;响应于确定所述文件为大文件,将所述文件存储请求发送给HDFS,以便将所述文件存储到HDFS中,并将与所述文件相关联的信息保存在一个记录中。通过本发明的方法和系统,可以有效地解决HDFS在处理小文件时所遇到的问题。
-
公开(公告)号:CN105446896B
公开(公告)日:2018-05-04
申请号:CN201410438255.6
申请日:2014-08-29
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F12/0875 , G06F17/30132 , G06F17/30194
Abstract: 本发明涉及分布式文件系统,其公开了MapReduce应用的缓存管理方法和装置,该方法包括:接收需要迭代计算的MapReduce作业的Map任务的处理请求;获取所述Map任务的参数,所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目;获取所述Map任务的缓存分片大小,其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的;将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理;将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据,提高内存缓存的利用率,减小处理延时。
-
公开(公告)号:CN105446896A
公开(公告)日:2016-03-30
申请号:CN201410438255.6
申请日:2014-08-29
Applicant: 国际商业机器公司
IPC: G06F12/08
CPC classification number: G06F12/0875 , G06F17/30132 , G06F17/30194
Abstract: 本发明涉及分布式文件系统,其公开了MapReduce应用的缓存管理方法和装置,该方法包括:接收需要迭代计算的MapReduce作业的Map任务的处理请求;获取所述Map任务的参数,所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目;获取所述Map任务的缓存分片大小,其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的;将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理;将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据,提高内存缓存的利用率,减小处理延时。
-
公开(公告)号:CN104951462A
公开(公告)日:2015-09-30
申请号:CN201410119830.6
申请日:2014-03-27
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30917 , G06F17/30297 , G06F17/30315 , G06F17/30353 , G06F17/30486 , G06F17/30548
Abstract: 本发明公开了用于管理数据库的方法和系统。根据本发明的实施例,提供一种用于管理数据库的方法,所述数据库中的每项数据与时间戳和数据点相关联,所述时间戳被用作所述数据库中的表的行的行键。所述方法包括:基于用户针对所述数据库的先前数据访问,获取所述用户的行为特征;基于获取的所述行为特征以及所述数据库的系统配置,将所述表中的列划分为列族;以及使所述数据库中的数据至少部分地基于相关联的所述数据点而被存储于相应的列族。还公开了相应的系统。
-
-
-
-
-
-
-