-
-
公开(公告)号:CN104516773A
公开(公告)日:2015-04-15
申请号:CN201310454953.0
申请日:2013-09-29
Applicant: 国际商业机器公司
CPC classification number: G06F9/45533 , G06F9/45558 , G06F9/505 , G06F9/5077 , G06F2009/45575 , G06F2209/548
Abstract: 本公开内容涉及用于物理机的数据处理方法和数据处理装置。提供了一种用于物理机的数据分配方法,在所述物理机上运行有多个虚拟机。所述方法包括:从用于分配作业数据的调度器接收待处理数据;将接收的待处理数据存储在单个队列中;以及响应于所述多个虚拟机中存在空闲的虚拟机,向该空闲的虚拟机分配该队列中的数据,以供该空闲的虚拟机进行处理。通过上述方法,能够充分利用物理机资源,提高物理机的处理效率,缩短物理机整体上对待处理数据的处理时间,进而有利于整个作业的完成,缩短作业的处理时间。
-
公开(公告)号:CN102469032B
公开(公告)日:2015-03-25
申请号:CN201010532070.3
申请日:2010-10-29
Applicant: 国际商业机器公司
CPC classification number: H04L51/066 , H04L67/2833
Abstract: 本发明提供一种发布-订阅消息传递方法和系统,其中该方法包括:接收多个发布-订阅消息;判断所述多个发布-订阅消息的相似性;聚合具有相似性的所述多个发布-订阅消息以产生聚合的发布-订阅消息;发送所述聚合的发布-订阅消息。与此相对应的解聚合消息的方法包括:接收聚合的发布-订阅消息,其中所述聚合的发布-订阅消息是将具有相似性的多个发布-订阅消息聚合产生的;解聚合所述聚合的发布-订阅消息以恢复所述多个发布-订阅消息;将所述多个发布-订阅消息发送出去。
-
公开(公告)号:CN103970520A
公开(公告)日:2014-08-06
申请号:CN201310037826.0
申请日:2013-01-31
Applicant: 国际商业机器公司
CPC classification number: G06F9/5066 , G06F9/5016 , G06F12/023 , G06F2209/5017 , G06F2212/1016 , G06F2212/154 , G06F2212/263
Abstract: 本发明实施例公开了一种用于MapReduce架构中的资源管理的方法、装置和MapReduce架构系统。该方法包括:确定Map任务的输入数据量和Map任务的输出数据量之比r以及Map输出结果中记录的平均大小R;确定一个Map资源槽对应的能够分配给Map任务的内存大小Memory_Size;根据所确定的r、R和Memory_Size,确定适合该Map任务的输入切片大小;以及将待处理的MapReduce作业中具有该输入切片大小的输入分片分配给占用该Map资源槽的Map任务。通过利用上述方法,可以尽量避免磁盘溢出,从而提高处理效率,避免资源浪费。
-
公开(公告)号:CN102262591B
公开(公告)日:2014-03-19
申请号:CN201010192518.1
申请日:2010-05-31
Applicant: 国际商业机器公司
IPC: G06F12/02
CPC classification number: G06F12/0253
Abstract: 本发明提供一种用于内存复制系统进行垃圾回收的方法和系统,其中所述内存复制系统包括多个节点服务器,并且将一个节点服务器中的数据对象复制并分发到一个或多个其它节点服务器,该方法包括:响应于垃圾回收被触发,判断是否存在从内存复制系统的其它节点服务器接收的可被垃圾回收的数据对象的标识信息;响应于判断结果为是,利用从内存复制系统的其它节点服务器接收的可被垃圾回收的数据对象的标识信息对所述可被垃圾回收的数据对象进行垃圾回收。
-
公开(公告)号:CN103379114A
公开(公告)日:2013-10-30
申请号:CN201210133550.1
申请日:2012-04-28
Applicant: 国际商业机器公司
CPC classification number: G06F21/60 , G06F21/6245
Abstract: 本发明涉及MapReduce系统中的数据处理,具体地,公开一种用于在MapReduce系统中保护隐私数据的方法和装置。其中,所述MapReduce系统包含公有子系统和私有子系统,该方法包含:接收要在MapReduce系统中执行的MapReduce程序,其中,所述MapReduce程序中包含指定Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性的指令;在执行MapReduce程序之前,检测Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性;根据所检测的隐私属性,分配用于被私有子系统和共有子系统处理的数据,其中,将隐私属性为私有的数据分配到私有子系统。
-
公开(公告)号:CN102831116A
公开(公告)日:2012-12-19
申请号:CN201110160101.1
申请日:2011-06-14
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30699 , G06F17/30705
Abstract: 本发明提供一种用于文档聚类的方法和系统。其中所述方法包括:提取文档的文本特征信息;基于与文档相关的信息建立社会关系网络;基于所述社会关系网络进行图聚类,以获得结构子类;提取所述结构子类的结构特征信息;以及基于所述文本特征信息和所述结构特征信息对文档进行聚类。采用本发明的用于文档聚类方法和系统有利于提高文档聚类的准确度。
-
公开(公告)号:CN102170618A
公开(公告)日:2011-08-31
申请号:CN201010127149.8
申请日:2010-02-26
Applicant: 国际商业机器公司
CPC classification number: H04W4/14 , H04L51/38 , H04L67/14 , H04L67/142 , H04L67/146
Abstract: 本发明公开了一种在短消息交互通信中通过向每个业务实例分配标识码并以嵌有该标识码的号码与用户进行短信交互的短消息处理方法和设备。在本发明的短消息处理方法和设备中,响应于接收到来自通信终端的短消息,根据该短消息所包含的服务器方通信号码确定该短消息所针对的业务实例,然后以嵌有与所确定的业务实例相对应的业务实例标识码的服务器方通信号码向通信终端发送应答短消息。本发明能够准确、便捷地将多条短消息关联到相应的业务实例,增强了用户在交互过程中的体验。
-
公开(公告)号:CN105338618B
公开(公告)日:2019-06-14
申请号:CN201410337953.7
申请日:2014-07-16
Applicant: 国际商业机器公司
IPC: H04W64/00
CPC classification number: H04W36/0094 , G01S5/0278 , H04M3/2218 , H04W36/0083 , H04W36/32 , H04W64/00 , H04W64/006
Abstract: 本发明公开了一种确定移动设备的位置的方法和装置。所述方法包括:分析该移动设备的通话数据记录,以确定该移动设备驻留过的第一小区以及该移动设备从第一小区移动到第二小区所花费的时间;基于该移动设备的移动速度和所述时间,确定该移动设备处于第一小区内的各个位置处的概率密度;以及根据所述概率密度,确定该移动设备在第一小区内的可能位置。利用所述方法和装置,可以更精确地确定移动设备的位置。
-
公开(公告)号:CN105511957B
公开(公告)日:2019-05-07
申请号:CN201410499398.8
申请日:2014-09-25
Applicant: 国际商业机器公司
Abstract: 本公开内容涉及用于生成作业告警的方法和系统。根据本发明的实施例,在处理目标作业之前,通过分析历史作业来确定目标作业在至少一个阶段中的输入输出的特性,并且基于输入输出的特性,计算与目标作业的处理相关联的资源开销。然后,响应于资源开销超过预定阈值,生成针对目标作业的告警。以此方式,可以前瞻性地在资源开销问题发生之前生成针对目标作业的告警,使得管理员或开发人员能够提前发现故障并做出积极的应对举措,避免了在目标作业被处理时中间结果或输出数据的丢失和损坏。
-
-
-
-
-
-
-
-
-