-
公开(公告)号：CN103970604B
公开(公告)日：2017-05-03
申请号：CN201310043220.8
申请日：2013-01-31
Applicant: 国际商业机器公司
IPC: G06F9/50
CPC classification number: G06F9/5066 , G06F9/46
Abstract: 本发明公开了一种基于MapReduce架构实现图处理的方法和装置，该方法包括：接收图处理作业的输入文件；利用获取的MapReduce任务的度数与执行时间的关系分布和所述图处理作业的度数分布预测所述图处理作业的MapReduce任务执行时间分布；根据预测的所述图处理作业的MapReduce任务执行时间分布将所述图处理作业的输入文件切分为MapReduce任务的输入数据分片。本发明实施例的方法能够实现均衡Map任务和Reduce任务的计算负载，从而高效地完成图处理作业。
-
公开(公告)号：CN104598304A
公开(公告)日：2015-05-06
申请号：CN201310531204.3
申请日：2013-10-31
Applicant: 国际商业机器公司
CPC classification number: G06F9/505 , G06F9/50 , G06F9/5044
Abstract: 本发明涉及用于作业执行中的调度的方法和装置。根据本发明的实施例，提供一种在执行作业中调度由一个或多个前处理机和一个或多个后处理机共享的多个作业槽的方法，所述前处理机产生的数据将被馈送给所述后处理机以便处理。该方法包括：确定所述前处理机的总体数据产生速度；确定所述后处理机的总体数据消耗速度；以及基于所述总体数据产生速度和所述总体数据消耗速度，调度至少一个所述作业槽在所述前处理机和所述后处理机之间的分配。还公开了相应的装置。
-
公开(公告)号：CN103514229A
公开(公告)日：2014-01-15
申请号：CN201210226720.0
申请日：2012-06-29
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30321 , G06F17/30424
Abstract: 本发明涉及分布式数据库。提供一种用于在分布式数据库系统中处理数据库数据的方法和装置，其中，分布式数据库系统包含多个通过计算机网络可通信地耦接的计算节点，该方法包含：为数据库数据创建多个不同的数据副本，其中，以下述方式创建每个数据副本：对数据库数据按照至少一个数据属性进行排序，基于所述至少一个数据属性生成行键，将排序后并具有所述行键的数据库数据作为所述数据副本；将不同的数据副本存储到不同的计算节点；按照行键为每个数据副本创建索引。
-
公开(公告)号：CN103793425A
公开(公告)日：2014-05-14
申请号：CN201210429531.3
申请日：2012-10-31
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30174 , G06F11/2094 , G06F17/30082 , G06F17/30194
Abstract: 本发明涉及用于分布式系统的数据处理方法及装置。在一个实施例中，该技术方案包括：响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本，每个所述副本划分为大小相同的数据块，其中至少两个副本所划分出的数据块大小不同；存储所述多个副本的分布信息。采用本发明的技术方案，可以在分布式系统中存储数据文件的多个备份时，能够综合以不同的数据块大小进行存储所带来的优势。
-
公开(公告)号：CN104023039A
公开(公告)日：2014-09-03
申请号：CN201310064524.2
申请日：2013-02-28
Applicant: 国际商业机器公司
IPC: H04L29/08 , H04L12/951
Abstract: 本发明公开了一种数据包传输方法和装置。所述方法包括：确定具有相同目的地并且结构相同的多个常规数据包；确定所述多个常规数据包在汇总节点进行汇总运算的至少一个数据字段以及该数据字段的汇总运算类型；生成与所述多个常规数据包结构相同的先导数据包，在所述先导数据包中记载所确定的所述进行汇总运算的至少一个数据字段以及该数据字段的汇总运算类型；在发送所述多个常规数据包之前发送所述先导数据包。本发明实施例的装置与上述方法对应。利用本发明实施例的方法和装置，可以改善数据包传输的效率。
-
Patent Agency Ranking
公开(公告)号：CN103970604A
公开(公告)日：2014-08-06
申请号：CN201310043220.8
申请日：2013-01-31
Applicant: 国际商业机器公司
IPC: G06F9/50
CPC classification number: G06F9/5066 , G06F9/46
Abstract: 本发明公开了一种基于MapReduce架构实现图处理的方法和装置，该方法包括：接收图处理作业的输入文件；利用获取的MapReduce任务的度数与执行时间的关系分布和所述图处理作业的度数分布预测所述图处理作业的MapReduce任务执行时间分布；根据预测的所述图处理作业的MapReduce任务执行时间分布将所述图处理作业的输入文件切分为MapReduce任务的输入数据分片。本发明实施例的方法能够实现均衡Map任务和Reduce任务的计算负载，从而高效地完成图处理作业。
-
公开(公告)号：CN103793425B
公开(公告)日：2017-07-14
申请号：CN201210429531.3
申请日：2012-10-31
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F17/30174 , G06F11/2094 , G06F17/30082 , G06F17/30194
Abstract: 本发明涉及用于分布式系统的数据处理方法及装置。在一个实施例中，该技术方案包括：响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本，每个所述副本划分为大小相同的数据块，其中至少两个副本所划分出的数据块大小不同；存储所述多个副本的分布信息。采用本申请的技术方案，可以在分布式系统中存储数据文件的多个备份时，能够综合以不同的数据块大小进行存储所带来的优势。
-
公开(公告)号：CN105700956A
公开(公告)日：2016-06-22
申请号：CN201410708534.X
申请日：2014-11-28
Applicant: 国际商业机器公司
IPC: G06F9/50
CPC classification number: G06F9/5083 , G06F15/7867
Abstract: 本发明涉及分布式处理，公开了一种利用FPGA处理分布式作业的方法和系统。该方法包括：获取分布式作业中的性能需求；根据所述性能需求，确定是否重构FPGA；以及，响应于确定重构FPGA，动态地重构FPGA的至少一部分。通过该方法及相应的系统，可以有效地提高分布式作业的性能。
-
公开(公告)号：CN104216683A
公开(公告)日：2014-12-17
申请号：CN201310209952.X
申请日：2013-05-31
Applicant: 国际商业机器公司
CPC classification number: G06F9/5083 , G06F2209/508
Abstract: 本发明的实施方式涉及利用同步多线程SMT进行数据处理的方法及系统。本发明的发明人创造性的提出了根据运行的性能指标自动确定SMT值的方案，也就是说对性能指标起到优化作用的SMT值将被自动选出从而应用于后续的数据处理。具体而言本发明提供了一种数据处理方法，包括：a.为至少一个运算节点设置至少一个同步多线程SMT初始值；b.监测所述至少一个运算节点在所述至少一个SMT初始值下运行的性能指标；以及c.基于所述性能指标自动确定SMT修订值。
-
公开(公告)号：CN104598304B
公开(公告)日：2018-03-13
申请号：CN201310531204.3
申请日：2013-10-31
Applicant: 国际商业机器公司
CPC classification number: G06F9/505 , G06F9/50 , G06F9/5044
Abstract: 本发明涉及用于作业执行中的调度的方法和装置。根据本发明的实施例，提供一种在执行作业中调度由一个或多个前处理机和一个或多个后处理机共享的多个作业槽的方法，所述前处理机产生的数据将被馈送给所述后处理机以便处理。该方法包括：确定所述前处理机的总体数据产生速度；确定所述后处理机的总体数据消耗速度；以及基于所述总体数据产生速度和所述总体数据消耗速度，调度至少一个所述作业槽在所述前处理机和所述后处理机之间的分配。还公开了相应的装置。
-
-
-
-
-
-
-
-
-
Search Results
13
records
(took 0.021 seconds)
