一种基于Hadoop MapReduce的电磁环境仿真方法

    公开(公告)号:CN110222410B

    公开(公告)日:2020-12-11

    申请号:CN201910465286.3

    申请日:2019-05-30

    Abstract: 本发明涉及一种基于Hadoop MapReduce的电磁环境仿真方法,包括以下步骤:1)场景预处理;2)以辐射源球心为原点,按照水平方向0到360度,垂直方向0到180度依次取一个水平角度和一个垂直角度来确定一个唯一的射线方向;3)将辐射源产生的初始射线数据作为Hadoop Map处理的输入数据提交;4)Hadoop框架调用用户实现的Map函数对射线数据进行处理;5)对所有中间键值对进行整理,并将到达同一接收机的有效射线分配至相同的Reduce节点,进行多条射线的叠加计算;6)合并多个Reduce节点的输出,以得到所有接收机的结果。本发明提出的一种基于Hadoop MapReduce的电磁环境仿真方法,基于Hadoop MapReduce框架实现了电磁环境仿真的并行计算,有效提高了电磁环境仿真的效率。

    一种基于Hadoop MapReduce的分布式大数据并行计算方法

    公开(公告)号:CN110187970A

    公开(公告)日:2019-08-30

    申请号:CN201910464142.6

    申请日:2019-05-30

    Abstract: 本发明涉及一种基于Hadoop MapReduce的分布式大数据并行计算方法,包含Hadoop框架的Map,Shuffle,Reduce步骤,在Hadoop MapReduce框架和用户之间增加一个GPU计算模块,用户将具体的Map函数、Reduce函数提交给GPU计算模块,该GPU计算模块在Map步骤之前,通过Hadoop提供的接口将工作节点分配到的整个数据块作为键值对的“值”来处理;在Map步骤中,该GPU计算模块将用户提交的Map函数封装成新的Map函数提交给Hadoop框架,该新的Map函数从Hadoop框架接收数据块,进一步划分键值对,并将每个键值对分配给不同的GPU线程,由每个GPU线程调用用户提交的Map函数进行并行计算。本发明将GPU作为大规模数据并行计算的分布式工作节点,提高分布式计算的效率,并且易于实现。

    一种基于GPU的分布式大数据并行计算方法

    公开(公告)号:CN110187969A

    公开(公告)日:2019-08-30

    申请号:CN201910463951.5

    申请日:2019-05-30

    Abstract: 本发明涉及一种基于GPU的分布式大数据并行计算方法,包含Map,Group,Reduce步骤,Map步骤对每一个输入的键值对执行用户程序转换成中间键值对,Group步骤对所有中间键值对进行排序和分组,Reduce步骤使用用户程序处理分组后的中间键值对并得到最终计算结果,在Map和Reduce步骤中,每个工作节点对应一个GPU线程,将输入键值对交由不同的GPU线程并行处理。本发明将GPU作为大数据并行计算的分布式工作节点,并在分布式计算过程中对设备内存、线程调度、数据排序进行有效管理和优化,能够有效提高分布式计算的效率。

    一种基于Hadoop MapReduce的电磁环境仿真方法

    公开(公告)号:CN110222410A

    公开(公告)日:2019-09-10

    申请号:CN201910465286.3

    申请日:2019-05-30

    Abstract: 本发明涉及一种基于Hadoop MapReduce的电磁环境仿真方法,包括以下步骤:1)场景预处理;2)以辐射源球心为原点,按照水平方向0到360度,垂直方向0到180度依次取一个水平角度和一个垂直角度来确定一个唯一的射线方向;3)将辐射源产生的初始射线数据作为Hadoop Map处理的输入数据提交;4)Hadoop框架调用用户实现的Map函数对射线数据进行处理;5)对所有中间键值对进行整理,并将到达同一接收机的有效射线分配至相同的Reduce节点,进行多条射线的叠加计算;6)合并多个Reduce节点的输出,以得到所有接收机的结果。本发明提出的一种基于Hadoop MapReduce的电磁环境仿真方法,基于Hadoop MapReduce框架实现了电磁环境仿真的并行计算,有效提高了电磁环境仿真的效率。

Patent Agency Ranking