公开(公告)号：CN112241365B

公开(公告)日：2022-09-30

申请号：CN202010722288.9

申请日：2020-07-24

Applicant: 国家计算机网络与信息安全管理中心 ,  中国科学院信息工程研究所

Inventor： 马秉楠 ,  惠榛 ,  郭舒 ,  沈时军 ,  李春程 ,  刘德朋 ,  贾思宇 ,  王振宇 ,  李斌斌 ,  王树鹏

IPC: G06F11/36 ,  G06F16/182 ,  G06F9/54

Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。

公开(公告)号：CN112241365A

公开(公告)日：2021-01-19

申请号：CN202010722288.9

申请日：2020-07-24

Applicant: 国家计算机网络与信息安全管理中心 ,  中国科学院信息工程研究所

Inventor： 马秉楠 ,  惠榛 ,  郭舒 ,  沈时军 ,  李春程 ,  刘德朋 ,  贾思宇 ,  王振宇 ,  李斌斌 ,  王树鹏

IPC: G06F11/36 ,  G06F16/182 ,  G06F9/54

Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。