公开(公告)号：CN118860281A

公开(公告)日：2024-10-29

申请号：CN202410855114.8

申请日：2024-06-28

Applicant: 上海浦东发展银行股份有限公司

Inventor： 周骏 ,  王巍 ,  褚杰 ,  徐云龙 ,  刘磊 ,  邓一朋

IPC: G06F3/06 ,  G06F9/455

Abstract: 本文涉及一种基于云原生存储数据卷的共享访问方法及系统。包括在Kubernetes平台的目标工作节点上部署目标容器组时，判断是否已部署有与目标容器组存在共享访问需求的容器组；未部署则将本地的持久化卷挂载在目标容器组上，以便于目标容器组访问持久化卷中的数据；已部署则运行NFS服务进程，生成持久化卷对应的NFS共享卷，将NFS共享卷挂载在目标容器组上，以便于目标容器组通过NFS共享卷访问持久化卷中的数据。本文实现兼顾本地共享文件系统的Kubernetes平台数据卷，在其后端实现本地文件系统和共享文件系统的转换，摒弃了挂载外部网络文件系统，从而降低了访问延时，降低了使用成本和运维成本。

公开(公告)号：CN119788682A

公开(公告)日：2025-04-08

申请号：CN202411767868.4

申请日：2024-12-04

Applicant: 上海浦东发展银行股份有限公司

Inventor： 周宗龙 ,  徐云龙 ,  刘磊 ,  褚杰 ,  邓一朋

IPC: H04L67/1042 ,  H04L67/63 ,  H04L67/1087

Abstract: 本申请涉及大数据技术领域，提供了一种跨生态集群的大数据管理系统及方法。该系统包括服务单元、适配单元及驱动单元；服务单元用于接收用户请求，并将用户请求发送至适配单元；适配单元用于根据用户请求确定对应的集群标识和驱动类型，从预设的路由表中匹配得到与集群标识和驱动类型对应的驱动实例端口，并根据驱动实例端口进行路由寻址，从而将用户请求转发至驱动单元中的目标驱动实例；驱动单元利用预设的驱动配置机制与多个集群预先建立连接关系，用于从目标驱动实例中匹配得到与用户请求对应的集群端口，并根据集群端口进行寻址，将用户请求从目标驱动实例转发至目标集群。通过本申请实施例，可实现跨生态的高兼容性和多样化的集群高效管理。

公开(公告)号：CN117520270A

公开(公告)日：2024-02-06

申请号：CN202311260573.3

申请日：2023-09-26

Applicant: 上海浦东发展银行股份有限公司

Inventor： 徐云龙 ,  周骏 ,  蒋永胜 ,  褚杰 ,  李杰 ,  李浩 ,  徐崔超 ,  邓一朋

IPC: G06F16/16 ,  G06F16/182

Abstract: 本说明书涉及计算机技术领域，尤其涉及一种HDFS小文件优化及分析处理的方法及装置。包括从Hadoop文件系统中获取Fsimage元数据文件并解析得到文件信息；按照业务处理逻辑中各处理步骤对应的处理文件位置对文件信息进行归类，得到多个文件区；在执行业务处理逻辑中的处理步骤后，针对执行的处理步骤对应的文件区，根据文件大小以及预定阈值确定文件区中的小文件信息，对小文件信息对应的文件进行合并，在执行下一个处理步骤时，对合并小文件后的文件进行处理。通过本说明书的方法，在业务处理逻辑的每个步骤执行后对该步骤对应处理文件位置处的小文件进行合并，提高下一个处理步骤的处理效率，从而提高系统整体的处理效率。

公开(公告)号：CN115481198A

公开(公告)日：2022-12-16

申请号：CN202211178512.8

申请日：2022-09-26

Applicant: 上海浦东发展银行股份有限公司

Inventor： 刘磊 ,  褚杰 ,  徐云龙 ,  周宗龙 ,  娄晓光

IPC: G06F16/27 ,  G06F16/25 ,  G06F16/28

Abstract: 本公开涉及一种数据表同步方法、装置、计算机设备、存储介质。所述方法包括：获取源集群和目标集群的组件版本信息；响应于所述源集群的组件版本信息和目标集群的组件版本信息存在版本差异，根据所述版本差异对应的差异点对所述源集群中数据表的元数据进行转换；与所述目标集群进行交互，将转换后得到的元数据写入至目标集群的元数据库中；根据所述版本差异确定所述目标集群的主数据的存储路径，利用所述存储路径对所述源集群和目标集群的主数据进行同步。采用本方法能够解决目前数据处理工具在不同的Hive表版本之间无法复制或者无法兼容的问题。