-
公开(公告)号：CN116257544A
公开(公告)日：2023-06-13
申请号：CN202211103270.6
申请日：2022-09-09
Applicant: 上海浦东发展银行股份有限公司
IPC: G06F16/242 , G06F16/2453
Abstract: 本申请涉及一种Hive SQL语句拦截方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：首先由客户端获取初始SQL语句，并对初始SQL语句进行粗粒度拦截得到目标SQL语句，然后客户端将目标SQL语句发送至服务端，服务端接收到客户端发送的目标SQL语句之后，对目标SQL语句进行细粒度拦截得到符合要求的SQL语句。本申请提供的方法通过对SQL语句进行粗粒度拦截以及细粒度拦截，能够有效降低Hooks对SQL作业运行效率的影响，并具备作业整体分析能力，能充分释放拦截日志数据价值。
-
公开(公告)号：CN115665284A
公开(公告)日：2023-01-31
申请号：CN202211333892.8
申请日：2022-10-28
Applicant: 上海浦东发展银行股份有限公司
Abstract: 本公开涉及大数据实时处理技术领域，具体公开了一种基于分布式配置中心的报文处理方法、装置及计算机设备，所述方法包括：接收客户端传输的配置数据，根据所述配置数据配置报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。本公开实现了实时报文处理以及业务报文的逻辑计算需求的动态变更。
-
公开(公告)号：CN115439257A
公开(公告)日：2022-12-06
申请号：CN202210975878.1
申请日：2022-08-15
Applicant: 上海浦东发展银行股份有限公司
Abstract: 本申请涉及一种业务处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：创建用于对目标业务进行处理的至少两个实时作业，在至少两个实时作业中确定一个主作业，将剩下的作业作为从作业；通过主作业对目标业务进行处理，实时更新主作业对目标业务的处理明细记录，并实时对主作业的运行状态进行监听；在监听到主作业出现运行异常中断的情况下，则将主作业作为先前主作业，从从作业中确定一个从作业并更新为主作业，将先前主作业更新为从作业；基于先前主作业的处理明细记录和运行异常中断，通过主作业继续对目标业务进行处理，实时更新主作业对目标业务的处理明细记录，返回实时对主作业的运行状态进行监听的步骤并继续执行。
-
公开(公告)号：CN117555896A
公开(公告)日：2024-02-13
申请号：CN202311288183.7
申请日：2023-10-07
Applicant: 上海浦东发展银行股份有限公司
IPC: G06F16/22 , G06F16/27 , G06F16/2455
Abstract: 本说明书实施例提供一种数据查询方法、系统、装置和计算机设备，涉及计算机技术领域，方法应用于数据查询系统，系统包括两个对同一数据库表的存储操作不同时执行的数据存储模块，方法包括：接收对目标数据库表中数据的查询请求；判断数据存储模块是否处于对目标数据库表的存储进程中；将查询请求发送至未处于存储进程的数据存储模块；获取数据查询结果并反馈。本方法通过设置两个数据存储模块，提高了数据存储的稳定性和对数据查询请求的响应速率；且通过控制数据存储模块对数据库表数据的存储操作和对查询请求的响应相隔离，保障了查询的高效稳定，又避免了对于同一个查询请求两个数据存储模块反馈的查询结果可能不一致的问题。
-
公开(公告)号：CN119788682A
公开(公告)日：2025-04-08
申请号：CN202411767868.4
申请日：2024-12-04
Applicant: 上海浦东发展银行股份有限公司
IPC: H04L67/1042 , H04L67/63 , H04L67/1087
Abstract: 本申请涉及大数据技术领域，提供了一种跨生态集群的大数据管理系统及方法。该系统包括服务单元、适配单元及驱动单元；服务单元用于接收用户请求，并将用户请求发送至适配单元；适配单元用于根据用户请求确定对应的集群标识和驱动类型，从预设的路由表中匹配得到与集群标识和驱动类型对应的驱动实例端口，并根据驱动实例端口进行路由寻址，从而将用户请求转发至驱动单元中的目标驱动实例；驱动单元利用预设的驱动配置机制与多个集群预先建立连接关系，用于从目标驱动实例中匹配得到与用户请求对应的集群端口，并根据集群端口进行寻址，将用户请求从目标驱动实例转发至目标集群。通过本申请实施例，可实现跨生态的高兼容性和多样化的集群高效管理。
-
Patent Agency Ranking
公开(公告)号：CN117555969A
公开(公告)日：2024-02-13
申请号：CN202311288369.2
申请日：2023-10-07
Applicant: 上海浦东发展银行股份有限公司
IPC: G06F16/28 , G06F16/22 , G06F16/23 , G06F16/2455
Abstract: 本说明书实施例提供一种基于Hive的血缘信息管理方法、装置及计算机设备，涉及大数据技术领域，方法包括Hive引擎解析SQL脚本得到表和表中的字段；基于预先设定的血缘信息生成规则生成所述表和所述字段的血缘信息，并存储于关系型数据库中；监听变更事件，所述变更事件的类型包括创建、更新和删除，所述变更事件的对象包括表元数据和字段元数据；根据所述变更事件，更新存储于所述关系型数据库中的所述表和/或所述字段的血缘信息。本方法能够实现对血缘信息全生命周期的完整记录，提高对血缘信息查询请求反馈的准确性。
-
公开(公告)号：CN117520270A
公开(公告)日：2024-02-06
申请号：CN202311260573.3
申请日：2023-09-26
Applicant: 上海浦东发展银行股份有限公司
IPC: G06F16/16 , G06F16/182
Abstract: 本说明书涉及计算机技术领域，尤其涉及一种HDFS小文件优化及分析处理的方法及装置。包括从Hadoop文件系统中获取Fsimage元数据文件并解析得到文件信息；按照业务处理逻辑中各处理步骤对应的处理文件位置对文件信息进行归类，得到多个文件区；在执行业务处理逻辑中的处理步骤后，针对执行的处理步骤对应的文件区，根据文件大小以及预定阈值确定文件区中的小文件信息，对小文件信息对应的文件进行合并，在执行下一个处理步骤时，对合并小文件后的文件进行处理。通过本说明书的方法，在业务处理逻辑的每个步骤执行后对该步骤对应处理文件位置处的小文件进行合并，提高下一个处理步骤的处理效率，从而提高系统整体的处理效率。
-
公开(公告)号：CN115481198A
公开(公告)日：2022-12-16
申请号：CN202211178512.8
申请日：2022-09-26
Applicant: 上海浦东发展银行股份有限公司
Abstract: 本公开涉及一种数据表同步方法、装置、计算机设备、存储介质。所述方法包括：获取源集群和目标集群的组件版本信息；响应于所述源集群的组件版本信息和目标集群的组件版本信息存在版本差异，根据所述版本差异对应的差异点对所述源集群中数据表的元数据进行转换；与所述目标集群进行交互，将转换后得到的元数据写入至目标集群的元数据库中；根据所述版本差异确定所述目标集群的主数据的存储路径，利用所述存储路径对所述源集群和目标集群的主数据进行同步。采用本方法能够解决目前数据处理工具在不同的Hive表版本之间无法复制或者无法兼容的问题。
-
公开(公告)号：CN115665284B
公开(公告)日：2024-11-22
申请号：CN202211333892.8
申请日：2022-10-28
Applicant: 上海浦东发展银行股份有限公司
Abstract: 本公开涉及大数据实时处理技术领域，具体公开了一种基于分布式配置中心的报文处理方法、装置及计算机设备，所述方法包括：接收客户端传输的配置数据，根据所述配置数据配置报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。本公开实现了实时报文处理以及业务报文的逻辑计算需求的动态变更。
-
公开(公告)号：CN118860281A
公开(公告)日：2024-10-29
申请号：CN202410855114.8
申请日：2024-06-28
Applicant: 上海浦东发展银行股份有限公司
Abstract: 本文涉及一种基于云原生存储数据卷的共享访问方法及系统。包括在Kubernetes平台的目标工作节点上部署目标容器组时，判断是否已部署有与目标容器组存在共享访问需求的容器组；未部署则将本地的持久化卷挂载在目标容器组上，以便于目标容器组访问持久化卷中的数据；已部署则运行NFS服务进程，生成持久化卷对应的NFS共享卷，将NFS共享卷挂载在目标容器组上，以便于目标容器组通过NFS共享卷访问持久化卷中的数据。本文实现兼顾本地共享文件系统的Kubernetes平台数据卷，在其后端实现本地文件系统和共享文件系统的转换，摒弃了挂载外部网络文件系统，从而降低了访问延时，降低了使用成本和运维成本。
-
-
-
-
-
-
-
-
-
Search Results
11
records
(took 0.029 seconds)
