公开(公告)号：CN110275917A

公开(公告)日：2019-09-24

申请号：CN201910496089.8

申请日：2019-06-10

Applicant: 深圳前海微众银行股份有限公司

Inventor： 郭铭睿 ,  夏勇 ,  李凌

IPC: G06F16/25 ,  G06F11/07

Abstract: 本发明公开了一种数据处理方法及装置，涉及数据处理领域，其中方法包括：对源端分布式架构数据库发起N个数据抽取、转换和装载ETL进程；N为大于0的整数；所述N个ETL进程用于在数据仓库中生成第一目标表；当所述N个ETL进程在执行过程中存在M个失败的ETL进程时，重新发起所述N个ETL进程；当重新发起的所述N个ETL进程成功执行时，获取重新发起的所述N个ETL进程在所述数据仓库中生成的所述第一目标表，以及对所述第一目标表进行统计汇总生成的第一结果表；当所述第一结果表存在数据缺失时，对所述第一结果表进行数据修复。该方法可应用于金融科技(Fintech)。

公开(公告)号：CN110275917B

公开(公告)日：2025-03-11

申请号：CN201910496089.8

申请日：2019-06-10

Applicant: 深圳前海微众银行股份有限公司

Inventor： 郭铭睿 ,  夏勇 ,  李凌

IPC: G06F16/25 ,  G06F11/07

Abstract: 本发明公开了一种数据处理方法及装置，涉及数据处理领域，其中方法包括：对源端分布式架构数据库发起N个数据抽取、转换和装载ETL进程；N为大于0的整数；所述N个ETL进程用于在数据仓库中生成第一目标表；当所述N个ETL进程在执行过程中存在M个失败的ETL进程时，重新发起所述N个ETL进程；当重新发起的所述N个ETL进程成功执行时，获取重新发起的所述N个ETL进程在所述数据仓库中生成的所述第一目标表，以及对所述第一目标表进行统计汇总生成的第一结果表；当所述第一结果表存在数据缺失时，对所述第一结果表进行数据修复。该方法可应用于金融科技(Fintech)。

公开(公告)号：CN110263096A

公开(公告)日：2019-09-20

申请号：CN201910518008.X

申请日：2019-06-14

Applicant: 深圳前海微众银行股份有限公司

Inventor： 郭铭睿 ,  李凌 ,  夏勇 ,  张兵 ,  卫劲波

IPC: G06F16/27 ,  G06Q40/02

Abstract: 本发明公开了一种基于分布式环境的批处理方法、系统、装置、设备及介质，涉及金融科技领域，该方法包括以下步骤：通过获取分布式环境下的当日事件参数，确定所述当日事件参数是否符合预设延时条件；若所述当日事件参数符合预设延时条件，则确定与所述预设延时条件相对应的日切时间点；将所述与所述预设延时条件相对应的日切时间点发送至分布式子节点，以供所述分布式子节点在所述日切时间点进行交易日期切换。实现了根据当日金融系统的实际运营情况灵活变更日切时间点，通过将日切时间点统一下发至各个分布式子节点，实现了通过统一的日切机制保证多个子系统日切时间的一致性，进而提高了金融系统的稳定性和智能性。