公开(公告)号：CN113342614A

公开(公告)日：2021-09-03

申请号：CN202110730473.7

申请日：2021-06-29

Applicant: 深圳前海微众银行股份有限公司

Inventor： 谭勇慧 ,  区德智 ,  吴泽勇 ,  黄浩维 ,  陈安柱 ,  王大飞 ,  文海荣 ,  江旻

IPC: G06F11/30 ,  G06F11/34

Abstract: 本发明公开了一种用户断点管理方法、装置、设备及计算机程序产品，所述方法包括：通过第一spark streaming获取用户行为数据集合，根据用户行为数据集合确定每个用户的最近行为的最新发生时间以及当前汇总行为数据，使当前汇总行为数据经过断点时长后才能持续处于断点侦测队列中；利用第二spark streaming获取断点侦测队列中的过去汇总行为数据，若过去汇总行为数据中的最新发生时间与其对应的用户的最新发生时间相同，该用户产生断点且产生时间为最新发生时间。本发明通过利用spark streaming数据流实时计算技术来侦测用户行为数据，可以在高并发实时数据处理的场景中准确确定用户产生断点的时间。

公开(公告)号：CN113342614B

公开(公告)日：2024-11-08

申请号：CN202110730473.7

申请日：2021-06-29

Applicant: 深圳前海微众银行股份有限公司

Inventor： 谭勇慧 ,  区德智 ,  吴泽勇 ,  黄浩维 ,  陈安柱 ,  王大飞 ,  文海荣 ,  江旻

IPC: G06F11/30 ,  G06F11/34

Abstract: 本发明公开了一种用户断点管理方法、装置、设备及计算机程序产品，所述方法包括：通过第一spark streaming获取用户行为数据集合，根据用户行为数据集合确定每个用户的最近行为的最新发生时间以及当前汇总行为数据，使当前汇总行为数据经过断点时长后才能持续处于断点侦测队列中；利用第二spark streaming获取断点侦测队列中的过去汇总行为数据，若过去汇总行为数据中的最新发生时间与其对应的用户的最新发生时间相同，该用户产生断点且产生时间为最新发生时间。本发明通过利用spark streaming数据流实时计算技术来侦测用户行为数据，可以在高并发实时数据处理的场景中准确确定用户产生断点的时间。

公开(公告)号：CN110674119A

公开(公告)日：2020-01-10

申请号：CN201910930112.X

申请日：2019-09-27

Applicant: 深圳前海微众银行股份有限公司

Inventor： 黄浩维 ,  吴泽勇 ,  王大飞 ,  文海荣

IPC: G06F16/21 ,  G06F16/23

Abstract: 本发明公开了一种数据处理方法，包括：批量系统在检测到运行指令时，若确定运行指令对应的待处理数据为大数据，且确定运行指令对应的执行信息正确，则将执行信息发送至大数据平台，且在数据库中插入运行指令对应的任务记录，并监测任务记录的任务状态；大数据平台在接收到执行信息时，运行执行信息对应的处理任务，并在得到处理任务对应的第一处理结果时，将第一处理结果写入数据库，并在数据库中更新任务记录的任务状态；若批量系统检测到任务记录的任务状态为处理完成，则从数据库中读取第一处理结果并输出。本发明还公开了一种数据处理系统和计算机可读存储介质。本发明旨在提高数据的处理速度。