用户断点管理方法、装置、设备及计算机程序产品

    公开(公告)号:CN113342614B

    公开(公告)日:2024-11-08

    申请号:CN202110730473.7

    申请日:2021-06-29

    Abstract: 本发明公开了一种用户断点管理方法、装置、设备及计算机程序产品,所述方法包括:通过第一spark streaming获取用户行为数据集合,根据用户行为数据集合确定每个用户的最近行为的最新发生时间以及当前汇总行为数据,使当前汇总行为数据经过断点时长后才能持续处于断点侦测队列中;利用第二spark streaming获取断点侦测队列中的过去汇总行为数据,若过去汇总行为数据中的最新发生时间与其对应的用户的最新发生时间相同,该用户产生断点且产生时间为最新发生时间。本发明通过利用spark streaming数据流实时计算技术来侦测用户行为数据,可以在高并发实时数据处理的场景中准确确定用户产生断点的时间。

    数据处理方法、系统与计算机可读存储介质

    公开(公告)号:CN110674119A

    公开(公告)日:2020-01-10

    申请号:CN201910930112.X

    申请日:2019-09-27

    Abstract: 本发明公开了一种数据处理方法,包括:批量系统在检测到运行指令时,若确定运行指令对应的待处理数据为大数据,且确定运行指令对应的执行信息正确,则将执行信息发送至大数据平台,且在数据库中插入运行指令对应的任务记录,并监测任务记录的任务状态;大数据平台在接收到执行信息时,运行执行信息对应的处理任务,并在得到处理任务对应的第一处理结果时,将第一处理结果写入数据库,并在数据库中更新任务记录的任务状态;若批量系统检测到任务记录的任务状态为处理完成,则从数据库中读取第一处理结果并输出。本发明还公开了一种数据处理系统和计算机可读存储介质。本发明旨在提高数据的处理速度。

    数据处理方法及装置、电子设备和存储介质

    公开(公告)号:CN115774633A

    公开(公告)日:2023-03-10

    申请号:CN202211543409.9

    申请日:2022-12-02

    Abstract: 本申请实施例公开了一种数据处理方法及装置、电子设备和存储介质,所述方法包括:基于待处理的数据集的属性信息,对所述待处理的数据集进行分桶操作,得到至少一个目标桶;针对每一目标桶中的每一元素,确定所述目标桶的目标类型排序结果,并基于所述目标类型排序结果,对所述元素进行校验处理,得到所述元素的目标校验结果;其中,每一所述目标类型排序结果表征对至少一种类型进行排序的结果,每一所述目标类型排序结果是基于对应的目标桶中已分类的元素得到的;对每一所述目标桶中的每一元素的目标校验结果进行合并处理,得到所述待处理的数据集的处理结果。

    规则引擎调用方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN109597825B

    公开(公告)日:2022-12-27

    申请号:CN201811464439.4

    申请日:2018-11-30

    Inventor: 文海荣 王大飞

    Abstract: 本发明公开了一种规则引擎调用方法,该方法包括:当接收到客户端以结构化查询语言SQL方式发起的规则引擎调用请求时,获取规则引擎的输入数据传输对象DTO,并调用预设的引擎函数;通过所述引擎函数调用集成在大数据平台数据中心的规则引擎,并将所述输入数据传输对象DTO转换为对应的输入业务对象模型BOM;将所述输入业务对象模型BOM输入所述规则引擎中,以使所述规则引擎输出对应的输出业务对象模型BOM。本发明还公开了一种规则引擎调用装置、设备和一种计算机可读存储介质。本发明能够提高规则引擎调用的灵活性,减少计算时耗。

    数据传输方法、系统、设备及介质

    公开(公告)号:CN112688922A

    公开(公告)日:2021-04-20

    申请号:CN202011464086.5

    申请日:2020-12-11

    Abstract: 本发明涉及金融科技(Fintech)技术领域,公开了一种数据传输方法,包括:在接收到数据发送方对待传输数据的发送请求时,根据所述待传输数据的属性信息对所述待传输数据进行内容合法性验证;若对所述待传输数据的内容合法性验证通过,则获取所述待传输数据的数据类型和数据大小,根据所述数据类型和数据大小对所述待传输数据进行大小波动性验证;若对所述待传输数据的大小波动性验证通过,则将所述待传输数据发送给数据接收方。通过内容合法性验证、大小波动性验证两次验证,只有两次验证都通过的待传输数据才会被发送给数据接收方,从而可以对内容、大小不合法的数据的异常数据传输行为进行拦截,进而保证数据传输的安全性。

    掩码数据查询方法、装置及设备

    公开(公告)号:CN112307070B

    公开(公告)日:2025-05-13

    申请号:CN202011320121.6

    申请日:2020-11-23

    Abstract: 本公开实施例提供一种掩码数据查询方法、装置及设备,该方法包括:获取用户输入的至少一个查询请求参数;获取预建立的掩码规则集,遍历所述掩码规则集,根据掩码规则集中每一条掩码处理规则对所述至少一个查询请求参数进行处理得到查询主键;其中所述掩码规则集是根据多条随机掩码数据进行掩码规则处理后得到的;将各掩码处理规则对应的查询主键组成查询主键列表;根据所述查询主键列表,查询根据所述多条随机掩码数据构建的随机掩码数据库,匹配得到对应的查询记录。本公共课实施例能够对随机掩码的数据进行匹配查询,满足随机掩码的数据的查询需求,具有较好的适用性。

    流式计算方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN109857524B

    公开(公告)日:2024-02-27

    申请号:CN201910079453.0

    申请日:2019-01-25

    Abstract: 本发明公开了一种流式计算方法,该方法包括:实时读取业务系统产生的业务流水数据;从所述业务流水数据中读取事件标识字段,其中不同的事件标识字段用于标识不同的事件;根据所述事件标识字段将所述业务流水数据分流至对应的事件中;在每个事件中,调用预设的规则包对分流后的所述业务流水数据进行规则计算,得到对应的流式计算结果。本发明还公开了一种流式计算装置、设备和一种计算机可读存储介质。本发明能够在流式计算中实现业务规则的灵活配置,且事件流可以平行扩展,从而满足日益更新的业务处理需求。

    一种任务异常告警方法及装置
    8.
    发明公开

    公开(公告)号:CN114328095A

    公开(公告)日:2022-04-12

    申请号:CN202111574740.2

    申请日:2021-12-21

    Abstract: 本发明实施例提供了一种任务异常告警方法及装置,该方法包括在检测到针对任一任务组的异常检测请求时,从任务数据库中获取任务组的任务信息,通过k个第一任务各自的当前运行时间,构造出第一运行时间矩阵,并通过k个第一任务各自在第一预设历史时段内的历史运行时间,构造出第二运行时间矩阵,对第二运行时间矩阵进行矩阵分解,确定出第一运行时间估计值矩阵,确定第一运行时间矩阵与第一运行时间估计值矩阵之间的第一相关值,在第一相关值小于第一预设阈值时,确定至少有一个第一任务存在运行超时异常。如此,该方案可以通过第一运行时间估计值矩阵针对任务运行超时异常进行精准地判断,以此有效地降低任务运行超时异常告警的漏报率、误报率。

    基于任务调度系统的业务处理方法、装置、设备及介质

    公开(公告)号:CN109582301B

    公开(公告)日:2022-01-28

    申请号:CN201811468853.2

    申请日:2018-12-03

    Abstract: 本发明公开了一种基于任务调度系统的业务处理方法,所述方法包括:接收用户端发送的业务处理请求;确定所述业务处理请求对应的若干个任务类型;根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;基于预设条件,根据所述任务信息生成可执行任务;将所述可执行任务递交至大数据平台运行。本发明还公开了一种基于任务调度系统的业务处理装置、一种基于任务调度系统的业务处理设备和一种计算机可读存储介质。本发明能够降低任务的开发难度,缩短任务的开发时间。

    用户断点管理方法、装置、设备及计算机程序产品

    公开(公告)号:CN113342614A

    公开(公告)日:2021-09-03

    申请号:CN202110730473.7

    申请日:2021-06-29

    Abstract: 本发明公开了一种用户断点管理方法、装置、设备及计算机程序产品,所述方法包括:通过第一spark streaming获取用户行为数据集合,根据用户行为数据集合确定每个用户的最近行为的最新发生时间以及当前汇总行为数据,使当前汇总行为数据经过断点时长后才能持续处于断点侦测队列中;利用第二spark streaming获取断点侦测队列中的过去汇总行为数据,若过去汇总行为数据中的最新发生时间与其对应的用户的最新发生时间相同,该用户产生断点且产生时间为最新发生时间。本发明通过利用spark streaming数据流实时计算技术来侦测用户行为数据,可以在高并发实时数据处理的场景中准确确定用户产生断点的时间。

Patent Agency Ranking