信号交互的实现方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111756613A

    公开(公告)日:2020-10-09

    申请号:CN202010578159.7

    申请日:2020-06-22

    Abstract: 本发明涉及金融科技技术领域,公开了一种信号交互的实现方法、装置、设备及计算机可读存储介质。该方法包括:接收上游工作流发送的信号,对信号进行一次封装,得到第一信号数据,并确定第一信号数据对应的目标信号处理集群;通过目标信号处理集群对第一信号数据进行二次封装,得到第二信号数据;根据目标信号处理集群中各预构分区的数据范围,确定第二信号数据对应的目标存储分区;将第二信号数据写入目标存储分区中,并生成对应的元数据信息;在接收到下游工作流基于信号发送的信号接收请求时,从元数据信息中查询得到目标存储位置,进而获取信号并返回至下游工作流。本发明能提高工作流信号交互的灵活性,同时保证高并发场景下信号交互的性能。

    数据的容灾恢复方法、系统、终端设备及计算机存储介质

    公开(公告)号:CN113590386B

    公开(公告)日:2023-03-03

    申请号:CN202110874019.9

    申请日:2021-07-30

    Abstract: 本发明涉及金融科技技术领域,公开了一种数据的容灾恢复方法、系统、终端设备以及计算机存储介质。该数据的容灾恢复方法通过数据容灾恢复设备建立与预设主集群的灾备数据库之间的通信连接;通过所述通信连接读取所述预设主集群执行的工作流;根据预设的关系链模型获取所述工作流中各任务节点的任务参数,其中,所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到;检测所述任务参数的同步状态,以根据所述同步状态确定各所述任务节点中待重新执行的目标节点,并触发容灾恢复机制执行所述目标节点。本发明能达成快速和精细化进行容灾切换的目的,从而提高容灾恢复效率。

    基于Hive的任务并发执行方法和相关装置

    公开(公告)号:CN115586953A

    公开(公告)日:2023-01-10

    申请号:CN202211213161.X

    申请日:2022-09-30

    Abstract: 本申请实施例提供了一种基于Hive的任务并发执行方法和相关装置,该方法包括:通过Hive将接收到的查询语言拆分为M个节点,M个节点中包括对应于N个条件任务的条件任务关联节点,其中,任一个条件任务均对应有至少两个条件任务关联节点;M和N均为正整数;为M个节点确定多个第一执行路径,每个条件任务节点在任一个第一执行路径中均存在一个关联节点;在多条第一执行路径中确定出满足第一预设条件的第二执行路径;按照第二执行路径中节点之间的依赖关系,并发执行第二执行路径中的各节点对应的任务,得到执行结果。这样,第二执行路径中包括的条件任务关联节点均为需要执行的节点,提高了得到的执行结果的准确度。

    数据的容灾恢复方法、系统、终端设备及计算机存储介质

    公开(公告)号:CN113590386A

    公开(公告)日:2021-11-02

    申请号:CN202110874019.9

    申请日:2021-07-30

    Abstract: 本发明涉及金融科技技术领域,公开了一种数据的容灾恢复方法、系统、终端设备以及计算机存储介质。该数据的容灾恢复方法通过数据容灾恢复设备建立与预设主集群的灾备数据库之间的通信连接;通过所述通信连接读取所述预设主集群执行的工作流;根据预设的关系链模型获取所述工作流中各任务节点的任务参数,其中,所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到;检测所述任务参数的同步状态,以根据所述同步状态确定各所述任务节点中待重新执行的目标节点,并触发容灾恢复机制执行所述目标节点。本发明能达成快速和精细化进行容灾切换的目的,从而提高容灾恢复效率。

    一种数据质量检测方法及装置
    5.
    发明公开

    公开(公告)号:CN114265838A

    公开(公告)日:2022-04-01

    申请号:CN202111589419.1

    申请日:2021-12-23

    Abstract: 本发明实施例提供一种数据质量检测方法及装置,该方法包括:接收客户端发送的经第一服务端传输的检测请求;所述检测请求是基于用户在客户端输入的函数式指令生成的;基于所述函数式指令对应的检测规则模板,通过建造者模式构造所述函数式指令对应的实体类检测规则,以根据所述实体类检测规则对待检测数据进行数据质量检测。上述方法能够提高检测规则设置的灵活性,降低检测规则扩展的开发周期和开发成本。

    基于条件的任务调度方法、装置、设备及存储介质

    公开(公告)号:CN110333940A

    公开(公告)日:2019-10-15

    申请号:CN201910564384.2

    申请日:2019-06-25

    Abstract: 本发明公开了一种基于条件的任务调度方法、装置、设备及存储介质,该方法通过在接收到任务执行指令时,获取所述任务执行指令中的目标子任务节点,并根据所述目标子任务节点所属工作流对应的描述任务文件,确定所述目标子任务节点对应的目标任务执行条件;确定所述目标子任务节点对应的父辈任务节点,获取所述父辈任务节点的当前执行信息,并判断所述当前执行信息是否符合所述目标任务执行条件;若所述当前执行信息符合所述目标任务执行条件,则对应执行所述目标子任务节点。本发明基于执行条件以及父辈任务节点的当前执行信息,对应执行相应的目标子任务节点,提高了任务执行效率,减轻了系统负载,减少了垃圾数据。

    工作流调度方法、装置、系统与计算机可读存储介质

    公开(公告)号:CN111506406B

    公开(公告)日:2024-07-02

    申请号:CN202010283043.0

    申请日:2020-04-10

    Abstract: 本发明公开了一种工作流调度方法,包括:若检测到调度请求,则确定所述调度请求对应的管理服务器,并基于所述管理服务器确定所述调度请求对应的待执行工作流,将所述待执行工作流插入预设轮询表中;确定目标执行器,并基于所述目标执行器,从所述预设轮询表中获取并执行目标工作流。本发明还公开了一种工作流调度装置、系统和计算机可读存储介质。本发明将管理服务器的调度功能下放到执行器,在检测到调度请求时,由对应的管理服务器将调度请求对应的待执行工作流插入轮询表中,降低管理服务器的复杂性,再由目标执行器主动去轮询表中获取并执行目标工作流,不需要管理服务器缓存一系列数据,从而实现管理服务器的横向扩展,提高了调度的智能性。

    一种数据规则匹配方法、设备及存储介质

    公开(公告)号:CN115617852A

    公开(公告)日:2023-01-17

    申请号:CN202211218068.8

    申请日:2022-09-30

    Abstract: 本申请提供一种数据规则匹配方法、设备及存储介质,方法包括:获得规则知识库中的多个第一元数据;其中,每一第一元数据包括数据库表的索引标识,以及与索引标识关联的规则类型对应的规则标识;确定并统计每一索引标识中的索引子标识对应的索引子标识数量,并获得同一索引子标识数量在所有索引子标识数量中出现的第一频次;对所有第一频次进行筛选处理,并基于筛选后的第一频次对应的索引子标识数量,得到用于决策项集包含的子标识的目标子标识数量的第一数据范围;基于第一数据范围,对第一元数据中的所有子标识进行组合并筛选处理,得到目标子标识数量项集;基于目标子标识数量项集,确定获得的待匹配索引信息匹配规则所得到的匹配结果。

    一种工作流生成方法、装置、设备及存储介质

    公开(公告)号:CN113344548A

    公开(公告)日:2021-09-03

    申请号:CN202110731532.2

    申请日:2021-06-30

    Abstract: 本申请实施例提供了一种工作流生成方法、装置、设备及存储介质,涉及金融科技(Fintech)技术领域,该方法包括:调度系统接收针对第一工作流的任务调整指令后,通过执行针对至少一个待调整任务的目标调整操作,获得第一工作流的初步调整结果,然后调整初步调整结果中各个任务的优先级,自动获得第二工作流,相较于在工作流中的任务发生变动时,用户手动修改工作流来说,本申请自动调整工作流的方式可以有效提高工作流的生成和调整效率,同时给用户带来便利。

    一种工作流生成方法、装置、设备及存储介质

    公开(公告)号:CN113344548B

    公开(公告)日:2024-10-15

    申请号:CN202110731532.2

    申请日:2021-06-30

    Abstract: 本申请实施例提供了一种工作流生成方法、装置、设备及存储介质,涉及金融科技(Fintech)技术领域,该方法包括:调度系统接收针对第一工作流的任务调整指令后,通过执行针对至少一个待调整任务的目标调整操作,获得第一工作流的初步调整结果,然后调整初步调整结果中各个任务的优先级,自动获得第二工作流,相较于在工作流中的任务发生变动时,用户手动修改工作流来说,本申请自动调整工作流的方式可以有效提高工作流的生成和调整效率,同时给用户带来便利。

Patent Agency Ranking