一种工作流生成方法、装置、设备及存储介质

    公开(公告)号:CN113344548B

    公开(公告)日:2024-10-15

    申请号:CN202110731532.2

    申请日:2021-06-30

    Abstract: 本申请实施例提供了一种工作流生成方法、装置、设备及存储介质,涉及金融科技(Fintech)技术领域,该方法包括:调度系统接收针对第一工作流的任务调整指令后,通过执行针对至少一个待调整任务的目标调整操作,获得第一工作流的初步调整结果,然后调整初步调整结果中各个任务的优先级,自动获得第二工作流,相较于在工作流中的任务发生变动时,用户手动修改工作流来说,本申请自动调整工作流的方式可以有效提高工作流的生成和调整效率,同时给用户带来便利。

    数据处理方法、装置、设备及计算机存储介质

    公开(公告)号:CN112306586B

    公开(公告)日:2024-06-18

    申请号:CN202011314975.3

    申请日:2020-11-20

    Abstract: 本申请实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质;该方法包括:在Python语言的交互环境中,基于Magic函数向数据计算中间件发送引擎执行请求,所述数据计算中间件用于实现至少两个数据处理引擎的调用,所述数据处理引擎为计算引擎或存储引擎;通过所述数据计算中间件调用与所述引擎执行请求对应的数据处理引擎;基于调用的数据处理引擎对预先获取的待处理数据进行数据处理,和/或,对与所述引擎执行请求对应的数据处理引擎进行管理。

    分区授权方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN110188573B

    公开(公告)日:2024-06-04

    申请号:CN201910459668.5

    申请日:2019-05-27

    Abstract: 本发明涉及金融科技的大数据领域,并公开了一种分区授权方法、装置、设备及计算机可读存储介质,该方法包括以下步骤:接收由Hive端发送的当前用户请求访问的目标分区的目标分区路径和当前用户标识;根据目标分区路径、当前用户标识和预设鉴权策略验证当前用户是否具有目标分区的数据访问权限;若当前用户具有目标分区的数据访问权限,则允许Hive端向当前用户提供目标分区的数据访问服务。本发明通过Ranger端的分区鉴权策略对Hive端的数据访问服务进行分区授权,实现了不同业务用户只能操作与自己业务相关的分区数据,进而实现了金融基础设施(分布式、云计算、区块链等)的更细粒度的安全权限管理。

    元数据处理方法及装置、设备、可读存储介质

    公开(公告)号:CN109766345B

    公开(公告)日:2022-07-15

    申请号:CN201910023646.4

    申请日:2019-01-10

    Abstract: 本发明提供一种元数据处理方法,包括以下步骤:获取目标数据表与不同关联数据表相互间的关联字段;根据关联字段,获取目标数据表与不同关联数据表相互间的关联信息,并构建目标数据表的关联信息集合;获取目标数据表的加工任务信息;根据加工任务信息,确定目标数据表与不同数据表相互间的上下游关系,并基于上下游关系确定目标数据表的上游数据表与下游数据表;其中,目标数据表继承上游数据表的关联信息,下游数据表继承目标数据表的关联信息集合。本发明还提供了一种元数据处理装置、设备、可读存储介质。本发明解决了现有数据库方案中元数据业务含义有限,导致难以有效地参与到数据库的具体应用的技术问题。

    一种数据存储空间可使用时间的预测方法

    公开(公告)号:CN111752903A

    公开(公告)日:2020-10-09

    申请号:CN202010579971.1

    申请日:2020-06-23

    Abstract: 本发明公开了一种数据存储空间可使用时间的预测方法及装置,包括:获取数据存储空间的剩余可用存储空间,然后确定剩余可用存储空间是否大于第一阈值,若是,则获取预测天数,再将预测天数输入到预测模型中,得到预测日增长量,其中,预测模型是对训练样本进行训练学习得到的,然后判断预测日增长量是否大于第二阈值,若大于第二阈值,则将剩余可用存储空间和预测日增长量之间的比值确定为剩余可用存储空间的可使用天数,以此实现根据历史数据增长量确定出预测日增长量,进而得到数据存储空间可使用时间,并提高预测的数据增长情况的准确性和灵敏度。

    工作流调度方法、装置、系统与计算机可读存储介质

    公开(公告)号:CN111506406A

    公开(公告)日:2020-08-07

    申请号:CN202010283043.0

    申请日:2020-04-10

    Abstract: 本发明公开了一种工作流调度方法,包括:若检测到调度请求,则确定所述调度请求对应的管理服务器,并基于所述管理服务器确定所述调度请求对应的待执行工作流,将所述待执行工作流插入预设轮询表中;确定目标执行器,并基于所述目标执行器,从所述预设轮询表中获取并执行目标工作流。本发明还公开了一种工作流调度装置、系统和计算机可读存储介质。本发明将管理服务器的调度功能下放到执行器,在检测到调度请求时,由对应的管理服务器将调度请求对应的待执行工作流插入轮询表中,降低管理服务器的复杂性,再由目标执行器主动去轮询表中获取并执行目标工作流,不需要管理服务器缓存一系列数据,从而实现管理服务器的横向扩展,提高了调度的智能性。

    分区授权方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN110188573A

    公开(公告)日:2019-08-30

    申请号:CN201910459668.5

    申请日:2019-05-27

    Abstract: 本发明涉及金融科技的大数据领域,并公开了一种分区授权方法、装置、设备及计算机可读存储介质,该方法包括以下步骤:接收由Hive端发送的当前用户请求访问的目标分区的目标分区路径和当前用户标识;根据目标分区路径、当前用户标识和预设鉴权策略验证当前用户是否具有目标分区的数据访问权限;若当前用户具有目标分区的数据访问权限,则允许Hive端向当前用户提供目标分区的数据访问服务。本发明通过Ranger端的分区鉴权策略对Hive端的数据访问服务进行分区授权,实现了不同业务用户只能操作与自己业务相关的分区数据,进而实现了金融基础设施(分布式、云计算、区块链等)的更细粒度的安全权限管理。

    机密信息标识方法、装置、设备与计算机可读存储介质

    公开(公告)号:CN110188568A

    公开(公告)日:2019-08-30

    申请号:CN201910448949.0

    申请日:2019-05-27

    Abstract: 本发明涉及金融科技领域,并公开了一种机密信息标识方法,包括:当检测到开发发布文件时,扫描所述开发发布文件对应的脚本,以得到所述开发发布文件对应的DDL脚本;对所述DDL脚本进行解析,以提取所述DDL脚本对应的元数据信息。确定所述元数据信息与预设机密信息定义库中的预设机密信息是否匹配;若匹配,则将所述元数据信息标识为机密信息。本发明还公开了一种机密信息标识装置、设备和一种计算机可读存储介质。本发明在不读取开发发布文件的数据内容的情况下,通过扫描开发发布文件对应的数据库脚本,以提取对应的元数据信息,并对元数据信息进行机密标识,用以标识开发发布文件对应的数据的敏感程度,以实现对不同敏感程度的数据进行管理。

    一种监控模型训练的方法及装置
    9.
    发明公开

    公开(公告)号:CN110175679A

    公开(公告)日:2019-08-27

    申请号:CN201910458041.8

    申请日:2019-05-29

    Abstract: 本发明实施例提供一种监控模型训练的方法及装置,其中方法包括:接收机器学习平台中的至少一个节点分别上报的监控信息,并根据所述至少一个节点分别对应的监控信息确定监控指标以及所述监控指标对应的信息;进一步地,若确定所述监控指标对应的信息触发所述监控指标对应的告警规则,则执行告警。本发明实施例中,通过至少一个节点上报监控信息,可以及时获取至少一个节点的状态,并可以节省流量;且,通过至少一个节点的监控信息得到监控指标对应的信息,可以实现对机器学习平台执行一个或多个模型训练任务的整个流程进行监控,并可以根据执行的结果进行报警,便于运维人员及时进行维护工作,保证金融领域的正常运行。

    一种资源管理方法及装置
    10.
    发明公开

    公开(公告)号:CN110162407A

    公开(公告)日:2019-08-23

    申请号:CN201910473204.X

    申请日:2019-05-31

    Abstract: 本发明实施例公开了一种资源管理方法及装置,涉及金融科技(Fintech)领域,其中方法包括:接收用户输入的配置信息后,获取开发系统中的多个资源组,进而确定用户所属的目标资源组,若目标资源组对应的一个或多个资源空间中存在标识与第一资源空间的标识匹配的目标资源空间,则将目标资源空间中的资源分配给用户,以使用户使用目标资源空间中的资源进行开发工作。本发明实施例中,通过使用用户所属的资源组中的资源执行用户的开发工作,可以避免用户的开发工作对其他资源组中的用户的开发工作造成干扰,从而实现了多用户的并行开发工作;且,通过使用多个资源组和多个资源组对应的资源空间管理资源,可以提高资源管理的灵活性。

Patent Agency Ranking