大数据平台资源管理方法、装置、设备及可读存储介质

    公开(公告)号:CN110351384B

    公开(公告)日:2024-08-06

    申请号:CN201910658873.4

    申请日:2019-07-19

    Abstract: 本发明涉及金融科技领域,并公开了一种大数据平台资源管理方法,包括:在统一资源管理服务器接收到用户端的资源请求指令时,基于所述资源请求指令获取作业请求参数;基于所述作业请求参数,判断所述用户端是否满足资源申请条件;若所述用户端满足所述资源申请条件,则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端;通过引擎管理服务器将引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群。本发明还公开了一种大数据平台资源管理装置、设备和可读存储介质。本发明通过统一资源管理服务器,对用户端的资源使用做了更细的划分和控制,不允许用户过量使用Yarn集群资源,也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。

    作业提交执行方法、装置、设备及计算机存储介质

    公开(公告)号:CN110381143B

    公开(公告)日:2023-09-12

    申请号:CN201910659732.4

    申请日:2019-07-19

    Abstract: 本发明涉及金融科技(Fintech)技术领域,并公开了一种作业提交执行方法,该方法包括:网关获取用户账号对应的大数据作业,并将大数据作业提交到入口;入口基于大数据作业检测用户账号对应的服务器是否存在第一引擎;若不存在第一引擎,则入口向引擎管理器发送引擎请求信息,引擎管理器根据引擎请求信息和资源管理器启动第二引擎;入口将大数据作业提交到第二引擎,第二引擎对大数据作业进行执行,生成所述大数据作业的结果集。本发明还公开了一种作业提交执行装置、设备和一种计算机存储介质。本发明实现了在集群资源不充足的情况下,提高任务作业执行的成功率。

    邮件发送方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN110855555B

    公开(公告)日:2023-04-07

    申请号:CN201911103307.3

    申请日:2019-11-12

    Abstract: 本发明涉及金融科技技术领域,公开了一种邮件发送方法、装置、设备及计算机可读存储介质。该邮件发送方法包括:在接收到邮件发送请求时,根据所述邮件发送请求获取邮件内容和邮件基本信息,所述邮件内容包括元数据信息和结果集的值;根据所述元数据信息中的数据类型确定对应的目标内容解析器,并通过所述目标内容解析器对所述结果集的值进行解析处理,得到中间对象;按解析顺序对所述中间对象进行合并,并将合并后的中间对象插入预设结构中,得到邮件正文;基于所述邮件基本信息对所述邮件正文进行发送。本发明能够解决现有的邮件发送功能开发过程中、开发效率较低的问题。

    一种数据写入、读取方法及装置
    4.
    发明公开

    公开(公告)号:CN113326268A

    公开(公告)日:2021-08-31

    申请号:CN202110709787.9

    申请日:2021-06-25

    Abstract: 本发明涉及金融科技(Fintech)领域,公开一种数据写入、读取方法及装置,对接收的第一数据的复写请求进行语法解析,确定抽象语法树;抽象语法树包括N个第一写任务节点;针对每个第一写任务节点:确定写入的第一数据库及对应的转换器;通过转换器将第一写任务节点转换为复写请求的执行树中的第一写任务节点;在执行执行树的N个第一写任务节点时,向N个第一数据库分别发送N个第一写任务;第一写任务用于将第一数据写入对应的第一数据库。通过该方式,可以实现对于任意的业务场景下的第一数据,都可以生成相应的第一写任务,降低对每个第一写任务对应的第一数据库的存储引擎的依赖,提高对不同业务数据的同步复写的效率和灵活性。

    一种数据查询方法及装置
    5.
    发明公开

    公开(公告)号:CN113177062A

    公开(公告)日:2021-07-27

    申请号:CN202110572421.1

    申请日:2021-05-25

    Abstract: 本发明实施例提供了一种数据查询方法及装置,该方法包括计算组件接收数据查询请求,对sql数据查询脚本进行语法解析,生成具有执行依赖关系的m个数据查询子任务,并将至少一个第一数据查询子任务分发给各自的数据源节点,基于执行依赖关系和数据查询子结果,执行m个数据查询子任务中的第二数据查询子任务,得到数据查询结果。由于各数据源节点只是传输数据查询子结果给计算组件,并不是传输数据库表的全量数据,因此可以减少计算组件与各数据源节点之间的数据传输量,从而可以降低数据传输过程中所消耗的网络资源。此外,由于该方案充分利用各数据源节点自身支持的计算能力来执行数据查询子任务,因此可以降低计算组件所消耗的计算资源。

    外部系统的嵌入方法、工作流系统、设备及存储介质

    公开(公告)号:CN110874278A

    公开(公告)日:2020-03-10

    申请号:CN201911110030.7

    申请日:2019-11-13

    Abstract: 本发明公开了一种外部系统的嵌入方法、工作流系统、设备及存储介质,涉及金融科技领域,该方法包括步骤:当侦测到在工作流系统的前端子系统中加载外部系统的加载指令后,通过预设的节点类型表确定所述加载指令对应的工作流节点的节点类型;根据所述节点类型在预设的参数配置表中获取所述工作流节点的节点参数;根据所述节点参数在所述前端子系统中生成所述工作流节点的前端控件,以将所述外部系统作为工作流节点嵌入所述工作流系统中。本发明降低了在工作流系统中新增外部系统对应工作流节点的难度,以及提高了在工作流系统中新增外部系统对应工作流节点的效率。

    一种数据处理方法及装置

    公开(公告)号:CN110704130A

    公开(公告)日:2020-01-17

    申请号:CN201910959579.7

    申请日:2019-10-10

    Abstract: 本发明公开了一种数据处理方法及装置,其中方法为:数据中间件接收来自用户主机的任务数据;所述数据中间件预先存储了脚本语言类型与计算引擎类型之间的映射关系;所述数据中间件根据所述映射关系,确定所述待执行脚本的脚本语言类型映射的至少一个计算引擎;若所述至少一个计算引擎中存在符合所述待执行脚本的计算引擎类型的目标计算引擎,则所述数据中间件将所述待执行脚本提交给所述目标计算引擎处理。上述方法应用于金融科技(Fintech)时,由于在任务数据中指定计算引擎类型,并传入指定脚本语言类型的待执行脚本,从而增加了数据中间件处理的灵活性。

    一种集群中资源管理的方法及装置

    公开(公告)号:CN110413410A

    公开(公告)日:2019-11-05

    申请号:CN201910646141.3

    申请日:2019-07-17

    Abstract: 本发明公开了一种集群中资源管理的方法及装置,其中,方法包括:接收资源使用方发送的资源请求信息,确定待请求资源的资源属性所属的第一资源类,从集群中确定第一资源提供方,判断第一资源提供方提供的资源是否满足待请求资源。该技术方案中,根据集群中的所有服务器所能提供的资源,设置资源结构关系,资源结构关系中包括多个资源类,并且多个资源类中存在继承关系,继承关系中的子类的资源属性包括父类的资源属性,集群中各服务器之间资源属性互通,且较为充分且综合的考虑集群中所有服务器所能提供的资源,提高集群中资源的管理效率。

Patent Agency Ranking