-
公开(公告)号：CN108037984A
公开(公告)日：2018-05-15
申请号：CN201711213575.1
申请日：2017-11-28
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F9/48
Abstract: 本发明公开了一种数据分析的资源管理方法、系统以及可读存储介质，该方法包括步骤：资源管理器根据调度器发送的代码执行请求检测到对应用户未存在可复用的解析器，则获取用户的资源使用情况和大数据平台的总资源使用情况，根据用户资源使用情况、总资源使用情况、及用户所申请的资源确定用户是否存在申请新解析器的申请权限；若存在申请权限，则根据申请权限为用户分配新的解析器，将新的解析器的标识信息发送给调度器；当调度器根据所接收的标识信息，通过远程服务管理器和新的解析器将执行请求发送给大数据平台，以供大数据平台根据执行请求执行用户输入的代码。本发明通过解析器，以隔离不同用户之间的资源，并实现了动态为用户分配资源。
-
公开(公告)号：CN110351384B
公开(公告)日：2024-08-06
申请号：CN201910658873.4
申请日：2019-07-19
Applicant: 深圳前海微众银行股份有限公司
IPC: H04L67/566 , H04L67/63 , H04L67/10 , G06Q40/00
Abstract: 本发明涉及金融科技领域，并公开了一种大数据平台资源管理方法，包括：在统一资源管理服务器接收到用户端的资源请求指令时，基于所述资源请求指令获取作业请求参数；基于所述作业请求参数，判断所述用户端是否满足资源申请条件；若所述用户端满足所述资源申请条件，则通过所述引擎管理服务器启动所述作业请求参数对应的引擎客户端；通过引擎管理服务器将引擎客户端对应的类别应用提交至大数据资源管理架构Yarn集群。本发明还公开了一种大数据平台资源管理装置、设备和可读存储介质。本发明通过统一资源管理服务器，对用户端的资源使用做了更细的划分和控制，不允许用户过量使用Yarn集群资源，也为用户支持多组件在一个大数据平台上执行作业有更细的资源控制。
-
公开(公告)号：CN116796345A
公开(公告)日：2023-09-22
申请号：CN202310748284.1
申请日：2023-06-21
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本申请公开了加解密方法、装置、设备及存储介质，包括：将待加密的第一数据块进行矩阵变换，得到第一矩阵；以对第一矩阵执行N轮加密处理；在N轮加密处理中，前一轮的输出作为后一轮的输入；对于第一轮中的每个元素分别执行：行移位操作、第一表的转换操作；对于每个中间轮的输入矩阵中的每个元素分别执行：第二表的转换操作、行移位操作、第三表的转换操作、第四表的转换操作、第一表的转换操作；针对最后一轮的输入矩阵中的每个元素分别执行：第二表的转换操作、行移位操作、第一表的转换操作，得到第二矩阵；以基于第二矩阵得到第一数据块对应的加密数据。采用该方案降低了加解密过程中被破解的概率，提高了数据的安全性。
-
公开(公告)号：CN110381143B
公开(公告)日：2023-09-12
申请号：CN201910659732.4
申请日：2019-07-19
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明涉及金融科技(Fintech)技术领域，并公开了一种作业提交执行方法，该方法包括：网关获取用户账号对应的大数据作业，并将大数据作业提交到入口；入口基于大数据作业检测用户账号对应的服务器是否存在第一引擎；若不存在第一引擎，则入口向引擎管理器发送引擎请求信息，引擎管理器根据引擎请求信息和资源管理器启动第二引擎；入口将大数据作业提交到第二引擎，第二引擎对大数据作业进行执行，生成所述大数据作业的结果集。本发明还公开了一种作业提交执行装置、设备和一种计算机存储介质。本发明实现了在集群资源不充足的情况下，提高任务作业执行的成功率。
-
公开(公告)号：CN113326170B
公开(公告)日：2023-06-09
申请号：CN202110644030.6
申请日：2021-06-09
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F11/30
Abstract: 本发明实施例公开了一种任务延迟风险检测方法、电子设备及存储介质，其中，该方法包括：获取服务器集群中每台服务器对应的缓存队列中缓存的待处理任务的总数；在所述服务器集群中第一服务器对应的待处理任务的总数未处于所述第一服务器对应的第一区间的情况下，输出第一提示信息；其中，所述第一提示信息表征所述第一服务器存在任务延迟风险；所述第一区间表征服务器的缓存队列中允许存在的待处理任务的最大总数的区间；所述第一区间基于所述服务器集群中每台服务器对应的第一信息确定出；所述第一信息表征每个租户对应的服务器在处理历史任务时的数据处理能力。
-
Patent Agency Ranking
公开(公告)号：CN109656963B
公开(公告)日：2023-06-09
申请号：CN201811551965.4
申请日：2018-12-18
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F16/2457 , G06F16/2455 , G06F16/25 , G06F16/16
Abstract: 本发明公开了一种元数据获取方法、装置、设备及计算机可读存储介质，该方法包括步骤：当侦测到获取元数据的获取指令后，检测当前时间是否处于所述获取指令对应获取任务的执行时间范围内；若所述当前时间处于所述执行时间范围内，则确定与所述调度器连接的执行器中，资源利用率最小的目标执行器；将所述获取任务发送给所述目标执行器，以供所述目标执行器根据所述获取任务采用对应的获取工具在对应的数据系统中获取所述元数据。本发明通过适配不同数据类型的获取工具获取不同数据类型的元数据，以获取到除关系型数据库外其它数据组件存储的元数据。
-
公开(公告)号：CN109614236B
公开(公告)日：2023-04-18
申请号：CN201811500498.2
申请日：2018-12-07
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F9/50
Abstract: 本发明公开了一种集群资源动态调整方法，包括：获取各运行队列的当前运行数据，并依据所述当前运行数据和预设的集群资源调整规则，确定各运行队列的集群资源的第一调整策略；将所述当前运行数据输入至预设的策略预测模型，并获取所述策略预测模型输出的各运行队列的集群资源的第二调整策略；获取当前剩余集群资源，并依据所述第一调整策略、所述第二调整策略和所述当前剩余集群资源，确定目标调整策略，且执行所述目标调整策略。本发明还公开了一种集群资源动态调整装置、设备及可读存储介质。本发明能够实现各运行队列的集群资源的动态调整，可以有效的提高集群资源的利用率。
-
公开(公告)号：CN110855555B
公开(公告)日：2023-04-07
申请号：CN201911103307.3
申请日：2019-11-12
Applicant: 深圳前海微众银行股份有限公司
IPC: H04L51/42 , H04L51/066
Abstract: 本发明涉及金融科技技术领域，公开了一种邮件发送方法、装置、设备及计算机可读存储介质。该邮件发送方法包括：在接收到邮件发送请求时，根据所述邮件发送请求获取邮件内容和邮件基本信息，所述邮件内容包括元数据信息和结果集的值；根据所述元数据信息中的数据类型确定对应的目标内容解析器，并通过所述目标内容解析器对所述结果集的值进行解析处理，得到中间对象；按解析顺序对所述中间对象进行合并，并将合并后的中间对象插入预设结构中，得到邮件正文；基于所述邮件基本信息对所述邮件正文进行发送。本发明能够解决现有的邮件发送功能开发过程中、开发效率较低的问题。
-
公开(公告)号：CN113590386B
公开(公告)日：2023-03-03
申请号：CN202110874019.9
申请日：2021-07-30
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F11/14
Abstract: 本发明涉及金融科技技术领域，公开了一种数据的容灾恢复方法、系统、终端设备以及计算机存储介质。该数据的容灾恢复方法通过数据容灾恢复设备建立与预设主集群的灾备数据库之间的通信连接；通过所述通信连接读取所述预设主集群执行的工作流；根据预设的关系链模型获取所述工作流中各任务节点的任务参数，其中，所述关系链模型基于数据与数据处理任务之间的血缘关系构建得到；检测所述任务参数的同步状态，以根据所述同步状态确定各所述任务节点中待重新执行的目标节点，并触发容灾恢复机制执行所述目标节点。本发明能达成快速和精细化进行容灾切换的目的，从而提高容灾恢复效率。
-
公开(公告)号：CN115586953A
公开(公告)日：2023-01-10
申请号：CN202211213161.X
申请日：2022-09-30
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F9/48 , G06F16/2453 , G06F16/2455 , G06F16/28
Abstract: 本申请实施例提供了一种基于Hive的任务并发执行方法和相关装置，该方法包括：通过Hive将接收到的查询语言拆分为M个节点，M个节点中包括对应于N个条件任务的条件任务关联节点，其中，任一个条件任务均对应有至少两个条件任务关联节点；M和N均为正整数；为M个节点确定多个第一执行路径，每个条件任务节点在任一个第一执行路径中均存在一个关联节点；在多条第一执行路径中确定出满足第一预设条件的第二执行路径；按照第二执行路径中节点之间的依赖关系，并发执行第二执行路径中的各节点对应的任务，得到执行结果。这样，第二执行路径中包括的条件任务关联节点均为需要执行的节点，提高了得到的执行结果的准确度。
-
-
-
-
-
-
-
-
-
Search Results
136
records
(took 0.039 seconds)
