-
公开(公告)号:CN108037984B
公开(公告)日:2022-01-11
申请号:CN201711213575.1
申请日:2017-11-28
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F9/48
Abstract: 本发明公开了一种数据分析的资源管理方法、系统以及可读存储介质,该方法包括步骤:资源管理器根据调度器发送的代码执行请求检测到对应用户未存在可复用的解析器,则获取用户的资源使用情况和大数据平台的总资源使用情况,根据用户资源使用情况、总资源使用情况、及用户所申请的资源确定用户是否存在申请新解析器的申请权限;若存在申请权限,则根据申请权限为用户分配新的解析器,将新的解析器的标识信息发送给调度器;当调度器根据所接收的标识信息,通过远程服务管理器和新的解析器将执行请求发送给大数据平台,以供大数据平台根据执行请求执行用户输入的代码。本发明通过解析器,以隔离不同用户之间的资源,并实现了动态为用户分配资源。
-
公开(公告)号:CN113360284A
公开(公告)日:2021-09-07
申请号:CN202110626971.7
申请日:2021-06-04
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F9/50
Abstract: 本发明公开了一种资源管理方法、装置及设备,所述方法包括:接收资源使用者的资源申请请求,将所述资源申请请求携带的第一标签组中的各条第一标签信息与各项预设资源关联的标签信息进行匹配,得到与所述第一标签组匹配成功的第一匹配资源;检测各项所述第一匹配资源的可使用资源数量是否都不小于所述资源申请请求中的申请资源数量;若是,则确定通过所述资源使用者的资源申请,并按照所述申请资源数量对各项所述第一匹配资源的可使用资源数量进行锁定。本发明通过标签信息来标识和划分资源,提高了资源分配的灵活度。
-
公开(公告)号:CN112364110A
公开(公告)日:2021-02-12
申请号:CN202011297768.1
申请日:2020-11-17
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F16/28 , G06F16/2457 , G06F16/2455
Abstract: 本发明涉及金融科技(Fintech)技术领域,并公开了一种元数据管理方法,该方法包括:对与原始数据仓库建立连接的多个客户端进行分区处理,以获取多个租户,将原始数据仓库中的元数据迁移至各租户对应的数据库,以得到多个关联数据库;基于各关联数据库和各租户构建权限映射表;若接收到各客户端中的目标客户端发送的元数据请求,则确定元数据请求对应的访问数据库,基于权限映射表检测目标客户端是否具有操作访问数据库的操作权限;若具有操作权限,则根据元数据请求对访问数据库进行元数据请求操作,并将元数据请求操作的操作结果反馈至目标客户端。本发明实现了数据仓库中数据实例出现问题时,各个用户的业务也能正常进行。
-
公开(公告)号:CN111767092A
公开(公告)日:2020-10-13
申请号:CN202010624055.5
申请日:2020-06-30
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明涉及金融科技技术领域,公开了一种作业执行方法、装置、系统及计算机可读存储介质。该作业执行方法包括:在接收到Spark作业的执行请求时,根据执行请求获取目标Spark引擎的版本号、动态配置参数和Spark作业代码;根据版本号确定目标Spark引擎的部署目录信息和版本加载规则;根据部署目录信息获取静态配置参数,根据版本加载规则使用动态配置参数和静态配置参数对目标Spark引擎进行初始化,以启动目标Spark引擎;将Spark作业代码提交至目标Spark引擎,以执行作业。本发明能够实现在一个Linkis服务集群内同时支持多版本的Spark作业运行,减少运维成本。
-
公开(公告)号:CN111541623A
公开(公告)日:2020-08-14
申请号:CN202010278350.X
申请日:2020-04-10
Applicant: 深圳前海微众银行股份有限公司
IPC: H04L12/865 , H04L12/863
Abstract: 本发明公开了一种数据处理方法及装置,其中方法为:通过第一进程,竞争第一优先级顺序中最高优先级队列组的目标优先级队列;所述多个优先级队列组用于各进程共同竞争;所述各进程针对所述多个优先级队列组均有相应的优先级顺序;所述第一进程为所述各进程中的任一进程;若所述第一进程成功竞争到所述目标优先级队列,则在第一预设时长内,通过所述第一进程,处理所述目标优先级队列中的数据单元。上述方法应用于金融科技(Fintech)时,目标优先级队列可能被多个进程同时竞争,充分利用了多个进程处理能力,提升了数据处理的整体效率。
-
公开(公告)号:CN110851261A
公开(公告)日:2020-02-28
申请号:CN201911110236.X
申请日:2019-11-13
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明涉及金融科技(Fintech)技术领域,本发明公开了一种基于平台交互的任务处理方法,包括:在接收到操作任务时,获取所述操作任务对应的任务信息;根据所述任务信息判断是否要转移所述操作任务;若要转移所述操作任务,则通过所述预设代理节点将所述操作任务提交至外部平台,以使外部平台处理所述操作任务;接收所述外部平台反馈的所述操作任务的状态信息,根据所述状态信息对所述操作任务进行状态翻转,直至所述操作任务执行完成。本发明还公开了一种基于平台交互的任务处理系统、装置、设备和一种计算机可读存储介质。本发明通过预设代理节点实现平台交互,降低了交互平台间的耦合性,并操作任务进行有效管理。
-
公开(公告)号:CN110347494A
公开(公告)日:2019-10-18
申请号:CN201910644413.6
申请日:2019-07-17
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明涉及金融科技技术领域,公开了一种上下文信息管理方法、装置、系统及计算机可读存储介质。该方法应用于上下文信息管理系统,该系统包括上下文信息管理端和多个任务执行端,任务执行端包括第一任务执行端和第二任务执行端,该方法包括:上下文信息管理端在接收到第一任务执行端发送的上下文信息修改指令时,获取目标上下文修改信息,并根据目标上下文修改信息对预设数据库中对应的第一目标上下文信息进行修改;在接收到第二任务执行端发送的第一目标上下文信息获取请求时,获取修改后的第一目标上下文信息,并返回至第二任务执行端。本发明能实现解决现有技术中上下文信息无法跨任务执行节点共享的问题。
-
公开(公告)号:CN110333940A
公开(公告)日:2019-10-15
申请号:CN201910564384.2
申请日:2019-06-25
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明公开了一种基于条件的任务调度方法、装置、设备及存储介质,该方法通过在接收到任务执行指令时,获取所述任务执行指令中的目标子任务节点,并根据所述目标子任务节点所属工作流对应的描述任务文件,确定所述目标子任务节点对应的目标任务执行条件;确定所述目标子任务节点对应的父辈任务节点,获取所述父辈任务节点的当前执行信息,并判断所述当前执行信息是否符合所述目标任务执行条件;若所述当前执行信息符合所述目标任务执行条件,则对应执行所述目标子任务节点。本发明基于执行条件以及父辈任务节点的当前执行信息,对应执行相应的目标子任务节点,提高了任务执行效率,减轻了系统负载,减少了垃圾数据。
-
公开(公告)号:CN110333925A
公开(公告)日:2019-10-15
申请号:CN201910583869.6
申请日:2019-06-27
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明公开了一种权限管理方法、装置、设备及可读存储介质,该方法包括:在接收到待接入系统的接入请求时,从所述接入请求中获取所述待接入系统的最小粒度的模块信息以及所述模块信息所映射的操作属性;将所述模块信息与所述操作属性关联,得到所述待接入系统的操作权限;将所述操作权限与所述权限管理系统的角色或者用户关联,以完成所述待接入系统的接入,并对所述已接入系统进行权限管理。本发旨在解决现有权限管理过程中,只是通过包括操作,菜单,元素,文件等的对象分别构建成不同类型的权限,难以实现权限的灵活管理,致使权限管理效率降低的技术问题。
-
公开(公告)号:CN110191165A
公开(公告)日:2019-08-30
申请号:CN201910419110.4
申请日:2019-05-20
Applicant: 深圳前海微众银行股份有限公司
IPC: H04L29/08
Abstract: 本申请涉及金融科技领域,并提供一种处理代码执行请求的方法及装置,用于简化处理代码执行请求中用户的操作。该方法包括:接收所述客户端发送的代码执行请求,所述代码执行请求包括用户请求执行的代码;根据预设的N个规则,从所述用户对应的总会话列表中,筛选出用于执行所述代码执行请求的会话;其中,所述总会话列表包括所述用户在所述引擎服务中对应的所有会话,N为正整数;将所述用户请求执行的代码发送给所述用于执行代码执行请求的会话。
-
-
-
-
-
-
-
-
-