一种基于多计算引擎的海量数据在线分析方法及其系统

    公开(公告)号:CN117076558A

    公开(公告)日:2023-11-17

    申请号:CN202310875305.6

    申请日:2023-07-17

    Abstract: 本发明提出了一种基于多计算引擎的海量数据在线分析方法及其系统,包括:响应于第三方应用发起的作业请求,并将所述作业请求提交到web端在线引擎作业队列;引擎作业提交执行器EJSR轮询会话计算引擎作业队列,并取出作业信息JCI提交给会话计算引擎WebActor;启动会话计算引擎WebActor,接收到所述作业信息后,将作业执行条件JEC发布到远程消息队列MQT,Web服务启动后自动启动会话计算引擎Actor,并订阅远程消息队列主题MQT;同时启动作业执行器JER,所述作业执行器JER不断轮询作业队列,作业执行者JERA调用具体引擎进行处理。通过调用基于多计算引擎的海量数据在线分析接口不仅可以提高数据的处理效率、计算的可靠性,还可以提高系统的灵活性和可扩展性,也有利于降低系统维护成本。

    一种基于多计算引擎的大数据离线处理方法及其系统

    公开(公告)号:CN117076559A

    公开(公告)日:2023-11-17

    申请号:CN202310875339.5

    申请日:2023-07-17

    Abstract: 本发明提出了一种基于多计算引擎的大数据离线处理方法及其系统,该方法包括如下步骤:响应于第三方应用通过Web端发起的作业请求,所述作业请求调用引擎执行器控制层接口EECI;引擎作业提交执行器EJSR会轮询独立引擎作业队列,并取出作业信息JCI提交给离线计算引擎WebActor‑WSActor;启动离线计算引擎Actor‑SJEActor,发送启动信息至离线计算引擎WebActor‑WSActor实例;同时启动作业执行器JER,所述作业执行器JER不断轮询作业队列,查看作业队列中是否存在作业信息JCI,轮询到作业信息JCI时创建并提交所述作业信息JCI给作业执行者JERA,作业执行者JERA调用具体引擎进行处理。通过在实际建模过程中通过调用基于多计算引擎的大数据离线处理系统接口能够高效、可靠的解决大数据离线计算的业务场景。

    一种面向多源异构数据源的统一健康检测方法及其系统

    公开(公告)号:CN116860847A

    公开(公告)日:2023-10-10

    申请号:CN202310776959.3

    申请日:2023-06-28

    Abstract: 本发明提出了一种面向多源异构数据源的统一健康检测方法及其系统,包括:响应于第三方应用发起的数据源请求,所述请求调用数据源检测控制层接口;所述数据源检测控制层接口接收到该检测信息请求后,调用数据源管理服务类接口;根据预设的校验规则对传参进行校验后,进行核心交互流程;最后将核心交互检测返回的数据源检测结果Map返回给所述数据源管理服务类接口,再返回给所述数据源检测控制层接口,最终返回第三方应用。本方法在近年智慧城市等省级实战建模工作中多次得到验证,在实际建模过程中通过调用面向多源异构数据源的统一健康检测接口能够快速响应多源的连接测试检测任务请求,为解决多源数据库的连接检测问题起到缩时增效的作用。

Patent Agency Ranking