一种基于Spark的数据同步处理方法、装置及介质

    公开(公告)号:CN118035356A

    公开(公告)日:2024-05-14

    申请号:CN202410268800.5

    申请日:2024-03-08

    Abstract: 本申请提供一种基于Spark的数据同步处理方法、装置及介质,具体的,响应于接收到数据同步处理任务,获取用户配置数据;基于所述用户配置数据进行初始化处理,所述初始化处理包括环境初始化以及插件初始化;在初始化处理完成后,根据所述数据同步任务向Spark集群提交Spark计算任务;响应于接收到Spark集群发送的处理结果,输出所述处理结果。本申请提出一种基于Spark实现数据导入、导出、同步计算的方法,通过该方法可以实现同时对多源异构数据源之间的数据同步功能,且代码逻辑重复性低,便于维护。此外,本申请可用于绝大多数数据采集、导出和同步任务,在大数据任务中通用性强,可极大减少需求和工时,提高效率。

    业务处理方法、装置、设备及存储介质

    公开(公告)号:CN116980490A

    公开(公告)日:2023-10-31

    申请号:CN202310996692.9

    申请日:2023-08-08

    Abstract: 本申请提供一种业务处理方法、装置、设备及存储介质,涉及通信技术领域,用于解决对业务请求的响应效率较低的问题。该方法包括:获取目标请求消息,目标请求消息用于指示基于目标配置信息运行目标业务,目标配置信息为目标数据源的配置信息,目标数据源为目标业务的数据源。若已存储的多个业务运行信息中存在目标业务的第一运行信息,则获取第一运行信息,并根据目标配置信息,修改第一运行信息,生成第二运行信息,第一运行信息与第二运行信息之间存在相同的信息。基于第二运行信息,运行目标数据源。

Patent Agency Ranking