-
公开(公告)号:CN118035356A
公开(公告)日:2024-05-14
申请号:CN202410268800.5
申请日:2024-03-08
Applicant: 中国联合网络通信集团有限公司
Abstract: 本申请提供一种基于Spark的数据同步处理方法、装置及介质,具体的,响应于接收到数据同步处理任务,获取用户配置数据;基于所述用户配置数据进行初始化处理,所述初始化处理包括环境初始化以及插件初始化;在初始化处理完成后,根据所述数据同步任务向Spark集群提交Spark计算任务;响应于接收到Spark集群发送的处理结果,输出所述处理结果。本申请提出一种基于Spark实现数据导入、导出、同步计算的方法,通过该方法可以实现同时对多源异构数据源之间的数据同步功能,且代码逻辑重复性低,便于维护。此外,本申请可用于绝大多数数据采集、导出和同步任务,在大数据任务中通用性强,可极大减少需求和工时,提高效率。
-
公开(公告)号:CN117155770A
公开(公告)日:2023-12-01
申请号:CN202311121235.1
申请日:2023-08-31
Applicant: 中国联合网络通信集团有限公司
IPC: H04L41/0677
Abstract: 本申请提供一种故障隐患排查方法、装置、服务器及存储介质,涉及通信技术领域,用于精准确定故障多发区域,圈定隐患排查范围。该方法包括:获取目标区域指定历史时间内通信设施故障点位的目标历史故障信息,目标区域包含多个故障点位,目标历史故障信息包括故障位置信息、故障发生时间;根据故障位置信息确定目标区域指定历史时间内的第一故障多发区域;将目标区域指定历史时间内通信设施的故障点位根据时间顺序确定多个故障组;根据故障位置信息确定每个故障组中的第二故障多发区域;基于第一故障多发区域与第二故障多发区域,确定隐患排查区域;基于隐患排查区域,确定隐患排查范围,隐患排查范围小于隐患排查区域。
-