基于大数据技术的实时与离线业务统一处理方法和装置

    公开(公告)号:CN113407617B

    公开(公告)日:2024-10-11

    申请号:CN202110711006.X

    申请日:2021-06-25

    Inventor: 潘永克

    Abstract: 本发明提供一种基于大数据技术的实时与离线业务统一处理方法和装置,包括:将实时采集的业务数据写入KAFKA集群;基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合,得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据;对所述第一明细数据进行所述实时业务对应的分析处理,所述第二明细数据用于后续所述离线业务于预设时刻进行对应的分析处理。本发明提供的方法和装置,避免了部分数据重复接入处理的冗余计算,且只需要开发一套程序对实时分析挖掘和离线分析挖掘的数据进行统一接入处理,降低了分析挖掘功能的开发时间成本,且使得实时业务和离线业务的接入数据处理整合后的形式结构统一。

    用于城轨交通的业务数据处理方法及系统

    公开(公告)号:CN117453809A

    公开(公告)日:2024-01-26

    申请号:CN202311181706.8

    申请日:2023-09-13

    Inventor: 潘永克 肖骁 罗铭

    Abstract: 本发明提供一种用于城轨交通的业务数据处理方法及系统,该方法包括:获取待处理城轨业务数据;根据目标业务场景的场景类型,确定所述待处理城轨业务数据对应的目标业务处理模块;其中,所述目标业务场景为生成所述待处理城轨业务数据的城轨业务场景;通过所述目标业务处理模块,对所述待处理城轨业务数据进行处理,得到目标城轨业务数据;基于预设数据库,对所述目标城轨业务数据进行存储。本发明针对不同城轨交通业务场景的业务数据进行相应数据处理,使得城轨业务数据的处理过程更为灵活,更符合城轨交通行业的数据处理要求。

    无人机自主避障与探索方法、装置、电子设备及介质

    公开(公告)号:CN119668276A

    公开(公告)日:2025-03-21

    申请号:CN202411521964.0

    申请日:2024-10-29

    Abstract: 本说明书实施例提供了一种无人机自主避障与探索方法、装置、电子设备及介质,其中,方法包括:针对密林场景,采用VINS‑Fusion算法基于RGB图与深度图完成无人机的位姿估计与三维点云地图构建,并生成八叉树地图;对Hybrid A*算法中的启发式函数和代价函数进行改进,得到改进后的启发式函数和代价函数;初始化Fast‑planner算法参数,基于所述八叉树地图,通过改进后的启发式函数,计算障碍物代价,更新障碍物三维坐标,计算飞行安全距离,通过改进后的代价函数,遍历无人机邻域范围内局部点云,寻找代价最小路径,提取最优路径航向,并构建安全走廊;初始化参数,在构建的所述安全走廊中,根据所述最优路径航向完成自主避障与探索。

    数据去重方法、装置、设备和介质

    公开(公告)号:CN115794783A

    公开(公告)日:2023-03-14

    申请号:CN202211139209.7

    申请日:2022-09-19

    Inventor: 潘永克 简瑞峰

    Abstract: 本发明提供一种数据去重方法、装置、设备和介质,涉及轨道交通技术领域,包括:在接收到实时业务需求的情况下,基于实时业务需求对分布式消息系统中的业务数据进行消费,并将消费后得到的业务结果数据存储至分析型数据库中;在达到预设去重条件的情况下,获取实时业务需求匹配的预设配置文件,基于预设配置文件配置分析型数据库的目标存储引擎,并基于配置好的目标存储引擎对分析型数据库中存储的业务结果数据进行去重,由此通过配置的预设去重条件、预设配置文件及目标存储引擎实现数据落库分析型数据库后的自动去重操作,进而提高了数据去重效率。

    数据采集定时任务调度方法及装置

    公开(公告)号:CN117632409A

    公开(公告)日:2024-03-01

    申请号:CN202311467047.4

    申请日:2023-11-06

    Abstract: 本发明提供一种数据采集定时任务调度方法及装置,该方法包括:在确定定时任务调度服务启动完成的情况下,获取新建数据采集定时任务的任务参数;在执行中的已有数据采集定时任务的数量不超过第一预设值的情况下,以新建数据采集定时任务的标识信息为键值,创建新建数据采集定时任务对应的Redis锁;在确定新建数据采集定时任务对应的Redis锁创建成功的情况下,启动新建数据采集定位任务的执行。本发明提供的数据采集定时任务调度方法及装置,能更简单、更高效地添加新建数据采集定时任务,能更灵活地配置新建数据采集定时任务的执行周期,进而能更灵活地动态采集轨道交通运营数据,能更好地满足轨道交通运营数据的采集需求。

    基于大数据技术的实时与离线业务统一处理方法和装置

    公开(公告)号:CN113407617A

    公开(公告)日:2021-09-17

    申请号:CN202110711006.X

    申请日:2021-06-25

    Inventor: 潘永克

    Abstract: 本发明提供一种基于大数据技术的实时与离线业务统一处理方法和装置,包括:将实时采集的业务数据写入KAFKA集群;基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合,得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据;对所述第一明细数据进行所述实时业务对应的分析处理,所述第二明细数据用于后续所述离线业务于预设时刻进行对应的分析处理。本发明提供的方法和装置,避免了部分数据重复接入处理的冗余计算,且只需要开发一套程序对实时分析挖掘和离线分析挖掘的数据进行统一接入处理,降低了分析挖掘功能的开发时间成本,且使得实时业务和离线业务的接入数据处理整合后的形式结构统一。

    动态扩缩容方法及装置
    7.
    发明公开

    公开(公告)号:CN117632897A

    公开(公告)日:2024-03-01

    申请号:CN202311466382.2

    申请日:2023-11-06

    Abstract: 本发明提供一种动态扩缩容方法及装置,包括:按照时间维度访问集群的状态数据,将访问到的时序监控数据存储至时序数据库,时序监控数据包括前端服务器的时序监控数据以及后端服务器的时序监控数据;获取预设采样周期内时序数据库中所存储的前端服务器对应的至少一个第一监控指标下的时序监控数据,以及,后端服务器对应的至少一个第二监控指标下的时序监控数据;根据至少一个第一监控指标下的时序监控数据以及至少一个第二监控指标下的时序监控数据,通过预设扩缩容策略对数据仓库所依赖的集群进行扩缩容,实现自动化地扩缩容,能更简单、更高效且及时地对数据仓库所依赖的集群进行扩缩容,进而能够更好地满足扩缩容业务需求。

    轨道交通业务数据质量校验方法、装置及电子设备

    公开(公告)号:CN116821701A

    公开(公告)日:2023-09-29

    申请号:CN202310575112.9

    申请日:2023-05-19

    Abstract: 本发明提供一种轨道交通业务数据质量校验方法、装置及电子设备,所述方法包括:通过数据总线获取目标业务数据,数据总线是基于消息中间件构建的;基于分布式处理引擎Flink和数据质量校验配置,对目标业务数据进行质量校验,获取质量校验结果;数据质量校验配置用于指示分布式处理引擎Flink所采用的数据质量校验逻辑。通过基于消息中间件构建数据总线,可以利用数据总线实时地获取目标业务数据,进而可以利用数据质量校验配置指示分布式处理引擎Flink所采用的数据质量校验逻辑,并通过使用分布式处理引擎Flink解析轨道交通业务数据,实时地对业务数据进行流水线式匹配,实现数据质量实时校验,能够提高数据质量校验的效率。

Patent Agency Ranking