公开(公告)号：CN119621851A

公开(公告)日：2025-03-14

申请号：CN202411728483.7

申请日：2024-11-28

Applicant: 航天信息股份有限公司

Inventor： 孙恒 ,  李宪英 ,  薛军军 ,  张艳芳 ,  翟玥 ,  高军斌 ,  王冬冬

IPC: G06F16/27 ,  G06F16/2455 ,  G06F16/22 ,  G06F16/28 ,  G06F16/182 ,  G06F16/18 ,  G06F11/34 ,  G06F11/30

Abstract: 本发明公开了一种用于大数据的存储方法、系统、设备及介质，属于大数据管理技术领域。本发明的存储方法，包括：对用户每日使用的应用或产品进行埋点，通过所述埋点以采集用户每日使用的应用或者产品产生的行为数据，针对所述行为数据，生成日志数据，并将所述日志数据缓存；在缓存中获取所述日志数据，并将所述日志数据存入对应的数据仓库工具hive表；通过计算引擎spark文件，读取hive表的日志数据，并将所述日志数据，合并至当前分区的全量数据中，将所述全量数据存储至分布式存储HDFS系统。本发明的应用提高了对日志数据存储与读取的效率，提高了HDFS系统的利用率。

公开(公告)号：CN117749760A

公开(公告)日：2024-03-22

申请号：CN202311753853.8

申请日：2023-12-19

Applicant: 航天信息股份有限公司

Inventor： 王海涛 ,  翟玥 ,  薛军军 ,  吕斌 ,  王冬冬 ,  孙恒 ,  孙杨

IPC: H04L61/45 ,  H04L67/02 ,  H04L69/22 ,  H04L61/4511

Abstract: 本申请实施例提供一种Web服务地址识别的方法、装置、电子设备及介质，所述方法包括：对Web服务的http请求进行数据解析，得到所述http请求的地址数据，所述地址数据包括：接口地址；将所述接口地址以分隔符为拆分规则进行拆分，获得所述接口地址对应的多个节点数据；根据特征库，对所述接口地址对应的多个节点数据进行特征匹配，获得匹配的节点数据。本申请实施例在无需明确接口数量、接口形态的情况下自动、准确、有效的识别接口数据。

公开(公告)号：CN117668054A

公开(公告)日：2024-03-08

申请号：CN202311714050.1

申请日：2023-12-13

Applicant: 航天信息股份有限公司

Inventor： 孙杨 ,  王海涛 ,  舒南飞 ,  王冬冬 ,  翟玥 ,  薛军军 ,  孙恒

IPC: G06F16/2458 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2457 ,  G06F16/901 ,  G06F16/903

Abstract: 本申请提供了一种数据计算查询方法、装置、电子设备和存储介质，所述方法包括：获得业务需求，所述业务需求包括对应所述业务需求的多个阶段的计算模块。若所述计算模块包括在计算模块池中，则调用所述计算模块池中对应的计算模块。根据所述计算模块，获得所述业务需求的执行结果，并输出所述执行结果。本方案可以降低开发的人力成本。

公开(公告)号：CN117573368A

公开(公告)日：2024-02-20

申请号：CN202311753831.1

申请日：2023-12-19

Applicant: 航天信息股份有限公司

Inventor： 王冬冬 ,  王海涛 ,  薛军军 ,  孙恒 ,  翟玥 ,  孙杨 ,  舒南飞

IPC: G06F9/50 ,  G06F9/48

Abstract: 本申请实施例提供一种spark计算调度的方法、装置、电子设备及介质，方法包括：分析总体资源情况以及执行spark任务所需的资源情况，并根据总体资源情况以及执行spark任务所需的资源情况确定任务拆分的策略；根据任务拆分的策略，分别对各条spark任务运行所需的资源进行拆分，获得具有不同范围的参数值的spark任务命令；将具有不同范围参数的spark任务命令进行任务调度并编写成脚本，根据业务需要进行脚本的执行。本申请实施例解决了spark计算存储大批量的数据到Hbase时任务执行过慢甚至失败的问题，通过任务拆分的策略，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储。