公开(公告)号：CN117668054A

公开(公告)日：2024-03-08

申请号：CN202311714050.1

申请日：2023-12-13

Applicant: 航天信息股份有限公司

Inventor： 孙杨 ,  王海涛 ,  舒南飞 ,  王冬冬 ,  翟玥 ,  薛军军 ,  孙恒

IPC: G06F16/2458 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2457 ,  G06F16/901 ,  G06F16/903

Abstract: 本申请提供了一种数据计算查询方法、装置、电子设备和存储介质，所述方法包括：获得业务需求，所述业务需求包括对应所述业务需求的多个阶段的计算模块。若所述计算模块包括在计算模块池中，则调用所述计算模块池中对应的计算模块。根据所述计算模块，获得所述业务需求的执行结果，并输出所述执行结果。本方案可以降低开发的人力成本。

公开(公告)号：CN117573368A

公开(公告)日：2024-02-20

申请号：CN202311753831.1

申请日：2023-12-19

Applicant: 航天信息股份有限公司

Inventor： 王冬冬 ,  王海涛 ,  薛军军 ,  孙恒 ,  翟玥 ,  孙杨 ,  舒南飞

IPC: G06F9/50 ,  G06F9/48

Abstract: 本申请实施例提供一种spark计算调度的方法、装置、电子设备及介质，方法包括：分析总体资源情况以及执行spark任务所需的资源情况，并根据总体资源情况以及执行spark任务所需的资源情况确定任务拆分的策略；根据任务拆分的策略，分别对各条spark任务运行所需的资源进行拆分，获得具有不同范围的参数值的spark任务命令；将具有不同范围参数的spark任务命令进行任务调度并编写成脚本，根据业务需要进行脚本的执行。本申请实施例解决了spark计算存储大批量的数据到Hbase时任务执行过慢甚至失败的问题，通过任务拆分的策略，实现计算存储任务在一定资源下可正常运行、高效完成计算和存储。

公开(公告)号：CN114625369A

公开(公告)日：2022-06-14

申请号：CN202011446072.0

申请日：2020-12-08

Applicant: 航天信息股份有限公司

Inventor： 高起跃 ,  薛军军 ,  王海涛 ,  杨红敏 ,  杨化麒 ,  孙恒 ,  王利斌

IPC: G06F8/41 ,  G06F8/65 ,  G06F8/71 ,  G06F16/21

Abstract: 本公开涉及一种采集C/S客户端软件数据的方法、装置、介质及电子设备。该方法包括：采集服务插件通过调用服务器接口，将采集到的目标C/S客户端的数据文件信息上传至服务器；在接收到服务器根据数据文件信息确定的数据采集参数的情况下，根据数据采集参数中的目标起止时间，从目标C/S客户端的数据库中采集目标元数据信息；将采集到的目标元数据信息转换成目标C/S客户端的Protobuf模型类库中对应的Protobuf数据结构的目标数据信息，并将Protobuf数据结构的目标数据信息转换成二进制格式的报文，将报文上传至服务器，以使服务器将报文对应的目标元数据信息存入服务器的数据库中。采用这种方法，在向服务器上传数据时可提高数据传输的速度。