-
公开(公告)号:CN115586869B
公开(公告)日:2023-06-06
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN115509721A
公开(公告)日:2022-12-23
申请号:CN202211330158.6
申请日:2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统,属于数据处理技术领域;解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排,无法满足用户选择流数据或批数据处理任务类型时无感操作的要求;本发明的方法包括以下步骤:获取当前节点的数据处理任务;根据数据处理任务的任务类型及数据处理进度设置相应的数据状态;并根据数据处理任务的执行状态设置相应的任务状态;获取当前节点的一个或多个下游任务,基于下游任务的任务类型,适配下游任务所需的数据结构;基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型,判断是否开始运行下游任务,以进行数据处理任务的协同控制调度。
-
公开(公告)号:CN117828166A
公开(公告)日:2024-04-05
申请号:CN202311844404.4
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及基于统一搜索及大数据处理的分布式计算引擎,包括:统一接口模块、分布式执行模块和存储管理模块;统一接口模块用于接收计算任务,并进行任务解析,以根据任务解析得到的任务类型启动对应的计算引擎;分布式执行模块包括搜索计算引擎、图计算引擎和流计算引擎,分别用于读取并执行对应的计算任务;存储管理模块用于对搜索计算引擎、流计算引擎和图计算引擎对应的数据进行统一的数据表及存储管理。本发明解决了现有技术中的数据计算引擎在面对多种复杂的计算场景时,无法针对多类型的数据处理任务提供并行高效的实时计算,以进行实时快速响应的问题。
-
公开(公告)号:CN115509721B
公开(公告)日:2023-05-16
申请号:CN202211330158.6
申请日:2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统,属于数据处理技术领域;解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排,无法满足用户选择流数据或批数据处理任务类型时无感操作的要求;本发明的方法包括以下步骤:获取当前节点的数据处理任务;根据数据处理任务的任务类型及数据处理进度设置相应的数据状态;并根据数据处理任务的执行状态设置相应的任务状态;获取当前节点的一个或多个下游任务,基于下游任务的任务类型,适配下游任务所需的数据结构;基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型,判断是否开始运行下游任务,以进行数据处理任务的协同控制调度。
-
公开(公告)号:CN116992349A
公开(公告)日:2023-11-03
申请号:CN202311029925.4
申请日:2023-08-15
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/241 , G06F18/25 , G06F18/2415 , G06N3/0442 , G06N3/0464 , G06N3/047 , G06N3/08 , G08G3/02
Abstract: 本发明涉及一种基于深度学习的民船轨迹行为分析优化方法,属于船舶轨迹分析领域,解决了现有技术中仅使用AIS数据无法分析民船轨迹行为的问题。方法包括:获取待分析民船的AIS数据、待分析民船所在地的天气信息以及包括待分析民船所在海域的图像信息;对AIS数据、天气信息及海域的图像信息进行预处理,得到四组向量,分别为:AIS信息向量、天气信息向量、海上交通繁忙度向量以及民船吃水量向量,将四组向量输入训练好的民船轨迹分析模型得到民船轨迹分析结果。实现了精准分析民船轨迹,避免与其他船只发生碰撞或阻碍航行。
-
公开(公告)号:CN115906844B
公开(公告)日:2023-08-29
申请号:CN202211361916.0
申请日:2022-11-02
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F40/295 , G06F40/242 , G06F18/214
Abstract: 本发明涉及一种基于规则模板的信息抽取方法和系统,利用规则模板融合行业术语词典与自然语言处理中常见的命名实体识别模型进行信息抽取,具体包括:基于抽取需求训练命名实体识别模型,得到训练好的命名实体识别模型;基于所述抽取需求建立信息抽取规则模板;解析所述信息抽取规则模板,调用行业术语词典和训练好的所述命名实体识别模型,对待抽取文本进行信息抽取得到抽取结果。本发明通过配置规则模板,有效融合行业术语与命名实体识别模型,解决了单以信息抽取模型抽取的信息内容规范固定、不够灵活的问题;以及行业信息抽取常见的长文本抽取中,抽取的信息之间的顺序性、规则性、关联性关系,避免了单一信息抽取模型的信息割裂。
-
公开(公告)号:CN115438101B
公开(公告)日:2023-06-06
申请号:CN202211250887.0
申请日:2022-10-13
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/2458 , G06F16/215 , G06F16/22 , G06N20/00
Abstract: 本发明属于计算机科学的机器学习领域,尤其涉及一种基于特征形态和数据关系的数据特征构建系统和方法。本发明充分考虑了数据之间的关联性,根据数据之间的关联性构建DAG执行聚合图,并根据数据特征的统计值构建衍生的数据特征,然后根据DAG执行聚合图对数据特征进行聚合操作,对聚合后特征集进行过滤处理和降维处理。本发明通过DAG执行聚合图充分考虑了数据特征之间的关联性,通过构建衍生的数据特征满足了对业务多样性的适应,本发明的数据特征构建方法提高了特征的信息浓度,提升了数据特征构建的效率。
-
公开(公告)号:CN115586869A
公开(公告)日:2023-01-10
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN116992349B
公开(公告)日:2025-05-06
申请号:CN202311029925.4
申请日:2023-08-15
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/241 , G06F18/25 , G06F18/2415 , G06N3/0442 , G06N3/0464 , G06N3/047 , G06N3/08 , G08G3/02
Abstract: 本发明涉及一种基于深度学习的民船轨迹行为分析优化方法,属于船舶轨迹分析领域,解决了现有技术中仅使用AIS数据无法分析民船轨迹行为的问题。方法包括:获取待分析民船的AIS数据、待分析民船所在地的天气信息以及包括待分析民船所在海域的图像信息;对AIS数据、天气信息及海域的图像信息进行预处理,得到四组向量,分别为:AIS信息向量、天气信息向量、海上交通繁忙度向量以及民船吃水量向量,将四组向量输入训练好的民船轨迹分析模型得到民船轨迹分析结果。实现了精准分析民船轨迹,避免与其他船只发生碰撞或阻碍航行。
-
公开(公告)号:CN115599524A
公开(公告)日:2023-01-13
申请号:CN202211329376.8
申请日:2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所(CN)
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统,属于数据处理技术领域;解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排,效率低的问题;本发明的数据湖系统包括:集中式存储模块、计算引擎模块和数据管理模块;其中,集中式存储模块用于分类存储各个业务数据源的数据;数据管理模块用于进行数据处理任务编排,并基于预设的数据处理任务协同调度方法,对每个节点的数据处理任务进行调度处理;计算引擎模块用于基于数据处理任务需求,通过不同的计算引擎对集中式存储模块中的数据进行处理,并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
-
-
-
-
-
-
-
-