-
公开(公告)号:CN119583587A
公开(公告)日:2025-03-07
申请号:CN202411574175.3
申请日:2024-11-06
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 王嘉岩 , 葛晋鹏 , 孟英谦 , 杜宏博 , 鲁东民 , 李皓 , 李晓政 , 魏中锐 , 纪沈江 , 王强 , 张敏 , 徐天敕 , 邬书豪 , 吕鹏辉 , 张雪峰 , 黄昊 , 杨昊伟 , 饶雷
IPC: H04L67/12 , G06F18/24 , G06F18/25 , G06N3/045 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于深度学习与自适应优化的车辆集群动态分级存储方法,属于数据存储技术领域,解决了现有车辆数据存储系统面临的冷热数据分配不灵活、缓存管理效率低、异常检测能力弱以及冷数据长期存储效率低的问题。包括:获取车辆集群中各车辆的多源车辆数据并进行预处理,得到各车辆在同一时间轴的同步多源车辆数据;基于各车辆的同步多源车辆数据,使用多层次动态时效性及访问频率特征提取网络对同步多源数据进行分类,将各车辆数据标记为冷数据、热数据或中频数据;其中,所述多层次动态时效性及访问频率特征提取网络基于优先级评分对各车辆数据进行分类;构建多层动态缓存架构,对同步多源车辆数据基于标记结果进行动态多层次缓存存储。
-
公开(公告)号:CN117950764B
公开(公告)日:2024-09-17
申请号:CN202410139718.2
申请日:2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统,属于批流一体数据处理领域。本发明方法包括:基于数据处理任务确定相应的DAG图,DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向;基于DAG图执行数据处理任务,执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志,当所述执行结果标志为成功时,记录该任务算子形成的中间数据;其中,所述输入数据为从相应数据源中持续读取的批数据或流数据;在所述任务执行失败时,基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题,并提升任务重跑效率。
-
公开(公告)号:CN115586869B
公开(公告)日:2023-06-06
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN115509721A
公开(公告)日:2022-12-23
申请号:CN202211330158.6
申请日:2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统,属于数据处理技术领域;解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排,无法满足用户选择流数据或批数据处理任务类型时无感操作的要求;本发明的方法包括以下步骤:获取当前节点的数据处理任务;根据数据处理任务的任务类型及数据处理进度设置相应的数据状态;并根据数据处理任务的执行状态设置相应的任务状态;获取当前节点的一个或多个下游任务,基于下游任务的任务类型,适配下游任务所需的数据结构;基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型,判断是否开始运行下游任务,以进行数据处理任务的协同控制调度。
-
公开(公告)号:CN116992349B
公开(公告)日:2025-05-06
申请号:CN202311029925.4
申请日:2023-08-15
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/241 , G06F18/25 , G06F18/2415 , G06N3/0442 , G06N3/0464 , G06N3/047 , G06N3/08 , G08G3/02
Abstract: 本发明涉及一种基于深度学习的民船轨迹行为分析优化方法,属于船舶轨迹分析领域,解决了现有技术中仅使用AIS数据无法分析民船轨迹行为的问题。方法包括:获取待分析民船的AIS数据、待分析民船所在地的天气信息以及包括待分析民船所在海域的图像信息;对AIS数据、天气信息及海域的图像信息进行预处理,得到四组向量,分别为:AIS信息向量、天气信息向量、海上交通繁忙度向量以及民船吃水量向量,将四组向量输入训练好的民船轨迹分析模型得到民船轨迹分析结果。实现了精准分析民船轨迹,避免与其他船只发生碰撞或阻碍航行。
-
公开(公告)号:CN117828165A
公开(公告)日:2024-04-05
申请号:CN202311842554.1
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及一种分布式搜索计算引擎,包括:包括索引存储管理模块和搜索计算模块,其中:索引存储管理模块用于基于文档数据创建索引,将索引分为多个索引分片分散存储在多个物理分片上,物理分片上还存储有该索引分片对应的文档数据;物理分片的数量基于搜索集群各物理节点的性能和索引的数据量计算得到;搜索计算模块用于基于客户端输入的搜索关键词,通过查询操作在各个索引分片中进行关键词匹配及匹配度计算,得到多个匹配文档的文档ID;并通过取值操作,基于文档ID和路由公式,从对应的物理分片中获取得到匹配文档。本发明解决了现有技术中的搜索计算引擎没有考虑集群节点的性能和索引数据量,导致索引性能和集群性能受限的问题。
-
公开(公告)号:CN117332270A
公开(公告)日:2024-01-02
申请号:CN202311292970.9
申请日:2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06F16/21 , G06F16/22 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种基于零样本重放的增量学习方法,属于机器学习方法领域。该方法包括以下步骤:获取物联网设备的实时监控数据;构建物联网监控模型,利用所述物联网监控模型对所述监控数据进行预测得到预测后的监控数据;利用完善的标签体系对预测后的监控数据进行自动化标注;基于零样本重放的方法构建训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型;将标注后的监控数据输入训练好的物联网监控模型得到高亮显示的关键信息。该方法使用标注过的样本集进行模型训练,提高了模型抽取信息的准确率以及训练的效率;在增量学习过程中通过同时使用旧样本的样本特征和新样本,在避免产生灾难性遗忘的同时节省了数据存储的开销。
-
公开(公告)号:CN115599524A
公开(公告)日:2023-01-13
申请号:CN202211329376.8
申请日:2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所(CN)
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统,属于数据处理技术领域;解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排,效率低的问题;本发明的数据湖系统包括:集中式存储模块、计算引擎模块和数据管理模块;其中,集中式存储模块用于分类存储各个业务数据源的数据;数据管理模块用于进行数据处理任务编排,并基于预设的数据处理任务协同调度方法,对每个节点的数据处理任务进行调度处理;计算引擎模块用于基于数据处理任务需求,通过不同的计算引擎对集中式存储模块中的数据进行处理,并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
公开(公告)号:CN105912617A
公开(公告)日:2016-08-31
申请号:CN201610212763.1
申请日:2016-04-07
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F17/30
CPC classification number: G06F16/29
Abstract: 本发明属于车载嵌入式信息系统技术领域,涉及一种车载嵌入式地理信息系统及地理信息查询方法,所述系统包括顺次连接的地图预处理模块、数据存储管理模块和存储模块,以及与存储模块连接的地图查询模块和地图显示引擎模块。本发明通过支持满足标准测绘数据的新地图数据,支持地理信息查询,采用嵌入式实时数据保证效率和数据管理一致,提高了车辆信息化水平和地理环境掌控能力。
-
公开(公告)号:CN115438236B
公开(公告)日:2023-08-29
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
-
-
-
-
-
-
-
-