-
公开(公告)号：CN117828165A
公开(公告)日：2024-04-05
申请号：CN202311842554.1
申请日：2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及一种分布式搜索计算引擎，包括：包括索引存储管理模块和搜索计算模块，其中：索引存储管理模块用于基于文档数据创建索引，将索引分为多个索引分片分散存储在多个物理分片上，物理分片上还存储有该索引分片对应的文档数据；物理分片的数量基于搜索集群各物理节点的性能和索引的数据量计算得到；搜索计算模块用于基于客户端输入的搜索关键词，通过查询操作在各个索引分片中进行关键词匹配及匹配度计算，得到多个匹配文档的文档ID；并通过取值操作，基于文档ID和路由公式，从对应的物理分片中获取得到匹配文档。本发明解决了现有技术中的搜索计算引擎没有考虑集群节点的性能和索引数据量，导致索引性能和集群性能受限的问题。
-
公开(公告)号：CN118069291B
公开(公告)日：2025-01-14
申请号：CN202410176473.0
申请日：2024-02-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/455 , H04L67/1001 , G06F9/50
Abstract: 本发明涉及一种基于业务和结果导向的弹性扩缩容方法，属于云计算技术领域。本发明方法包括：基于历史扩容数据预测当天负载高峰时段，基于各负载高峰时段对应的历史扩容数据和当天的任务信息确定各负载高峰时段的计划扩容执行时间和计划扩容策略；在各计划扩容策略执行的过程中，基于实时监控的业务指标值和系统性能指标值调整各计划扩容策略，并将调整后扩容策略记录至所述负载高峰时段对应的扩容数据中；其他时段，基于实时监控的业务指标值和系统性能指标值执行实时扩容和缩容并记录至相应时段对应的扩容数据中。本发明方法可以解决现有技术中扩缩容不能满足业务预期效果、扩缩容滞后以及当负载波动大时造成的性能损耗和不稳定问题。
-
公开(公告)号：CN118113424A
公开(公告)日：2024-05-31
申请号：CN202311844662.2
申请日：2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种分布式流计算引擎，包括：控制节点模块，计算节点模块和Zookeeper集群模块；计算节点模块包括多个物理计算节点，用于监测和执行对应的流计算任务；Zookeeper集群模块部署在多个服务器上，用于存储多个物理计算节点的所有状态信息和任务信息，以供计算节点模块和控制节点模块进行实时监控调用；控制节点模块用于基于流处理任务生成有向无环图；并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理，并基于每个物理计算节点的资源信息进行任务调度，以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈，进而引起数据处理延迟的问题。
-
公开(公告)号：CN115586869A
公开(公告)日：2023-01-10
申请号：CN202211193073.8
申请日：2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法，属于数据处理技术领域；解决现有技术中的自组网系统硬件存储成本高，且现有的流数据处理方法处理速度慢的问题；本发明的系统包括至少一种数据采集设备、客户端和服务器；其中，至少一种数据采集设备用于采集得到流数据，并通过无线链路向服务器发送写数据请求；客户端用于向服务器发送读数据请求；服务器包括存储器和处理器；处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储，并在接收到读数据请求时，按预设的流程读取存储器中存储的数据到客户端；冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号：CN115438236B
公开(公告)日：2023-08-29
申请号：CN202211196900.9
申请日：2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法，属于数据处理技术领域；解决了现有技术中在进行关键词搜索时，需要全方位进行搜索，导致对于搜索资源占用过大，搜索进度缓慢，在多人同时搜索是易导致搜索引擎崩溃的问题；本发明的方法包括获取待搜索关键词；通过设置的优先级，对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索；当搜索得到符合的热数据或冷数据关键词时，则对所述关键词及关键词所对应的数据源地址进行显示处理，得到搜索结果；其中，所述数据源地址与对应的关键词超链接。
-
Patent Agency Ranking
公开(公告)号：CN116150263B
公开(公告)日：2023-07-25
申请号：CN202211240196.2
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎，属于涉及图计算技术领域，解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括：分布式图存储引擎模块，采用“多Master‑多Worker”的方式构建分布式图数据库系统，用于对图数据进行管控及数据处理操作；Cyper编译器，用于实现标准OpenCypher语言的语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；分布式图执行引擎模块，用于为用户提供实时图查询和离线图分析服务；图分析算法模块，用于构建图谱挖掘模型；OpenCypher接口模块，用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号：CN116150263A
公开(公告)日：2023-05-23
申请号：CN202211240196.2
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎，属于涉及图计算技术领域，解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括：分布式图存储引擎模块，采用“多Master‑多Worker”的方式构建分布式图数据库系统，用于对图数据进行管控及数据处理操作；Cyper编译器，用于实现标准OpenCypher语言的语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；分布式图执行引擎模块，用于为用户提供实时图查询和离线图分析服务；图分析算法模块，用于构建图谱挖掘模型；OpenCypher接口模块，用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号：CN115438236A
公开(公告)日：2022-12-06
申请号：CN202211196900.9
申请日：2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法，属于数据处理技术领域；解决了现有技术中在进行关键词搜索时，需要全方位进行搜索，导致对于搜索资源占用过大，搜索进度缓慢，在多人同时搜索是易导致搜索引擎崩溃的问题；本发明的方法包括获取待搜索关键词；通过设置的优先级，对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索；当搜索得到符合的热数据或冷数据关键词时，则对所述关键词及关键词所对应的数据源地址进行显示处理，得到搜索结果；其中，所述数据源地址与对应的关键词超链接。
-
公开(公告)号：CN119583587A
公开(公告)日：2025-03-07
申请号：CN202411574175.3
申请日：2024-11-06
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 王嘉岩 , 葛晋鹏 , 孟英谦 , 杜宏博 , 鲁东民 , 李皓 , 李晓政 , 魏中锐 , 纪沈江 , 王强 , 张敏 , 徐天敕 , 邬书豪 , 吕鹏辉 , 张雪峰 , 黄昊 , 杨昊伟 , 饶雷
IPC: H04L67/12 , G06F18/24 , G06F18/25 , G06N3/045 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于深度学习与自适应优化的车辆集群动态分级存储方法，属于数据存储技术领域，解决了现有车辆数据存储系统面临的冷热数据分配不灵活、缓存管理效率低、异常检测能力弱以及冷数据长期存储效率低的问题。包括：获取车辆集群中各车辆的多源车辆数据并进行预处理，得到各车辆在同一时间轴的同步多源车辆数据；基于各车辆的同步多源车辆数据，使用多层次动态时效性及访问频率特征提取网络对同步多源数据进行分类，将各车辆数据标记为冷数据、热数据或中频数据；其中，所述多层次动态时效性及访问频率特征提取网络基于优先级评分对各车辆数据进行分类；构建多层动态缓存架构，对同步多源车辆数据基于标记结果进行动态多层次缓存存储。
-
公开(公告)号：CN117950764B
公开(公告)日：2024-09-17
申请号：CN202410139718.2
申请日：2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统，属于批流一体数据处理领域。本发明方法包括：基于数据处理任务确定相应的DAG图，DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，当所述执行结果标志为成功时，记录该任务算子形成的中间数据；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题，并提升任务重跑效率。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.034 seconds)
