-
公开(公告)号:CN115438236B
公开(公告)日:2023-08-29
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
公开(公告)号:CN116150263B
公开(公告)日:2023-07-25
申请号:CN202211240196.2
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎,属于涉及图计算技术领域,解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括:分布式图存储引擎模块,采用“多Master‑多Worker”的方式构建分布式图数据库系统,用于对图数据进行管控及数据处理操作;Cyper编译器,用于实现标准OpenCypher语言的语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;分布式图执行引擎模块,用于为用户提供实时图查询和离线图分析服务;图分析算法模块,用于构建图谱挖掘模型;OpenCypher接口模块,用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号:CN116150263A
公开(公告)日:2023-05-23
申请号:CN202211240196.2
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎,属于涉及图计算技术领域,解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括:分布式图存储引擎模块,采用“多Master‑多Worker”的方式构建分布式图数据库系统,用于对图数据进行管控及数据处理操作;Cyper编译器,用于实现标准OpenCypher语言的语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;分布式图执行引擎模块,用于为用户提供实时图查询和离线图分析服务;图分析算法模块,用于构建图谱挖掘模型;OpenCypher接口模块,用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号:CN115438236A
公开(公告)日:2022-12-06
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
公开(公告)号:CN118113424A
公开(公告)日:2024-05-31
申请号:CN202311844662.2
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种分布式流计算引擎,包括:控制节点模块,计算节点模块和Zookeeper集群模块;计算节点模块包括多个物理计算节点,用于监测和执行对应的流计算任务;Zookeeper集群模块部署在多个服务器上,用于存储多个物理计算节点的所有状态信息和任务信息,以供计算节点模块和控制节点模块进行实时监控调用;控制节点模块用于基于流处理任务生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理,并基于每个物理计算节点的资源信息进行任务调度,以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈,进而引起数据处理延迟的问题。
-
公开(公告)号:CN115586869A
公开(公告)日:2023-01-10
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN117806781A
公开(公告)日:2024-04-02
申请号:CN202311842540.X
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及种一种分布式流处理任务调度方法及设备,该方法包括:基于流处理任务中的多个待执行的任务信息,通过控制模块生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点;获取各个物理计算节点的资源使用率,并基于资源使用率判断是否需要对对应的物理计算节点的任务进行任务调度;若判定需要进行任务调度,则基于每个物理计算节点的资源信息,计算得到各个物理计算节点对应的任务调度优先级,并基于任务调度优先级最高的物理计算节点对待调度的任务进行任务调度。本发明解决了现有技术中的流处理任务调度时没有考虑硬件资源的限制,导致数据处理瓶颈,进而引起数据处理延迟的问题。
-
公开(公告)号:CN115586869B
公开(公告)日:2023-06-06
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN115562676B
公开(公告)日:2023-06-06
申请号:CN202211240180.1
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 杜宏博 , 彭龙 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
Abstract: 本发明提供了一种图计算引擎的触发方法,属于图计算技术领域,解决了现有图计算引擎的编译过程执行效率较差的问题。触发方法包括:接收OpenCypher操作指令;启动Cypher编译器,对OpenCypher操作指令进行语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;向GraphMaster进行注册并申请资源;GraphMaster根据物理执行计划获取待执行任务,将待执行任务分解成多个一级任务,并将各一级任务分配给不同的GraphSlave;GraphSlave将接收到的一级任务分解成多个二级任务,并将各二级任务分配给不同的Worker,由Worker执行相应二级任务;所有待执行任务完成后,向GraphMaster申请资源注销,等待接收下一次OpenCypher操作指令。
-
公开(公告)号:CN115562676A
公开(公告)日:2023-01-03
申请号:CN202211240180.1
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 杜宏博 , 彭龙 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
Abstract: 本发明提供了一种图计算引擎的触发方法,属于图计算技术领域,解决了现有图计算引擎的编译过程执行效率较差的问题。触发方法包括:接收OpenCypher操作指令;启动Cypher编译器,对OpenCypher操作指令进行语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;向GraphMaster进行注册并申请资源;GraphMaster根据物理执行计划获取待执行任务,将待执行任务分解成多个一级任务,并将各一级任务分配给不同的GraphSlave;GraphSlave将接收到的一级任务分解成多个二级任务,并将各二级任务分配给不同的Worker,由Worker执行相应二级任务;所有待执行任务完成后,向GraphMaster申请资源注销,等待接收下一次OpenCypher操作指令。
-
-
-
-
-
-
-
-
-