公开(公告)号：CN117828165A

公开(公告)日：2024-04-05

申请号：CN202311842554.1

申请日：2023-12-28

Applicant: 中国兵器工业计算机应用技术研究所

Inventor： 李旭光 ,  彭龙 ,  邵鹏志 ,  鲁东民 ,  杜宏博 ,  薛行 ,  饶雷 ,  郭亚辉 ,  张敏 ,  王静阳 ,  邬书豪 ,  宋伟梁 ,  李晓政

IPC: G06F16/9532 ,  G06F16/332 ,  G06F16/31 ,  G06F16/182 ,  G06F9/50

Abstract: 本发明涉及一种分布式搜索计算引擎，包括：包括索引存储管理模块和搜索计算模块，其中：索引存储管理模块用于基于文档数据创建索引，将索引分为多个索引分片分散存储在多个物理分片上，物理分片上还存储有该索引分片对应的文档数据；物理分片的数量基于搜索集群各物理节点的性能和索引的数据量计算得到；搜索计算模块用于基于客户端输入的搜索关键词，通过查询操作在各个索引分片中进行关键词匹配及匹配度计算，得到多个匹配文档的文档ID；并通过取值操作，基于文档ID和路由公式，从对应的物理分片中获取得到匹配文档。本发明解决了现有技术中的搜索计算引擎没有考虑集群节点的性能和索引数据量，导致索引性能和集群性能受限的问题。

公开(公告)号：CN117806781A

公开(公告)日：2024-04-02

申请号：CN202311842540.X

申请日：2023-12-28

Applicant: 中国兵器工业计算机应用技术研究所

Inventor： 鲁东民 ,  彭龙 ,  孟英谦 ,  张敏 ,  李旭光 ,  李胜昌 ,  葛晋鹏 ,  徐天敕 ,  米丽媛 ,  郭亚辉 ,  宋伟梁 ,  丁建阳 ,  邬书豪

IPC: G06F9/46 ,  G06F9/48 ,  G06F9/50

Abstract: 本发明涉及种一种分布式流处理任务调度方法及设备，该方法包括：基于流处理任务中的多个待执行的任务信息，通过控制模块生成有向无环图；并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点；获取各个物理计算节点的资源使用率，并基于资源使用率判断是否需要对对应的物理计算节点的任务进行任务调度；若判定需要进行任务调度，则基于每个物理计算节点的资源信息，计算得到各个物理计算节点对应的任务调度优先级，并基于任务调度优先级最高的物理计算节点对待调度的任务进行任务调度。本发明解决了现有技术中的流处理任务调度时没有考虑硬件资源的限制，导致数据处理瓶颈，进而引起数据处理延迟的问题。