-
公开(公告)号:CN117828166A
公开(公告)日:2024-04-05
申请号:CN202311844404.4
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及基于统一搜索及大数据处理的分布式计算引擎,包括:统一接口模块、分布式执行模块和存储管理模块;统一接口模块用于接收计算任务,并进行任务解析,以根据任务解析得到的任务类型启动对应的计算引擎;分布式执行模块包括搜索计算引擎、图计算引擎和流计算引擎,分别用于读取并执行对应的计算任务;存储管理模块用于对搜索计算引擎、流计算引擎和图计算引擎对应的数据进行统一的数据表及存储管理。本发明解决了现有技术中的数据计算引擎在面对多种复杂的计算场景时,无法针对多类型的数据处理任务提供并行高效的实时计算,以进行实时快速响应的问题。
-
公开(公告)号:CN115438236B
公开(公告)日:2023-08-29
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
公开(公告)号:CN115438236A
公开(公告)日:2022-12-06
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
公开(公告)号:CN117332269A
公开(公告)日:2024-01-02
申请号:CN202311292957.3
申请日:2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/08 , G06F16/23
Abstract: 本发明涉及一种基于标签体系的结构化数据增量学习方法,属于自然语言处理领域。该方法包括以下步骤:建立初始标签体系,基于所述初始标签体系对结构化数据集进行人工标注,构建第一训练样本集;构建Bert模型,基于第一训练样本集对Bert模型进行训练得到训练好的Bert模型;将业务数据输入训练好的Bert模型得到相应的特征值,基于所述特征值得到完善的标签体系;构建物联网监控模型,利用所述物联网监控模型对业务数据进行预测得到预测后的业务数据;利用所述完善的标签体系对预测后的业务数据进行标注,构建第二训练样本集;基于第二训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型。该方法可自动生成业务所需的特征标签,利用完善的标签体系对业务数据进行标注,提高了模型的识别效果和训练效率。
-
公开(公告)号:CN117828165A
公开(公告)日:2024-04-05
申请号:CN202311842554.1
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及一种分布式搜索计算引擎,包括:包括索引存储管理模块和搜索计算模块,其中:索引存储管理模块用于基于文档数据创建索引,将索引分为多个索引分片分散存储在多个物理分片上,物理分片上还存储有该索引分片对应的文档数据;物理分片的数量基于搜索集群各物理节点的性能和索引的数据量计算得到;搜索计算模块用于基于客户端输入的搜索关键词,通过查询操作在各个索引分片中进行关键词匹配及匹配度计算,得到多个匹配文档的文档ID;并通过取值操作,基于文档ID和路由公式,从对应的物理分片中获取得到匹配文档。本发明解决了现有技术中的搜索计算引擎没有考虑集群节点的性能和索引数据量,导致索引性能和集群性能受限的问题。
-
公开(公告)号:CN117332270A
公开(公告)日:2024-01-02
申请号:CN202311292970.9
申请日:2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06F16/21 , G06F16/22 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种基于零样本重放的增量学习方法,属于机器学习方法领域。该方法包括以下步骤:获取物联网设备的实时监控数据;构建物联网监控模型,利用所述物联网监控模型对所述监控数据进行预测得到预测后的监控数据;利用完善的标签体系对预测后的监控数据进行自动化标注;基于零样本重放的方法构建训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型;将标注后的监控数据输入训练好的物联网监控模型得到高亮显示的关键信息。该方法使用标注过的样本集进行模型训练,提高了模型抽取信息的准确率以及训练的效率;在增量学习过程中通过同时使用旧样本的样本特征和新样本,在避免产生灾难性遗忘的同时节省了数据存储的开销。
-
-
-
-
-