公开(公告)号：CN114385658A

公开(公告)日：2022-04-22

申请号：CN202210069985.8

申请日：2022-01-21

Applicant: 上海观安信息技术股份有限公司

Inventor： 张明明 ,  胡绍勇

IPC: G06F16/23 ,  G06F16/25 ,  G06F16/182

Abstract: 本发明公开一种数据分析结果的实时更新方法、系统及计算机存储介质。其中，该方法包括：获取当前时段相对于上一时段的当前增量数据；对当前增量数据通过数据处理模块进行数据处理；将数据处理后的当前增量数据缓存在增量处理模块中；将缓存后的数据写入数据仓中以实时得到当前时段的分析结果。本发明通过在数据处理模块与数据仓之间设置增量处理模块，在增量处理模块的磁盘中对数据处理后的数据缓存，解决了现有技术中数仓基础架构难以较好适应数据量的不断增长，带来成本浪费和更新效率低的问题。并且当判定每次磁盘中缓存的数据量与对应的磁盘中存储的数据量之比达到预设阈值后，再将缓存后的数据写入数据仓中，提高了磁盘的资源利用率。

公开(公告)号：CN113986902A

公开(公告)日：2022-01-28

申请号：CN202111269523.2

申请日：2021-10-29

Applicant: 上海观安信息技术股份有限公司

Inventor： 戴泽乐 ,  王跃跃 ,  张明明 ,  胡绍勇

IPC: G06F16/215 ,  G06F16/2455 ,  G06F16/25 ,  G06F16/182

Abstract: 本申请公开了一种多数据源数据的处理系统以及多数据源数据的处理方法，涉及计算技术领域，可实现对多数据源数据的统一处理，降低数据维护成本。所述系统采用分时、分布式设计，所述系统包括：任务管理模块、采集引擎模块、数据处理模块；所述采集引擎模块，一端与所述任务管理模块连接，另一端与不同数据源会话连接，用于接收所述任务管理模块下发的数据采集指令，并响应于所述数据采集指令采集目标数据；所述数据处理模块，一端与所述任务管理模块连接，另一端与所述采集引擎模块连接，用于在所述采集引擎模块提取所述目标数据，在所述任务管理模块拉取与所述目标数据匹配的数据处理规则，并利用所述数据处理规则格式化处理所述目标数据。

公开(公告)号：CN114282529A

公开(公告)日：2022-04-05

申请号：CN202111465328.7

申请日：2021-12-03

Applicant: 上海观安信息技术股份有限公司

Inventor： 张明明 ,  胡绍勇

IPC: G06F40/253 ,  G06F16/33

Abstract: 本发明公开一种语法查询方法、系统及计算机存储介质。其中，该方法包括：根据预设需求建立自定义语法规则，自定义语法规则包括多个与弹性搜索Elasticsearch中的查询模块一一对应的关键字和标识符；对自定义语法规则做词法分析，得到顺序的二元组列表以及将二元组列表进行语法分析得到预测分析表；根据预测分析表对应的各个语法单元编写与各个语法单元对应的DSL格式语法的接口，并根据DSL格式语法的接口将二元组列表中的各单词生成与各接口对应的多个DSL语句；分别对多个DSL语句进行增强语句分析，生成自定义语法。本发明中通过建立自定义语法规则，解决了DSL语法复杂、语义不容易理解、结构冗长的问题，通过使用统一的接口，减少了开发人员开发多个接口的工作量。