一种毫秒级时序流数据精准切片方法

    公开(公告)号:CN113434547A

    公开(公告)日:2021-09-24

    申请号:CN202110703269.6

    申请日:2021-06-24

    Abstract: 本发明公开了一种毫秒级时序流数据精准切片方法。该方法分为四个部分:精准切片的创建、精准切片的聚合、聚合数据的持久化存储和毫秒级切片的查询。首先对时序流数据的处理,包括毫秒级精准切片的创建以及毫秒级精准切片内聚合计算和存储,其次是对时序流数据的查询。本发明提出的毫秒级时序流数据精准切片方法能够在毫秒级时间范围内精准地实时处理用户流式数据,利用不同时序下的切片聚合技术提升系统吞吐量和应对海量数据的高可用性,并根据时间局部性原则将切片聚合数据存入分布式数据库从而高效利用内存空间,最后优化设计了针对时序流数据的查询接口。

    一种轨道交通网络客流数据中图结构数据的实时查询方法

    公开(公告)号:CN110083609B

    公开(公告)日:2021-06-08

    申请号:CN201910350630.4

    申请日:2019-04-28

    Abstract: 本发明公开了一种轨道交通网络客流数据中图结构数据的实时查询方法,对带有属性和标签的数据图进行基于跳数的分区,并建立相关索引;输入查询图,计算查询图的半径并选取查询起始点;生成查询图的查询序列;在各个分区内根据查询图的查询起始点的特征过滤出满足条件的数据图的查询起始点;进行级联式的图查询过程;收集所有分区的查询结果,完成分布式图查询过程。本发明在跨分区查询过程中传输查询图而不传输数据图,进而减少了数据传输量;级联查询过程基于起始点而不在整个数据图范围内进行,进而大幅降低了查询范围;采用异步并发和查询时结果集检测,能够最大化查询效率,从而能够满足轨道交通网络客流数据中图结构数据的实时查询处理需求。

    一种时序数据的复杂事件处理方法及系统

    公开(公告)号:CN111984861A

    公开(公告)日:2020-11-24

    申请号:CN202010754365.9

    申请日:2020-07-30

    Abstract: 本发明公开了一种时序数据的复杂事件处理方法及系统,首先定义复杂事件模式,包括复杂事件标签序列和相邻标签间的时间距离限定,获取到事件的标签和时间戳后,读取计算机存储器中的中间结果并进行归并处理,最后进行复杂事件判定,查询的判定结果不仅包括复杂事件是否触发,还包括触发次数。本发明克服了现有技术方案中耗时长、效率低的缺陷,能快速地进行海量时序数据的复杂事件处理,另外,本发明提前计算好了中间结果,所以在查询时避免了大量无用的计算机重复运算,响应速度极快;此外,中间结果是跟着系统时间移动而不断变化的,能够达到时间窗口平滑移动的目的。本发明能够显著提升时序数据的复杂事件处理的效率。

    一种基于事件驱动的图模式逆向实时匹配方法

    公开(公告)号:CN111737538A

    公开(公告)日:2020-10-02

    申请号:CN202010750714.X

    申请日:2020-07-30

    Abstract: 本发明公开了一种基于事件驱动的图模式逆向实时匹配方法,该方法包括图模式的定义、逆向匹配架构的建立和逆向匹配方法;图模式用于以逆向顺序描述图中顶点和边的空间连接关系及其属性约束,包括匹配步骤链表和匹配上下文,依据逆向匹配架构实现图模式逆向实时匹配,解决实时场景下基于事件驱动的子图匹配的问题。本发明可以在秒级完成固定顶点子图匹配问题,并且实现了性能和准确率的有效平衡,支持大量图模式并发匹配,可用于增强现有的图计算引擎,支持包括金融、电商、物流、公安等领域的实时图匹配和查询分析等场景。

    一种基于列式存储的时序数据库系统

    公开(公告)号:CN110362572A

    公开(公告)日:2019-10-22

    申请号:CN201910554845.8

    申请日:2019-06-25

    Abstract: 本发明公开了一种基于列式存储的时序数据库系统,包括SQL解析器:将SQL通过解析转换为抽象语法树;逻辑计划生成器:利用抽象语法树生成逻辑查询计划,逻辑查询计划由关系代数表示;查询优化器:利用数据库的状态信息进行查询计划的优化,输出改写后的查询计划;执行器:以块迭代方式执行查询计划,负责与存储层进行交互,获取用户查询的数据;存储引擎:以行+列的方式存储数据。本发明采用列方式存储数据库中的数据,并基于列存储与rocksdb的结合实现了高速插入数据特性与传统数据库的索引功能,在执行器方面,改进了部分算子以与存储引擎的特性深度结合,同时利用现代处理器的新特性为查询加速。

    一种基于大数据的智能案防系统

    公开(公告)号:CN110264336A

    公开(公告)日:2019-09-20

    申请号:CN201910448366.8

    申请日:2019-05-28

    Abstract: 本发明公开了一种基于大数据的智能案防系统,该系统包括管理平台、spark大数据平台、分析引擎、数据预处理引擎、指标引擎、训练引擎和决策引擎。本发明将规则进行细粒度拆分,进行了指标化,进一步提升规则的准确度;指标引擎采用的流处理技术能对原始数据进行特征单点快速提取和计算,从海量原始数据中得到有代表性的特征,充分提取数据中的信息;模型训练使用多种优化过的机器学习模型和集成学习框架,能够克服单个模型过拟合、不稳定的缺陷;智能决策双核引擎订阅规则和模型,两者并行运行,互相补充,可实时判断业务数据和规则和模型的匹配度,提升风险识别能力;基于知识图谱,能够通过关联分析和模型分析快速定位可疑的风险数据。

    一种对时序数据统计递增次数与递减次数的处理方法

    公开(公告)号:CN110008544A

    公开(公告)日:2019-07-12

    申请号:CN201910219684.7

    申请日:2019-03-21

    Abstract: 本发明公开了一种对时序数据统计递增次数与递减次数的处理方法,本发明预先对数据序列分组,然后计算每个分组的累计递增与递减次数、首元素、尾元素,把中间结果存储在相应时间戳上,查询时根据指定的时间戳快速得到计算结果;首先,中间结果的存储位置灵活多变,满足各种场景的需求;由于存储结果是计算后的中间结果,内存耗费降低,存储效率很高,因为已经提前计算好了中间结果,所以在获取对应的递增次数与递减次数时响应速度极快;最为重要的是,这部分结果跟着系统时间移动而不断变化,能够达到所需的递增次数与递减次数随时间窗口平滑移动的目的。本发明适用于时序数据处理技术等数据分析领域,能够显著提升统计递增次数与递减次数的速度。

    一种校验传输数据安全性的方法

    公开(公告)号:CN109862030A

    公开(公告)日:2019-06-07

    申请号:CN201910164813.7

    申请日:2019-03-05

    Abstract: 本发明公开了一种校验传输数据安全性的方法,该方法通过创建自定义算法模型保存算法名称及对应的执行逻辑。根据算法模型,在服务端生成算法执行序列、执行代号、执行序列的有效期限并生成可执行文件,由服务端发送至客户端。客户端根据可执行文件中执行序列,对需要上报的字符串内容进行计算,生成一段校验码A,客户端将校验码A、执行代号与对应的字符串内容一起发给服务端。服务端校验上报的执行代号是否在有效期限内,若在有效期限内,则服务端根据执行代号及对应执行序列计算上报的内容,生成校验码B,若校验码A与校验码B相同,则认为上报内容安全,否则认为上报内容不安全。本发明可同时验证数据来源的安全性和时效性。

Patent Agency Ranking