基于低水位滑动时间窗口的离群数据发现方法及系统

    公开(公告)号:CN107124329B

    公开(公告)日:2020-05-05

    申请号:CN201710284487.4

    申请日:2017-04-25

    Applicant: 济南大学

    Abstract: 本发明公开了基于低水位滑动时间窗口的离群数据发现方法及系统;包括:数据分发:接收外部数据流,然后将外部数据流分发给各个数据处理节点;数据处理:数据处理节点对接收到的外部数据流进行处理;定义低水位滑动时间窗口,以时间戳为水平坐标轴,随着时间推移,低水位滑动时间窗口在时间戳水平坐标轴上从左往右不断移动,在任意时间点,低水位滑动时间窗口水平坐标轴上方为未处理数据,水平坐标轴下方为已处理数据;然后根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据;数据聚合:将数据处理的结果进行汇总进行输出。区分可丢弃数据、离群数据与正常待处理数据,提高数据处理可靠性,加速故障恢复。

    基于低水位滑动时间窗口的离群数据发现方法及系统

    公开(公告)号:CN107124329A

    公开(公告)日:2017-09-01

    申请号:CN201710284487.4

    申请日:2017-04-25

    Applicant: 济南大学

    Abstract: 本发明公开了基于低水位滑动时间窗口的离群数据发现方法及系统;包括:数据分发:接收外部数据流,然后将外部数据流分发给各个数据处理节点;数据处理:数据处理节点对接收到的外部数据流进行处理;定义低水位滑动时间窗口,以时间戳为水平坐标轴,随着时间推移,低水位滑动时间窗口在时间戳水平坐标轴上从左往右不断移动,在任意时间点,低水位滑动时间窗口水平坐标轴上方为未处理数据,水平坐标轴下方为已处理数据;然后根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据;数据聚合:将数据处理的结果进行汇总进行输出。区分可丢弃数据、离群数据与正常待处理数据,提高数据处理可靠性,加速故障恢复。

    面向时空数据k近邻查询的分布式计算平台及查询方法

    公开(公告)号:CN105893605A

    公开(公告)日:2016-08-24

    申请号:CN201610259255.9

    申请日:2016-04-25

    Applicant: 济南大学

    Abstract: 本发明公开了一种面向时空数据k近邻查询的分布式计算平台及查询方法,该平台包括全局索引数据管理模块,其与数据接入分发模块、时空数据索引模块和查询并行处理模块进行交互数据,用来支撑分布式动态两级索引结构;数据接入分发模块,其用于实时接入连续到达的时空数据和时空数据查询,根据分布式动态两级索引结构将时空数据和时空数据查询分别分发至时空数据索引模块和查询并行处理模块;时空数据索引模块,其对相应查询区域内的时空数据建立索引,实时更新时空数据的位置信息,并将更新的时空数据位置信息实时发送至查询并行处理模块;查询并行处理模块,其根据更新的时空数据位置信息,并行处理接收的时空数据查询,输出时空数据查询结果。

    一种概率主题计算与匹配的舆情监测方法及系统

    公开(公告)号:CN107066585B

    公开(公告)日:2019-10-01

    申请号:CN201710248537.3

    申请日:2017-04-17

    Applicant: 济南大学

    Abstract: 本发明公开了一种概率主题计算与匹配的舆情监测方法及系统;包括:数据采集解析:利用爬虫集群从数据源中采集页面HTML,然后爬虫集群依据规则库对采集到的页面HTML进行解析得到若干条媒体数据;爬虫集群采用异步方式将解析得到的文档存储在全文检索系统,采用同步方法将解析得到的文档进行主题匹配;中文分词:从全文检索系统中读取文档,将每个文档的标题与内容合并,对合并后的内容进行分词,分词后去掉停用词;主题估计:对分词后的内容估计出主题库与历史文档主题集;主题匹配:将数据采集实时推送的文档推断出实际文档主题集,并将实际文档主题集与用户输入的舆情监测关键词进行匹配,得到有序文档集,从而实现舆情监测。

    面向时空数据k近邻查询的分布式计算平台及查询方法

    公开(公告)号:CN105893605B

    公开(公告)日:2019-02-22

    申请号:CN201610259255.9

    申请日:2016-04-25

    Applicant: 济南大学

    Abstract: 本发明公开了一种面向时空数据k近邻查询的分布式计算平台及查询方法,该平台包括全局索引数据管理模块,其与数据接入分发模块、时空数据索引模块和查询并行处理模块进行交互数据,用来支撑分布式动态两级索引结构;数据接入分发模块,其用于实时接入连续到达的时空数据和时空数据查询,根据分布式动态两级索引结构将时空数据和时空数据查询分别分发至时空数据索引模块和查询并行处理模块;时空数据索引模块,其对相应查询区域内的时空数据建立索引,实时更新时空数据的位置信息,并将更新的时空数据位置信息实时发送至查询并行处理模块;查询并行处理模块,其根据更新的时空数据位置信息,并行处理接收的时空数据查询,输出时空数据查询结果。

    基于混合高斯模型的移动对象连续k近邻查询方法及系统

    公开(公告)号:CN108614889B

    公开(公告)日:2020-02-14

    申请号:CN201810420518.9

    申请日:2018-05-04

    Applicant: 济南大学

    Abstract: 本发明公开了基于混合高斯模型的移动对象连续k近邻查询方法及系统,构建面向全局移动对象的网格索引,基于所建立的网格索引,为查询点计算初始查询区域;构造混合高斯模型,用于模拟移动对象的位置分布,并根据移动对象位置变化对混合高斯模型进行实时更新;当查询点移动时,基于所述混合高斯模型,确定包含移动后查询点k近邻的最终查询区域;基于最终查询区域,计算移动后查询点的k近邻。本发明所提出的基于混合高斯模型的移动对象连续k近邻查询方法,在查询点和被查询对象连续移动情形下,基于已有查询结果快速计算查询点移动后的查询范围,实现对最新查询结果的实时更新,查询效率显著提高。

    基于混合高斯模型的移动对象连续k近邻查询方法及系统

    公开(公告)号:CN108614889A

    公开(公告)日:2018-10-02

    申请号:CN201810420518.9

    申请日:2018-05-04

    Applicant: 济南大学

    Abstract: 本发明公开了基于混合高斯模型的移动对象连续k近邻查询方法及系统,构建面向全局移动对象的网格索引,基于所建立的网格索引,为查询点计算初始查询区域;构造混合高斯模型,用于模拟移动对象的位置分布,并根据移动对象位置变化对混合高斯模型进行实时更新;当查询点移动时,基于所述混合高斯模型,确定包含移动后查询点k近邻的最终查询区域;基于最终查询区域,计算移动后查询点的k近邻。本发明所提出的基于混合高斯模型的移动对象连续k近邻查询方法,在查询点和被查询对象连续移动情形下,基于已有查询结果快速计算查询点移动后的查询范围,实现对最新查询结果的实时更新,查询效率显著提高。

    一种概率主题计算与匹配的舆情监测方法及系统

    公开(公告)号:CN107066585A

    公开(公告)日:2017-08-18

    申请号:CN201710248537.3

    申请日:2017-04-17

    Applicant: 济南大学

    Abstract: 本发明公开了一种概率主题计算与匹配的舆情监测方法及系统;包括:数据采集解析:利用爬虫集群从数据源中采集页面HTML,然后爬虫集群依据规则库对采集到的页面HTML进行解析得到若干条媒体数据;爬虫集群采用异步方式将解析得到的文档存储在全文检索系统,采用同步方法将解析得到的文档进行主题匹配;中文分词:从全文检索系统中读取文档,将每个文档的标题与内容合并,对合并后的内容进行分词,分词后去掉停用词;主题估计:对分词后的内容估计出主题库与历史文档主题集;主题匹配:将数据采集实时推送的文档推断出实际文档主题集,并将实际文档主题集与用户输入的舆情监测关键词进行匹配,得到有序文档集,从而实现舆情监测。

Patent Agency Ranking