-
公开(公告)号:CN111078488B
公开(公告)日:2021-11-09
申请号:CN201811215823.0
申请日:2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F11/30
Abstract: 本发明公开了一种数据采集方法、装置、存储介质及系统,属于大数据技术领域。该方法应用于分布式数据采集系统的指定处理节点中,该方法包括:从多个采集节点的至少一个采集节点中获取采集到的数据集;通过异常检测模型对该数据集进行异常检测,确定该数据集中的异常数据;将该异常数据存储至该多个存储节点中的第一存储节点,该第一存储节点用于存储检测出的异常数据。本发明是根据采集的数据集进行训练得到的异常检测模型,能够反映出区分正常数据和异常数据的规律,学习到正常数据与异常数据之间的区分标准。通过异常检测模型对数据集进行异常检测,能够使得检测结果更加符合真实的异常数据,提高异常检测的准确率。
-
公开(公告)号:CN111382197A
公开(公告)日:2020-07-07
申请号:CN201811628668.5
申请日:2018-12-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种分区管理、数据存储和查询方法及装置、设备、介质,该分区管理方法,包括:在需创建第一分区时,确定在第一时间区间T1内存储数据所需的第一分区的数量N;所述T1的较小时间端点晚于当前时间t0;在数据库中创建所述N个第一分区,并将所述T1与所述第一分区的分区信息对应地记录在预设的分区信息表中。创建的分区是按照时间区间划分的,数据查询时只需查找时间区间对应的分区,有利于提升查找效率。
-
公开(公告)号:CN111078488A
公开(公告)日:2020-04-28
申请号:CN201811215823.0
申请日:2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F11/30
Abstract: 本发明公开了一种数据采集方法、装置、存储介质及系统,属于大数据技术领域。该方法应用于分布式数据采集系统的指定处理节点中,该方法包括:从多个采集节点的至少一个采集节点中获取采集到的数据集;通过异常检测模型对该数据集进行异常检测,确定该数据集中的异常数据;将该异常数据存储至该多个存储节点中的第一存储节点,该第一存储节点用于存储检测出的异常数据。本发明是根据采集的数据集进行训练得到的异常检测模型,能够反映出区分正常数据和异常数据的规律,学习到正常数据与异常数据之间的区分标准。通过异常检测模型对数据集进行异常检测,能够使得检测结果更加符合真实的异常数据,提高异常检测的准确率。
-
-