-
公开(公告)号：CN111104569B
公开(公告)日：2023-10-20
申请号：CN201811253560.2
申请日：2018-10-25
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/9032 , G06F16/901
Abstract: 本发明公开了一种数据库表的区域切分方法、装置及存储介质，属于数据库技术领域。该方法包括：确定数据库表在第一时间周期内的第一数据量和在第二时间周期内的第二数据量，第一时间周期和第二时间周期在待存储数据对应的目标时间周期之前；调用目标网络模型，将第一数据量和第二数据量输入至目标网络模型中，输出目标时间周期内的第三数据量，目标网络模型用于基于上一时间周期和当前时间周期内的数据量对下一时间周期的数据量进行预测；基于目标时间周期内的第三数据量，确定目标区域个数，基于目标区域个数对数据库表中用于存储待存储数据的区域进行切分。本发明可以避免出现由于数据分布不均匀导致需要数据迁移的问题，提高了数据存储性能。
-
公开(公告)号：CN110555012A
公开(公告)日：2019-12-10
申请号：CN201810458295.5
申请日：2018-05-14
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明公开了一种数据迁移方法及装置，属于数据库领域。所述方法包括：获取源数据表中待迁移的目标数据的数据描述信息；创建与关系型数据库之间的M个数据连接以及N个数据处理任务；将该数据描述信息进行分批和分片的划分，得到多批描述信息；从多批描述信息中选择出一批描述信息，对选择出的一批描述信息执行如下处理，直至处理完多批描述信息为止：通过M个数据连接并行地从源数据表中依次获取与选择出的一批描述信息包括的多个分片描述信息对应的多个分片数据，并通过N个数据处理任务对多个分片数据并行进行处理，将处理后的多个分片数据加载至目标数据表中，如此，可以提高数据库的数据迁移效率，避免了对数据迁移装置的处理性能的影响。
-
公开(公告)号：CN110109892A
公开(公告)日：2019-08-09
申请号：CN201810071341.6
申请日：2018-01-25
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种数据迁移方法、装置及电子设备，所述方法包括：通过分布式内存组件Spark读取Solr系统中已存储的Solr数据；获取已配置的Solr数据与目标数据库表结构的对应关系；根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中。本发明实施例中，采用分布式内存组件Spark读取Solr系统中已存储的Solr数据，进而将读取的Solr数据加载到另一数据库中，Solr数据迁移过程中和Solr服务无交互，从而不影响Solr服务的正常使用。
-
公开(公告)号：CN110555012B
公开(公告)日：2022-03-25
申请号：CN201810458295.5
申请日：2018-05-14
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明公开了一种数据迁移方法及装置，属于数据库领域。所述方法包括：获取源数据表中待迁移的目标数据的数据描述信息；创建与关系型数据库之间的M个数据连接以及N个数据处理任务；将该数据描述信息进行分批和分片的划分，得到多批描述信息；从多批描述信息中选择出一批描述信息，对选择出的一批描述信息执行如下处理，直至处理完多批描述信息为止：通过M个数据连接并行地从源数据表中依次获取与选择出的一批描述信息包括的多个分片描述信息对应的多个分片数据，并通过N个数据处理任务对多个分片数据并行进行处理，将处理后的多个分片数据加载至目标数据表中，如此，可以提高数据库的数据迁移效率，避免了对数据迁移装置的处理性能的影响。
-
公开(公告)号：CN111104569A
公开(公告)日：2020-05-05
申请号：CN201811253560.2
申请日：2018-10-25
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/9032 , G06F16/901
Abstract: 本发明公开了一种数据库表的区域切分方法、装置及存储介质，属于数据库技术领域。该方法包括：确定数据库表在第一时间周期内的第一数据量和在第二时间周期内的第二数据量，第一时间周期和第二时间周期在待存储数据对应的目标时间周期之前；调用目标网络模型，将第一数据量和第二数据量输入至目标网络模型中，输出目标时间周期内的第三数据量，目标网络模型用于基于上一时间周期和当前时间周期内的数据量对下一时间周期的数据量进行预测；基于目标时间周期内的第三数据量，确定目标区域个数，基于目标区域个数对数据库表中用于存储待存储数据的区域进行切分。本发明可以避免出现由于数据分布不均匀导致需要数据迁移的问题，提高了数据存储性能。
-
Patent Agency Ranking
公开(公告)号：CN111382197B
公开(公告)日：2023-10-27
申请号：CN201811628668.5
申请日：2018-12-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种分区管理、数据存储和查询方法及装置、设备、介质，该分区管理方法，包括：在需创建第一分区时，确定在第一时间区间T1内存储数据所需的第一分区的数量N；所述T1的较小时间端点晚于当前时间t0；在数据库中创建所述N个第一分区，并将所述T1与所述第一分区的分区信息对应地记录在预设的分区信息表中。创建的分区是按照时间区间划分的，数据查询时只需查找时间区间对应的分区，有利于提升查找效率。
-
公开(公告)号：CN111078488B
公开(公告)日：2021-11-09
申请号：CN201811215823.0
申请日：2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F11/30
Abstract: 本发明公开了一种数据采集方法、装置、存储介质及系统，属于大数据技术领域。该方法应用于分布式数据采集系统的指定处理节点中，该方法包括：从多个采集节点的至少一个采集节点中获取采集到的数据集；通过异常检测模型对该数据集进行异常检测，确定该数据集中的异常数据；将该异常数据存储至该多个存储节点中的第一存储节点，该第一存储节点用于存储检测出的异常数据。本发明是根据采集的数据集进行训练得到的异常检测模型，能够反映出区分正常数据和异常数据的规律，学习到正常数据与异常数据之间的区分标准。通过异常检测模型对数据集进行异常检测，能够使得检测结果更加符合真实的异常数据，提高异常检测的准确率。
-
公开(公告)号：CN111382197A
公开(公告)日：2020-07-07
申请号：CN201811628668.5
申请日：2018-12-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种分区管理、数据存储和查询方法及装置、设备、介质，该分区管理方法，包括：在需创建第一分区时，确定在第一时间区间T1内存储数据所需的第一分区的数量N；所述T1的较小时间端点晚于当前时间t0；在数据库中创建所述N个第一分区，并将所述T1与所述第一分区的分区信息对应地记录在预设的分区信息表中。创建的分区是按照时间区间划分的，数据查询时只需查找时间区间对应的分区，有利于提升查找效率。
-
公开(公告)号：CN111078488A
公开(公告)日：2020-04-28
申请号：CN201811215823.0
申请日：2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F11/30
Abstract: 本发明公开了一种数据采集方法、装置、存储介质及系统，属于大数据技术领域。该方法应用于分布式数据采集系统的指定处理节点中，该方法包括：从多个采集节点的至少一个采集节点中获取采集到的数据集；通过异常检测模型对该数据集进行异常检测，确定该数据集中的异常数据；将该异常数据存储至该多个存储节点中的第一存储节点，该第一存储节点用于存储检测出的异常数据。本发明是根据采集的数据集进行训练得到的异常检测模型，能够反映出区分正常数据和异常数据的规律，学习到正常数据与异常数据之间的区分标准。通过异常检测模型对数据集进行异常检测，能够使得检测结果更加符合真实的异常数据，提高异常检测的准确率。
-
公开(公告)号：CN110109892B
公开(公告)日：2021-09-10
申请号：CN201810071341.6
申请日：2018-01-25
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种数据迁移方法、装置及电子设备，所述方法包括：通过分布式内存组件Spark读取Solr系统中已存储的Solr数据；获取已配置的Solr数据与目标数据库表结构的对应关系；根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中。本发明实施例中，采用分布式内存组件Spark读取Solr系统中已存储的Solr数据，进而将读取的Solr数据加载到另一数据库中，Solr数据迁移过程中和Solr服务无交互，从而不影响Solr服务的正常使用。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.027 seconds)
