一种自动化数据库备份方法与系统

    公开(公告)号:CN114138555A

    公开(公告)日:2022-03-04

    申请号:CN202111392228.6

    申请日:2021-11-19

    Abstract: 本发明给出了一种自动化数据库备份方法与系统,包括添加数据库连接信息,根据数据库类型自动匹配对应的数据库进行自动连接;通过后台编写好的自动扫描库表信息脚本进行自动扫描,将扫描结果返回库表信息列表用于提供给用户进行选择,根据所述用户的选择添加备份任务;通过可视化配置动态添加和修改所述备份任务,在所述备份任务进行的过程中实时输出相关日志,并同步备份进度和备份异常问题定位;最后将所述备份任务的结果推送给所述用户。该方法支持远程备份数据,减少了操作人员的学习成本,提高了工作效率。同时,可以和企业运维结合起得来,随时查看备份过程,及时推送备份结果,很大程度上降低了数据库备份失败的风险。

    一种用于重合轨迹的分析方法和系统

    公开(公告)号:CN111563137A

    公开(公告)日:2020-08-21

    申请号:CN202010351015.8

    申请日:2020-04-28

    Abstract: 本发明给出了一种用于重合轨迹的分析方法和系统,包括基于轨迹信息库获取待分析基准轨迹集合,并根据发生时间将待分析基准轨迹集合划分为多个子集合;利用预设的分析间隔阈值将子集合中的轨迹等分,利用随机数作为等分点的半径获取等分点的轨迹相似圈;遍历待分析基准轨迹集合以及轨迹相似圈,利用比对属性和发生时间获取轨迹信息库中与等分点的轨迹相似结果集合,并利用轨迹相似结果集合的交集获得重合轨迹的结果集合Zn。该用于重合轨迹的分析方法和系统基于海量数据场景下,可以自动分析出与特定轨迹重合的未知轨迹,并及时预警,大大降低了人工分析研判的工作,分析效率高。

    一种用于数据血缘检测方法和系统

    公开(公告)号:CN111563103A

    公开(公告)日:2020-08-21

    申请号:CN202010351018.1

    申请日:2020-04-28

    Abstract: 本申请公开了一种用于数据血缘检测方法和系统。提取同一条存储记录在不同节点所对应的节点数据;利用路径规则库将节点数据映射存储于路径数据集合中,基于路径溯源算法将路径数据集合中的每个子集合进行归一化处理,获得节点数据的的上下级关系的路径标识集合;利用关系规则库将节点数据中的数据项映射存储于数据项集合中,基于关系溯源算法分析数据项之间的关联关系,获得数据项溯源结果集合;基于节点数据的路径标识集合和数据项溯源结果集合构建每条数据在不同节点的数据血缘信息库。该方案通过路径溯源和关系溯源分别从节点数据和数据项两个层面进行分析,实现业务数据或者业务要素的全面快速准确的溯源要求,提升大数据的业务支撑能力。

    一种基于多维标签的数据质量检测方法和系统

    公开(公告)号:CN111563074A

    公开(公告)日:2020-08-21

    申请号:CN202010351007.3

    申请日:2020-04-28

    Abstract: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。

    一种基于多维标签的数据质量检测方法和系统

    公开(公告)号:CN111563074B

    公开(公告)日:2022-05-31

    申请号:CN202010351007.3

    申请日:2020-04-28

    Abstract: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。

    基于动态评估的数据探查方法和装置

    公开(公告)号:CN111581431B

    公开(公告)日:2022-05-20

    申请号:CN202010351013.9

    申请日:2020-04-28

    Abstract: 本发明公开了一种基于动态评估的数据探查方法和装置,通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查,得到第一探查结果;对第一探查结果进行评估,得到评估结果,根据评估结果对探查流程进行动态调整,获得动态匹配的探查规则,并通过探查规则获得第二探查结果;计算第二探查结果的有效探查项比例,根据有效探查比例判断探查规则的有效性,对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径,实现不同类型数据的自动探查工作,提高数据探查的工作效率,结合不同的数据源和探查结果,智能推荐探查结果,实现所有接入数据源的自动探查工作,高效支撑各种不同数据源的探查,提升大数据智能化接入效率。

    一种用于数据血缘检测方法和系统

    公开(公告)号:CN111563103B

    公开(公告)日:2022-05-20

    申请号:CN202010351018.1

    申请日:2020-04-28

    Abstract: 本申请公开了一种用于数据血缘检测方法和系统。提取同一条存储记录在不同节点所对应的节点数据;利用路径规则库将节点数据映射存储于路径数据集合中,基于路径溯源算法将路径数据集合中的每个子集合进行归一化处理,获得节点数据的的上下级关系的路径标识集合;利用关系规则库将节点数据中的数据项映射存储于数据项集合中,基于关系溯源算法分析数据项之间的关联关系,获得数据项溯源结果集合;基于节点数据的路径标识集合和数据项溯源结果集合构建每条数据在不同节点的数据血缘信息库。该方案通过路径溯源和关系溯源分别从节点数据和数据项两个层面进行分析,实现业务数据或者业务要素的全面快速准确的溯源要求,提升大数据的业务支撑能力。

    一种用于重合轨迹的分析方法和系统

    公开(公告)号:CN111563137B

    公开(公告)日:2022-05-17

    申请号:CN202010351015.8

    申请日:2020-04-28

    Abstract: 本发明给出了一种用于重合轨迹的分析方法和系统,包括基于轨迹信息库获取待分析基准轨迹集合,并根据发生时间将待分析基准轨迹集合划分为多个子集合;利用预设的分析间隔阈值将子集合中的轨迹等分,利用随机数作为等分点的半径获取等分点的轨迹相似圈;遍历待分析基准轨迹集合以及轨迹相似圈,利用比对属性和发生时间获取轨迹信息库中与等分点的轨迹相似结果集合,并利用轨迹相似结果集合的交集获得重合轨迹的结果集合Zn。该用于重合轨迹的分析方法和系统基于海量数据场景下,可以自动分析出与特定轨迹重合的未知轨迹,并及时预警,大大降低了人工分析研判的工作,分析效率高。

    基于分级分类的数据授权方法和装置

    公开(公告)号:CN111783045A

    公开(公告)日:2020-10-16

    申请号:CN202010575922.0

    申请日:2020-06-22

    Abstract: 本发明公开基于分级分类的数据授权方法和装置,通过建立级别规则库和类别规则库,根据数据源中数据项的属性特征结合级别规则库分析得到数据项的内容敏感级,根据内容敏感级确定数据源级别、用户对应的字段权限范围集合以及第一权限范围数据集;根据数据源的数据资源标识分析得到类别分析数据集合和分类维度数据集,根据分类维度数据集中的数据项类别和层级确定数据源的权限集合;根据数据项的字段权限范围集合中具有关联的两个字段的层级判断得到数据项的权限集合;根据用户的级别分别与数据源的权限集合和数据项的权限集合比对得到用户的数据范围集合和第二权限范围数据集;将第一权限范围数据集和第二权限范围数据集合并为用户的权限范围集合。

    一种分布式多分片集群的部署方法、装置及存储介质

    公开(公告)号:CN111614733A

    公开(公告)日:2020-09-01

    申请号:CN202010358133.1

    申请日:2020-04-29

    Abstract: 本发明提出了一种分布式多分片集群的部署方法、装置及存储介质,该方法包括:配置服务器的配置步骤,基于配置服务器的IP将配置服务器配置为不同的服务类型并创建配置文件;分片服务器的配置步骤,基于分片服务器的数量将一个分片服务器上的主节点、副本集节点和仲裁节点分别设置属于不同的服务器节点上;路由服务器的配置步骤,用于建立路由服务与分片服务之间的对应关系。本发明利用循环算法,将一个分片的副本集配置成非本机节点,如果循环到最后一个分片,他的副本集就是第一个分片,使得数据在不同的节点有个备份,确保了数据的完整性。从而实现了高效、快速地部署服务,适用于在分布式、多分片以及副本集配置的场景。

Patent Agency Ranking