一种智能分析提取流数据的装置和方法

    公开(公告)号:CN115794791A

    公开(公告)日:2023-03-14

    申请号:CN202211474814.X

    申请日:2022-11-23

    Abstract: 本发明涉及一种智能分析提取流数据的装置和方法,所述装置包括:多元异构流数据输入接口;智能对接DDL引擎,用于自适应各类上游数据接口;AI智能提取模板引擎,用于配合DDL引擎初始化默认提取规则;数据定时抽样分析引擎;用户自定义修正规则引擎,用于用户针对提取数据质量检测修正规则;大屏智能展示监控平台,用于可视化滚动播放并监控实时流数据提取效果。该发明能极大减小数据治理分析人员人工数据提取操作,为大数据企业大规模节省数据治理分析人员成本。可以配套的嵌套在各个业务治理系统中,实现实时快速治理并提取有效信息,快速完成精确治理前的前置操作,极大提高了数据治理智能化的进程。

    基于分级分类的数据授权方法和装置

    公开(公告)号:CN111783045B

    公开(公告)日:2022-08-12

    申请号:CN202010575922.0

    申请日:2020-06-22

    Abstract: 本发明公开基于分级分类的数据授权方法和装置,通过建立级别规则库和类别规则库,根据数据源中数据项的属性特征结合级别规则库分析得到数据项的内容敏感级,根据内容敏感级确定数据源级别、用户对应的字段权限范围集合以及第一权限范围数据集;根据数据源的数据资源标识分析得到类别分析数据集合和分类维度数据集,根据分类维度数据集中的数据项类别和层级确定数据源的权限集合;根据数据项的字段权限范围集合中具有关联的两个字段的层级判断得到数据项的权限集合;根据用户的级别分别与数据源的权限集合和数据项的权限集合比对得到用户的数据范围集合和第二权限范围数据集;将第一权限范围数据集和第二权限范围数据集合并为用户的权限范围集合。

    一种比对实时流数据的装置和方法

    公开(公告)号:CN114282672A

    公开(公告)日:2022-04-05

    申请号:CN202111367593.1

    申请日:2021-11-18

    Abstract: 本发明以及大数据处理领域,尤其涉及一种比对实时流数据的装置和方法。所述装置包括:流数据输入接口,用于读取流数据;用户基础关键字输入接口,用于输入用户基础关键字;AI知识库接入接口,用于向AI知识库输入用户基础关键字,并接收AI知识库推荐设置的比对关键字;比对单元,用于比对所述流数据和所述比对关键字并输出比对结果;和预警比对输出接口,用于对外输出所述比对结果。本发明的装置可以极大地减少重复编码甚至达到零编码,降低开发成本;可以无缝的嵌套在各个业务治理系统中,实现实时快速比对,快速响应客户实时动态变化的需求,极大提高了实时数据使用的质量。

    一种基于文本数据读取的方法和系统

    公开(公告)号:CN113626385A

    公开(公告)日:2021-11-09

    申请号:CN202110767562.9

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。

    一种基于数据摘要去重数据的方法、装置及存储介质

    公开(公告)号:CN111444167A

    公开(公告)日:2020-07-24

    申请号:CN202010219652.X

    申请日:2020-03-25

    Abstract: 本发明提出了一种基于数据摘要去重数据的方法、装置及存储介质,该方法包括:摘要计算步骤,对要去重的数据进行摘要计算得到数据摘要;去重步骤,基于数据摘要在内存数据库和列存数据库的查找结果完成数据的去重。提高了用户体验。本发明在对海量数据和每条记录多字段的场景下,通过对去重字段做摘要,减少比对次数,通过内存数据库和列存数据库来提高比对效率,来达到海量数据下的根据多字段进行高速去重。本发明只需要配置去重字段的配置文件即达到可快速识别重复数据的目的,提高了去重效率,防止系统因数据去重占用资源过多而导致系统崩溃,提高了用户体验,适用于在数据体量巨大、数据字段多、定制化字段等去重场景下。

    一种Mongodb集群快速部署、迁移和维护的方法及系统

    公开(公告)号:CN112055087B

    公开(公告)日:2023-04-07

    申请号:CN202010947696.4

    申请日:2020-09-10

    Abstract: 本发明给出了一种Mongodb集群快速部署、迁移和维护的方法及系统,包括对Mongodb的集群部署过程中的配置文件进行修改,将集群所有节点的IP地址与对应主机名的映射写入主节点的/etc/hosts配置文件中,并基于映射将其他节点的配置文件中的IP地址替换为对应主机名,降低了集群中所有节点之间对IP地址的耦合性,当某个节点需要迁移或维护时,只需要将该节点的实例停掉,将/etc/hosts配置文件中待迁移/维护的节点的IP地址替换为新节点的IP地址,最后在新节点上运行相应的Mongodb实例,从而实现Mongodb的快速部署、迁移和维护,同时使得各节点之间的IP地址不能通过Mongodb的集群相关命令看到,只能通过IP地址映射的配置文件查看。本发明解决了传统的Mongodb集群部署繁琐,迁移麻烦,维护不方便的问题。

    一种基于字段推荐数据库标准表的方法及装置

    公开(公告)号:CN113836144B

    公开(公告)日:2023-01-24

    申请号:CN202111146101.6

    申请日:2021-09-28

    Abstract: 本发明提出了一种基于字段推荐数据库标准表的方法及装置,该方法包括:预处理步骤,对数据库中的所有数据库标准表进行预处理生成一字段库;推荐步骤,将源表中的字段与字段库中的字段进行匹配计算,得到源表的推荐数据库标准表;反馈步骤,将推荐数据库标准表发送至用户终端的界面,供用户确认。本发明中,基于数据库中的所有数据库标准表进行预处理得到一字段库,然后基于该字段库进行标注表的推荐,避免了人工智能模型的训练,节约了时间,且推荐速度快;本发明中,可以将系统推荐的标准表供用户确认,以确保数据表导入的准确性。

    一种基于文本数据读取的方法和系统

    公开(公告)号:CN113626385B

    公开(公告)日:2022-07-15

    申请号:CN202110767562.9

    申请日:2021-07-07

    Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。

Patent Agency Ranking