公开(公告)号：CN115794791A

公开(公告)日：2023-03-14

申请号：CN202211474814.X

申请日：2022-11-23

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 魏谋强 ,  陈文艺 ,  郑炳锟 ,  张春晖 ,  陈涛涛 ,  林劼

IPC: G06F16/215 ,  G06F16/2455 ,  G06F16/25

Abstract: 本发明涉及一种智能分析提取流数据的装置和方法，所述装置包括：多元异构流数据输入接口；智能对接DDL引擎，用于自适应各类上游数据接口；AI智能提取模板引擎，用于配合DDL引擎初始化默认提取规则；数据定时抽样分析引擎；用户自定义修正规则引擎，用于用户针对提取数据质量检测修正规则；大屏智能展示监控平台，用于可视化滚动播放并监控实时流数据提取效果。该发明能极大减小数据治理分析人员人工数据提取操作，为大数据企业大规模节省数据治理分析人员成本。可以配套的嵌套在各个业务治理系统中，实现实时快速治理并提取有效信息，快速完成精确治理前的前置操作，极大提高了数据治理智能化的进程。

公开(公告)号：CN113837278B

公开(公告)日：2022-06-28

申请号：CN202111123840.3

申请日：2021-09-24

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 林文楷 ,  连志阳 ,  陈文艺 ,  鄢小征 ,  魏超 ,  蓝坤宏

IPC: G06K9/62 ,  G06F16/2458

Abstract: 本发明给出了一种脏数据检测的方法和装置，包括对原始数据的属性类型进行归一化处理后再进行属性特征分析，从而区分出其中的已明确类型的原始数据项和未明确类型的原始数据项，根据区分出来的结果对原始数据匹配合适的脏数据检测方案。此外，基于不同的分类方式分别对原始数据进行分类，并利用匹配到的脏数据检测方案进行检测后统计各分类的脏数据比例，根据得到的脏数据比例调整所使用的脏数据检测方案，重新统计各分类的脏数据比例，最终对同一数据项选取脏数据比例为最高时所使用的脏数据检测方案为优先执行的脏数据检测方案。本发明能够快速准确地识别海量原始数据中的脏数据，大大提高了大数据的分析利用价值，减少大数据系统的建设成本。

公开(公告)号：CN112379961A

公开(公告)日：2021-02-19

申请号：CN202011316333.7

申请日：2020-11-23

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 谢卫平 ,  何星 ,  张永光 ,  杨辉 ,  陈文艺

IPC: G06F9/451

Abstract: 本发明涉及网状拓扑结构表示多种语义的方法、终端设备及存储介质，该方法中包括：设定命令行参数的网状结构中子节点能够有一个以上的父节点，将不同命令中具有相同子节点不同父节点的参数通过代表相同子节点的一个子节点和该一个子节点连接的多个不同父节点进行表示。本发明通过设定命令行参数节点可以有多个父节点，形成网状结构的处理方法，从而实现输入参数的顺序和个数的灵活性。

公开(公告)号：CN113837278A

公开(公告)日：2021-12-24

申请号：CN202111123840.3

申请日：2021-09-24

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 林文楷 ,  连志阳 ,  陈文艺 ,  鄢小征 ,  魏超 ,  蓝坤宏

IPC: G06K9/62 ,  G06F16/2458

Abstract: 本发明给出了一种脏数据检测的方法和装置，包括对原始数据的属性类型进行归一化处理后再进行属性特征分析，从而区分出其中的已明确类型的原始数据项和未明确类型的原始数据项，根据区分出来的结果对原始数据匹配合适的脏数据检测方案。此外，基于不同的分类方式分别对原始数据进行分类，并利用匹配到的脏数据检测方案进行检测后统计各分类的脏数据比例，根据得到的脏数据比例调整所使用的脏数据检测方案，重新统计各分类的脏数据比例，最终对同一数据项选取脏数据比例为最高时所使用的脏数据检测方案为优先执行的脏数据检测方案。本发明能够快速准确地识别海量原始数据中的脏数据，大大提高了大数据的分析利用价值，减少大数据系统的建设成本。