-
公开(公告)号:CN115794791A
公开(公告)日:2023-03-14
申请号:CN202211474814.X
申请日:2022-11-23
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/215 , G06F16/2455 , G06F16/25
Abstract: 本发明涉及一种智能分析提取流数据的装置和方法,所述装置包括:多元异构流数据输入接口;智能对接DDL引擎,用于自适应各类上游数据接口;AI智能提取模板引擎,用于配合DDL引擎初始化默认提取规则;数据定时抽样分析引擎;用户自定义修正规则引擎,用于用户针对提取数据质量检测修正规则;大屏智能展示监控平台,用于可视化滚动播放并监控实时流数据提取效果。该发明能极大减小数据治理分析人员人工数据提取操作,为大数据企业大规模节省数据治理分析人员成本。可以配套的嵌套在各个业务治理系统中,实现实时快速治理并提取有效信息,快速完成精确治理前的前置操作,极大提高了数据治理智能化的进程。
-
公开(公告)号:CN111783045B
公开(公告)日:2022-08-12
申请号:CN202010575922.0
申请日:2020-06-22
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明公开基于分级分类的数据授权方法和装置,通过建立级别规则库和类别规则库,根据数据源中数据项的属性特征结合级别规则库分析得到数据项的内容敏感级,根据内容敏感级确定数据源级别、用户对应的字段权限范围集合以及第一权限范围数据集;根据数据源的数据资源标识分析得到类别分析数据集合和分类维度数据集,根据分类维度数据集中的数据项类别和层级确定数据源的权限集合;根据数据项的字段权限范围集合中具有关联的两个字段的层级判断得到数据项的权限集合;根据用户的级别分别与数据源的权限集合和数据项的权限集合比对得到用户的数据范围集合和第二权限范围数据集;将第一权限范围数据集和第二权限范围数据集合并为用户的权限范围集合。
-
公开(公告)号:CN114282672A
公开(公告)日:2022-04-05
申请号:CN202111367593.1
申请日:2021-11-18
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06N5/02 , G06F16/182 , G06F16/18
Abstract: 本发明以及大数据处理领域,尤其涉及一种比对实时流数据的装置和方法。所述装置包括:流数据输入接口,用于读取流数据;用户基础关键字输入接口,用于输入用户基础关键字;AI知识库接入接口,用于向AI知识库输入用户基础关键字,并接收AI知识库推荐设置的比对关键字;比对单元,用于比对所述流数据和所述比对关键字并输出比对结果;和预警比对输出接口,用于对外输出所述比对结果。本发明的装置可以极大地减少重复编码甚至达到零编码,降低开发成本;可以无缝的嵌套在各个业务治理系统中,实现实时快速比对,快速响应客户实时动态变化的需求,极大提高了实时数据使用的质量。
-
公开(公告)号:CN113626385A
公开(公告)日:2021-11-09
申请号:CN202110767562.9
申请日:2021-07-07
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。
-
公开(公告)号:CN111444167A
公开(公告)日:2020-07-24
申请号:CN202010219652.X
申请日:2020-03-25
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/215 , G06F16/242
Abstract: 本发明提出了一种基于数据摘要去重数据的方法、装置及存储介质,该方法包括:摘要计算步骤,对要去重的数据进行摘要计算得到数据摘要;去重步骤,基于数据摘要在内存数据库和列存数据库的查找结果完成数据的去重。提高了用户体验。本发明在对海量数据和每条记录多字段的场景下,通过对去重字段做摘要,减少比对次数,通过内存数据库和列存数据库来提高比对效率,来达到海量数据下的根据多字段进行高速去重。本发明只需要配置去重字段的配置文件即达到可快速识别重复数据的目的,提高了去重效率,防止系统因数据去重占用资源过多而导致系统崩溃,提高了用户体验,适用于在数据体量巨大、数据字段多、定制化字段等去重场景下。
-
公开(公告)号:CN112055087B
公开(公告)日:2023-04-07
申请号:CN202010947696.4
申请日:2020-09-10
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: H04L67/303 , G06F9/50 , G06F9/445 , H04L67/10 , H04L41/0663
Abstract: 本发明给出了一种Mongodb集群快速部署、迁移和维护的方法及系统,包括对Mongodb的集群部署过程中的配置文件进行修改,将集群所有节点的IP地址与对应主机名的映射写入主节点的/etc/hosts配置文件中,并基于映射将其他节点的配置文件中的IP地址替换为对应主机名,降低了集群中所有节点之间对IP地址的耦合性,当某个节点需要迁移或维护时,只需要将该节点的实例停掉,将/etc/hosts配置文件中待迁移/维护的节点的IP地址替换为新节点的IP地址,最后在新节点上运行相应的Mongodb实例,从而实现Mongodb的快速部署、迁移和维护,同时使得各节点之间的IP地址不能通过Mongodb的集群相关命令看到,只能通过IP地址映射的配置文件查看。本发明解决了传统的Mongodb集群部署繁琐,迁移麻烦,维护不方便的问题。
-
公开(公告)号:CN115761394A
公开(公告)日:2023-03-07
申请号:CN202211313515.8
申请日:2022-10-25
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06V10/774 , G06T11/60 , G06F40/216 , G06F40/126 , G06F16/31
Abstract: 本发明公开了一种智能标注非活体的可视化方法和系统,包括提取和搜集对象信息,对象信息包括文本信息、一维采样数据集合和图像信息;基于像素点阵转换算法分别将文本信息转换为文本像素文件、将一维采样数据转换为一维采样数据像素文件;采用螺旋布局将文本像素文件和一维采样像素文件生成标注图。本申请综合考虑了非活体信息的主要信息来源,统一规范化生成标注图,为制作深度学习素材工作提供了有力的自动化辅助,可根据数据特征智能分组构建标注图进行展示。
-
公开(公告)号:CN113836144B
公开(公告)日:2023-01-24
申请号:CN202111146101.6
申请日:2021-09-28
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/22 , G06F16/2457 , G06F40/237
Abstract: 本发明提出了一种基于字段推荐数据库标准表的方法及装置,该方法包括:预处理步骤,对数据库中的所有数据库标准表进行预处理生成一字段库;推荐步骤,将源表中的字段与字段库中的字段进行匹配计算,得到源表的推荐数据库标准表;反馈步骤,将推荐数据库标准表发送至用户终端的界面,供用户确认。本发明中,基于数据库中的所有数据库标准表进行预处理得到一字段库,然后基于该字段库进行标注表的推荐,避免了人工智能模型的训练,节约了时间,且推荐速度快;本发明中,可以将系统推荐的标准表供用户确认,以确保数据表导入的准确性。
-
公开(公告)号:CN113626385B
公开(公告)日:2022-07-15
申请号:CN202110767562.9
申请日:2021-07-07
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明给出了一种基于文本数据读取的方法和系统,包括分析过滤重复文件并将关联的文件合并归类至对应数据集合Fn中;比对待提取文本文件中属性集合与属性列表以根据其相似程度赋值处理引擎,并形成文件的属性分析结果集合;响应于属性分析结果集合与待提取文本文件中的内容分析集合的匹配度超过第一阈值,利用属性对应的特处理引擎提取文本数据。该方法和系统可以自动适配已知特征和未知特征的文本文件数据,调取相应的数据提取引擎,实现文本文件类型原始数据的自动识别和解析入库,提高文本文件的提取效率和准确性,提升大数据分析能力。
-
公开(公告)号:CN113762362A
公开(公告)日:2021-12-07
申请号:CN202110964859.4
申请日:2021-08-19
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06K9/62
Abstract: 本公开提供一种基于不确定估计的样本相似度计算方法,包括:获取第一待比较样本和第二待比较样本,其中,所述第一待比较样本的不确定性分数为a1,所述第二待比较样本的不确定性分数为a2;将不确定分数a1、a2,与不确定性分数阈值t1、t2进行比较;根据比较结果,获得最终相似度分数,来提高相似度分数的可信度。
-
-
-
-
-
-
-
-
-