-
公开(公告)号:CN115905294A
公开(公告)日:2023-04-04
申请号:CN202211707942.4
申请日:2022-12-29
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/242 , G06F16/2455
Abstract: 公开了基于可视化动态构建Flink SQL的方法和系统,包括将算子划分为源端算子、处理算子和目标算子,从数据源栏拖取源端算子到画板并配置算子信息;基于处理业务,在算子栏选择多个处理算子到画板中,并对算子的处理顺序进行编排;目标端栏中拖取相应的目标端算子到画板并配置算子信息。本申请的方法和系统只需在平台中拖取相应算子即可自动同时生成多个不同的复杂度SQL语句,SQL的正确性和便捷性都得到了提升,加快了数据治理实施人员在数据接入处理的速度。
-
公开(公告)号:CN114282591A
公开(公告)日:2022-04-05
申请号:CN202111369332.3
申请日:2021-11-18
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明涉及一种动态安全级别实时划分方法、终端设备及存储介质,该方法中包括:S1:设定数据资源的分类维度和每个分类维度下包含的类别,根据每个数据资源在不同分类维度下的类别,设定静态安全级别,根据静态安全级别,构建静态安全级别映射表;S2:初始化设定脱敏下界L、脱敏周期T、脱敏速率k(.)和脱敏模式M;S3:当接收到数据资源后,从静态安全级别映射表中查找对应的静态安全级别x;S4:判断该数据资源是否处于开放状态,如果是,设定该数据资源的动态安全级别y为脱敏下界L;否则,进入S5;S5:根据实时获得的该数据资源经过的脱敏期,计算实时动态安全级别:本发明引入数据开放控制与数据脱敏控制,实现数据资源安全级别的实时可控。
-
公开(公告)号:CN113626558A
公开(公告)日:2021-11-09
申请号:CN202110767556.3
申请日:2021-07-07
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/33 , G06F16/9535 , G06F40/289 , G06F40/30
Abstract: 本发明给出了一种基于智能推荐的字段标准化的方法和系统,包括将原始数据入库,抽取部分原始数据作为内容分析集合,动态映像抽取原始数据相应的字段到数据目录表中,形成待分析的字段集合;利用字段的属性特征获取原始数据的字段的真实表征,对字段集合进行标准化处理以获取包括推荐数据元和限定词的标准化字段集合;调用特征校验引擎识别内容分析集合获取数据特征的结果集合,保存与结果集合的数据吻合的标准化字段集合。该方法和系统可以自动分析出字段属性和内容特征,智能推荐字段的标准化处理方案,大大提升原始数据解析入库的效率。
-
公开(公告)号:CN111026740A
公开(公告)日:2020-04-17
申请号:CN201911217339.6
申请日:2019-12-03
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/215 , G06F16/2455 , G06F16/2458
Abstract: 本发明提供了基于数据指纹的数据对账方法,包括如下步骤:步骤一:数据提供方提供不同业务场景下的数据流,为所述数据流自动匹配数据指纹计算引擎;步骤二:结合数据特征动态自适应调整算法,动态获取接入数据流中的关键属性极其变化,并根据所述关键属性生成数据流的数据指纹;步骤三:根据数据指纹,通过传输节点溯源算法遍历数据提供方和数据接入方的中间节点,将异常对账结果提供给数据提供方和数据接入方。
-
公开(公告)号:CN109933587A
公开(公告)日:2019-06-25
申请号:CN201910142948.3
申请日:2019-02-26
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/22 , G06F16/2453
Abstract: 本发明提供了一种基于目录注册的数据处理方法、装置、系统及存储介质,所述方法包括:获取原始数据;基于预定的目录注册规则和所述原始数据进行目录注册得到所述原始数据的数据目录;基于所述数据目录和预定的数据存储规则对所述原始数据进行统一存储。根据本发明的方法、装置、系统及存储介质,通过注册目录的方式使得数据规范化,去除差异化,实现灵活高效的数据汇集接入能力,以及便捷的数据管理能力,提供个性化查询能力。
-
公开(公告)号:CN113626558B
公开(公告)日:2022-10-25
申请号:CN202110767556.3
申请日:2021-07-07
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/33 , G06F16/9535 , G06F40/289 , G06F40/30
Abstract: 本发明给出了一种基于智能推荐的字段标准化的方法和系统,包括将原始数据入库,抽取部分原始数据作为内容分析集合,动态映像抽取原始数据相应的字段到数据目录表中,形成待分析的字段集合;利用字段的属性特征获取原始数据的字段的真实表征,对字段集合进行标准化处理以获取包括推荐数据元和限定词的标准化字段集合;调用特征校验引擎识别内容分析集合获取数据特征的结果集合,保存与结果集合的数据吻合的标准化字段集合。该方法和系统可以自动分析出字段属性和内容特征,智能推荐字段的标准化处理方案,大大提升原始数据解析入库的效率。
-
公开(公告)号:CN113761390B
公开(公告)日:2022-07-22
申请号:CN202110955230.3
申请日:2021-08-19
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/9536 , G06F16/28
Abstract: 本发明给出了一种用于属性亲密度的分析方法和系统,包括提取原始数据包中所有相关联的属性信息并保存至关系数据库,并将属性关联记录的分析索引保存至索引库中,其中,分析索引包括起始属性、终止属性和关联边;遍历索引库,确定分析索引是否在索引库中存在记录,若否,执行未关联属性亲密度分析引擎,并将分析结果导入关联边;若是,则执行已关联属性亲密度调整引擎,更新属性亲密度分析结果至关联边;获取当前分析索引的所有关联属性关系,根据属性亲密度调整规则,若当前分析索引的起始属性与终止属性之间存在共有关联属性,更新属性亲密度分析结果至当前分析索引的关联边。该方法和系统可以快速分析出不同属性之间的亲密度并自动准确。
-
公开(公告)号:CN114020570A
公开(公告)日:2022-02-08
申请号:CN202111301803.7
申请日:2021-11-04
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F11/30
Abstract: 本发明公开了一种针对存量数据告警的方法,包括:建立存量数据运维告警指标字典表;离线计算所述存量数据的运维指标;判断是否需要告警,响应于需要告警,获取所述告警指标字典表中的告警指标,基于所述告警指标建立告警规则;基于告警规则执行告警比对任务,获取比对结果,判断所述比对结果是否满足告警触发标准;响应于所述比对结果满足告警触发标准,触发告警。本发明通过定时循环比对来获得比对结果从而触发告警,实现对存量数据的告警,利用离线计算和应用,根据用户自定义的告警规则对存量数据进行告警,操作简单,使得用户更易使用。
-
公开(公告)号:CN113761390A
公开(公告)日:2021-12-07
申请号:CN202110955230.3
申请日:2021-08-19
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/9536 , G06F16/28
Abstract: 本发明给出了一种用于属性亲密度的分析方法和系统,包括提取原始数据包中所有相关联的属性信息并保存至关系数据库,并将属性关联记录的分析索引保存至索引库中,其中,分析索引包括起始属性、终止属性和关联边;遍历索引库,确定分析索引是否在索引库中存在记录,若否,执行未关联属性亲密度分析引擎,并将分析结果导入关联边;若是,则执行已关联属性亲密度调整引擎,更新属性亲密度分析结果至关联边;获取当前分析索引的所有关联属性关系,根据属性亲密度调整规则,若当前分析索引的起始属性与终止属性之间存在共有关联属性,更新属性亲密度分析结果至当前分析索引的关联边。该方法和系统可以快速分析出不同属性之间的亲密度并自动准确。
-
公开(公告)号:CN113093999A
公开(公告)日:2021-07-09
申请号:CN202110495949.3
申请日:2021-05-07
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F3/06
Abstract: 本发明给出了一种基于自适应锁的缓存淘汰方法和系统,包括扫描缓存,获取缓存数据的信息;响应于缓存数据被访问,延长所述缓存数据的缓存过期时间,否则,缩减所述缓存过期时间;删除缓存过期时间小于预设缓存过期时间的缓存数据。该方法和系统可以运用于目前主流的缓存设备和缓存数据库的数据淘汰策略,甚至也可以用在一个内存的置换策略上,可以及时的释放缓存空间,提高系统的缓存的可用性,降低缓存雪崩和击穿现象的出现的概率,能够有效的避免错删和误续命的操作。
-
-
-
-
-
-
-
-
-