-
公开(公告)号：CN117312268A
公开(公告)日：2023-12-29
申请号：CN202311136684.3
申请日：2023-09-05
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/21 , G06F16/215 , G06F16/22 , G06F16/2457 , G06F16/28
Abstract: 本发明公开了一种基于多源多库的流批一体化主数据治理方法、装置及可读介质，涉及大数据领域，该方法包括：获取多个数据源中的至少一个数据源的原始数据；对原始数据进行数据清洗，得到标准化数据；基于标准化数据构建主数据分析矩阵，根据主数据分析矩阵分析识别得到基础数据；根据数据需求和数据标准定义主数据表结构，根据基础数据构建概念数据模型，根据概念数据模型和主数据表结构扩展得到逻辑数据模型，基于逻辑数据模型建立物理数据模型，对物理数据模型生成的数据进行交叉验证，得到主数据，可以提升数据的关联性和可用性，提升数据处理效率，提高组织的战略协同力。
-
公开(公告)号：CN116910651A
公开(公告)日：2023-10-20
申请号：CN202310886868.5
申请日：2023-07-19
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F18/241 , G06F21/60
Abstract: 本发明公开了一种基于分级分类的数据安全治理方法、装置及可读介质，获取数据资源，对数据资源进行资源分类和资源分级，得到数据资源分类结果和数据资源分级结果，并配置用户的数据项集级别权限范围；对数据资源中的数据项进行字段分类和字段关系分类，得到字段分类结果和字段关系分类结果；根据字段分类结果和/或字段关系分类结果对数据资源中的数据项进行字段分级，并确定数据安全级别结果，以配置用户的字段级权限范围；获取用户的查询指令，根据查询指令结合数据项集级别权限范围和字段级权限范围对每个数据项进行权限控制，确定用户的访问权限范围，可提高数据安全防护能力，落实数据安全权限。
-
公开(公告)号：CN116910152A
公开(公告)日：2023-10-20
申请号：CN202310733117.X
申请日：2023-06-20
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/27 , G06F16/25 , G06F16/245
Abstract: 公开了一种基于多源多库的实时流处理方法和系统，包括响应于接受客户端的访问请求，网关中心根据请求的数据类型转发到组件提供者，并对客户端的请求参数进行校验；控制器解析客户端的提交信息获取所需的资源数量并向资源管理器请求资源；响应于资源管理器存在足够的可用资源，启动执行器并向资源管理器注册资源占用情况；执行器运行完毕自动释放资源并通知资源管理器。本申请通过流处理控制器和流处理执行器的一主多从架构，充分使用了各服务器资源，减少了分布环境下的数据流量，并提高了数据传输的安全性。
-
公开(公告)号：CN114282591B
公开(公告)日：2024-09-27
申请号：CN202111369332.3
申请日：2021-11-18
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F18/241 , G06F21/62
Abstract: 本发明涉及一种动态安全级别实时划分方法、终端设备及存储介质，该方法中包括：S1：设定数据资源的分类维度和每个分类维度下包含的类别，根据每个数据资源在不同分类维度下的类别，设定静态安全级别，根据静态安全级别，构建静态安全级别映射表；S2：初始化设定脱敏下界L、脱敏周期T、脱敏速率k(.)和脱敏模式M；S3：当接收到数据资源后，从静态安全级别映射表中查找对应的静态安全级别x；S4：判断该数据资源是否处于开放状态，如果是，设定该数据资源的动态安全级别y为脱敏下界L；否则，进入S5；S5：根据实时获得的该数据资源经过的脱敏期，计算实时动态安全级别：本发明引入数据开放控制与数据脱敏控制，实现数据资源安全级别的实时可控。
-
公开(公告)号：CN117009316A
公开(公告)日：2023-11-07
申请号：CN202310882435.2
申请日：2023-07-18
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本发明提出了一种基于数据血缘管理数据流全生命周期的方法及其系统，包括：响应于通过逐级抽取与按需汇聚对各种库进行数据组织；基于以微服务的形式部署的多个引擎服务进行数据的推送；通过所述数据地图微服务后端与所述引擎血缘微服务接通，以对获取的血缘数据进行前端展示；以及把数据资源的情况加载到画布页面中，以对数据血缘生命周期进行管理。本方法旨在实现一种在各应用产品之间生产资源时产生的数据间的依赖关系，追溯数据血缘，并以此为基础，在针对源端变更、任务中断、索引失效、服务异常、组件异常、集群异常等变更或异常情况时，可以快速定位问题，对各节点进行影响分析，实现数据的生命周期管理。
-
Patent Agency Ranking
公开(公告)号：CN115617795A
公开(公告)日：2023-01-17
申请号：CN202211242108.2
申请日：2022-10-11
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/22 , G06F16/242 , G06F16/2457
Abstract: 本发明提供一种数据库表的通用查询方法、装置及存储介质，方法包括：获取接口定义步骤，接收查询请求，基于查询请求关联的接口ID获取接口定义；所述接口定义包括条件数组和结果配置数组；解析查询条件步骤，获取用户查询请求中的查询条件以及条件数组中与查询条件相对应的条件字段；基于各条件字段的解析类型，对用户查询请求中的查询条件进行解析；基于解析结果和各条件字段的表达式构建查询语句；查询步骤，使用构建的查询语句查询数据库表；处理查询结果步骤，基于结果配置数组对查询结果进行解析。本发明的接口定义能够根据业务需求进行配置，满足不同业务系统的查询需求，且无需在业务系统侧配置数据源及编写查询语句，避免重复开发。
-
公开(公告)号：CN114022696A
公开(公告)日：2022-02-08
申请号：CN202111301799.4
申请日：2021-11-04
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06V10/762 , G06K9/62 , G06V40/16 , G06V10/82 , G06N3/08
Abstract: 本发明提出了一种基于连接对的聚类算法性能分析方法、装置及存储介质，该方法包括：初始步骤，使用所述聚类算法对样本集进行聚类得出初始聚类簇，对所述聚类算法进行优化后对样本集进行聚类得出优化聚类簇；抽样步骤，对满足归档的初始聚类簇和优化聚类簇分别进行笛卡尔积运算得到连接对，利用差集运算和特定规则抽样得到初始抽样集合和优化抽样集合；分析步骤，基于所述初始抽样集合和优化抽样集合分析优化后的聚类算法性能是否提升。本发明利用笛卡尔积运算得到连接对，并使用特定规则抽样获取可控数量的分析集，该方法结合了聚类内部的连接对信息和人工抽样知识，能够在无标签情况下对聚类算法优化后的性能提升进行快速评估。
-
公开(公告)号：CN110209507A
公开(公告)日：2019-09-06
申请号：CN201910407305.7
申请日：2019-05-16
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F9/54 , G06F16/2457
Abstract: 本发明提供了一种基于消息队列的数据处理方法、装置、系统及存储介质，所述方法包括：获取至少一个源数据库的源数据；将所述源数据存储至消息传输队列，并将所述消息传输队列通过消息通道发送至目标消息队列；基于所述目标消息队列得到相应的源数据，将所述相应的源数据存储至对应的目标数据库。根据本发明的方法、装置、系统及存储介质，使得数据源库与数据仓库之间通信解耦，实现高效率的数据汇聚，将不同来源的数据集成起来，统一数据的通信规范，让数据发挥更大的效益。
-
公开(公告)号：CN116578794A
公开(公告)日：2023-08-11
申请号：CN202211504500.X
申请日：2022-11-28
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/957 , G06F8/41
Abstract: 公开了基于数据标签海量网页的数据提取识别方法和系统，包括获取HTML文档，HTML文档包括HOST、URL、HTTP HEAD、HTTP CONTENT；利用hostinfo标记HTTP HOST，属性包括主机名host、主机编码hostid和主机说明desc，根据host属性逐级匹配对应提取模板，匹配各级子域名直至匹配到提取模板；利用urlinfo标记HTTP URL，属性包括url、urlid、dec、fullmatch，根据url属性在对应提取模板中匹配符合的提取规则；根据HTTP HOST和HTTP URL匹配到对应的提取模板后，利用模板内定义的getinfo提取规则进行内容提取。本申请通过标签提取网页内容并还原网页内容的真实含义，具备一次配置标签模板反复使用的特点，按网站域名进行标签模板配置方便管理，极大提升了网页内容提取的效率和精确度。
-
公开(公告)号：CN116561379A
公开(公告)日：2023-08-08
申请号：CN202310382291.4
申请日：2023-04-11
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/901 , G06F16/903
Abstract: 本发明提出了一种基于图库的关系刻画方法及其系统，包括：获取并采集多源异构数据，对获取的所述多源异构数据分析并进行实体抽象，所述实体抽象包括将业务数据抽象成对某一实体的描述或某一实体与另一实体之间关系的描述；将不同记录或不同业务系统中的实体进行实体融合，以刻画不同事件中实体间的联系；利用图数据库将数据组织成实体、属性、表示实体间关系的边，并存储为key‑value的底层数据结构；借助图库对实体及关系的高效存储，通过关系检索迅速定位到特定实体，并高效扩线至相关的关系。该发明简化了数据预计算过程，降低了实施成本，确保了数据的实时性，同时基于精准的扩线查询，大大提高了关系检索的效率，这也保证了系统的稳定性。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.028 seconds)
