一种基于流数据和批数据协同调度处理的数据湖系统

    公开(公告)号:CN115599524B

    公开(公告)日:2023-06-09

    申请号:CN202211329376.8

    申请日:2022-10-27

    Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统,属于数据处理技术领域;解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排,效率低的问题;本发明的数据湖系统包括:集中式存储模块、计算引擎模块和数据管理模块;其中,集中式存储模块用于分类存储各个业务数据源的数据;数据管理模块用于进行数据处理任务编排,并基于预设的数据处理任务协同调度方法,对每个节点的数据处理任务进行调度处理;计算引擎模块用于基于数据处理任务需求,通过不同的计算引擎对集中式存储模块中的数据进行处理,并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。

    一种基于规则模板的信息抽取方法和系统

    公开(公告)号:CN115906844A

    公开(公告)日:2023-04-04

    申请号:CN202211361916.0

    申请日:2022-11-02

    Abstract: 本发明涉及一种基于规则模板的信息抽取方法和系统,利用规则模板融合行业术语词典与自然语言处理中常见的命名实体识别模型进行信息抽取,具体包括:基于抽取需求训练命名实体识别模型,得到训练好的命名实体识别模型;基于所述抽取需求建立信息抽取规则模板;解析所述信息抽取规则模板,调用行业术语词典和训练好的所述命名实体识别模型,对待抽取文本进行信息抽取得到抽取结果。本发明通过配置规则模板,有效融合行业术语与命名实体识别模型,解决了单以信息抽取模型抽取的信息内容规范固定、不够灵活的问题;以及行业信息抽取常见的长文本抽取中,抽取的信息之间的顺序性、规则性、关联性关系,避免了单一信息抽取模型的信息割裂。

    一种基于元数据管理的数据血缘分析系统和方法

    公开(公告)号:CN115757655A

    公开(公告)日:2023-03-07

    申请号:CN202211424823.8

    申请日:2022-11-14

    Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法,属于大数据技术领域。本发明通过获取多个数据源的原始数据,基于清洗规则进行清洗处理,得到清洗后数据;基于数据规范规则对清洗后数据进行规范化处理,得到规范数据;所述数据规范规则包括标准代码映射库和规范化规则;使用数据集成算法集成所述规范数据得到集成后数据;构建元数据管理体系;基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法,对异地、异构数据做到表字段级别的血缘分析,支持快速准确的对数据质量回溯和定位问题,实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。

    一种基于Kubernetes改进的扩缩容系统

    公开(公告)号:CN118075133A

    公开(公告)日:2024-05-24

    申请号:CN202410176471.1

    申请日:2024-02-08

    Abstract: 本发明涉及一种基于Kubernetes改进的扩缩容系统,属于云平台的应用部署技术领域。本发明系统包括在云平台上部署Kubernetes和自主实现的应用管理组件、扩缩容计划调度组件、扩缩容脚本执行组件和扩容调整组件,通过各组件与Kubernetes实现扩缩容,改进原Kubernetes只能基于系统各指标阈值进行扩缩容的机制,实现基于历史数据分析预测当天的负载高峰时段以对负载高峰时段提前进行计划扩容,解决Kubernetes的弹性扩缩容机制需要在监测到负载超过一定阈值时才发起扩缩容导致的扩容滞后性,同时可以避免在负载波动大的情况下频繁扩缩容造成的资源损耗和应用的不稳定;本发明系统还实现在负载高峰时段基于业务指标值对应用的资源进行实时扩缩容,解决了原Kubernetes的弹性扩缩容机制与业务脱节的问题。

Patent Agency Ranking