一种基于机器学习的资源优先级的实时优化调整方法

    公开(公告)号:CN116560860B

    公开(公告)日:2023-10-10

    申请号:CN202310847275.8

    申请日:2023-07-12

    Abstract: 本发明提供了一种基于机器学习的资源优先级的实时优化调整方法,属于资源调度技术领域,其方法包括:步骤1:获取并确认接收任务的需求信息,标定该任务的完成优先级;步骤2:获取针对该任务的资源申请请求信息;步骤3:根据资源申请请求信息从总资源池中选择相应的第一资源,并将第一资源初步分配至该任务;步骤4:基于机器学习模型分析多个任务基于完成优先级以及资源申请请求信息的冲突;步骤5:获取冲突并进行处理分析,产生相应的调度指令,对总资源池中的初步分配的第一资源进行优化调度。本发明通过及时对任务或资源冲突进行处理分析,合理地调动资源分配至任务,提升了资源的利用率;同时利用机器学习模型实现了资源的智能调度。

    一种容器云环境下的微服务安全控制方法

    公开(公告)号:CN119652678A

    公开(公告)日:2025-03-18

    申请号:CN202510170037.7

    申请日:2025-02-17

    Abstract: 本发明提供一种容器云环境下的微服务安全控制方法,涉及微服务安全技术领域,包括:实时获取各注册中心的注册服务及服务变化数据,输出服务实例列表,并通过预设接口组中相应的接口同步至微服务安全框架;结合预设策略数据库,且通过微服务安全框架对各服务实例进行安全策略配置,输出策略配置表;对接收的服务订阅信息以及服务内容进行审核并配置安全控制信息;对服务消费者的服务调用进行安全控制,输出经由服务安全控制后的服务结果;实时捕获各服务实例的监测数据,并进行安全审计和风险评估,输出安全审计结果。本发明可以确保微服务系统的安全性,提升系统的稳定性和可靠性,降低安全风险,并及时发现和应对潜在的安全威胁。

    基于数据要素的区域治理方法、装置和设备

    公开(公告)号:CN119066406A

    公开(公告)日:2024-12-03

    申请号:CN202410903045.3

    申请日:2024-07-05

    Abstract: 本发明提供一种基于数据要素的区域治理方法、装置和设备,方法包括获取与待治理区域的治理主题信息对应的治理执行主体信息、治理所需资源信息和治理需求信息;对治理执行主体信息、治理所需资源信息和治理需求信息进行数据清洗;提取清洗后得到的目标执行主体信息、目标所需资源信息和目标需求信息中的数据要素信息,得到主体要素、资源要素和需求要素;对主体要素、资源要素和需求要素进行特征降维处理,得到目标主体要素、目标资源要素和目标需求要素;确定目标主体要素、目标资源要素和目标需求要素之间的相似度;基于相似度,对目标主体要素、目标资源要素和目标需求要素进行匹配,得到匹配结果;输出匹配结果,以供治理待治理区域。

    一种基于异构技术的数据存储及处理方法

    公开(公告)号:CN117251414A

    公开(公告)日:2023-12-19

    申请号:CN202311534482.4

    申请日:2023-11-17

    Abstract: 本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。

    一种积木式大数据平台的数据处理及分析方法

    公开(公告)号:CN118035537B

    公开(公告)日:2024-12-13

    申请号:CN202311870817.X

    申请日:2023-12-29

    Abstract: 本发明提供了一种积木式大数据平台的数据处理及分析方法,属于大数据处理技术领域,包括:在客户端埋点实时采集多个预设时间段内的用户需求以及用户信息数据;对每个预设时间段内的用户需求进行分析得到对应预设时间段内的多个用户的第一指令以及指令截止时间,并对第一指令以及指令截止时间进行分析,生成至少一个第二指令及每个第二指令的子级别系数;基于预设指令‑模块‑类型库确定每个第二指令所在的业务模块以及指令类型,并根据所述指令类型确定所述第二指令在业务模块中的调用顺序,进而生成调用流程;基于对应第二指令所在预设时间段的下一时间段的指令数据对生成的调用流程进行动态更新。实现了大数据平台的个性化分析。

    基于用户分级分类的数据安全管理方法

    公开(公告)号:CN118171139A

    公开(公告)日:2024-06-11

    申请号:CN202311864772.5

    申请日:2023-12-29

    Abstract: 本发明提供了基于用户分级分类的数据安全管理方法,属于数据安全技术领域,其方法包括获取当下社交媒体平台主营类型与副营类型,基于所述主营类型与副营类型对当下社交媒体用户进行基础数据采集;对所述基础数据进行聚类分析,根据聚类分析结果得出第一数据,对所述第一数据进行数据安全识别,得出第二数据;将第二数据输入机器学习模型,对机器学习模型设定分级规则,对用户进行分级,根据分级结果制定数据保护策略;设定数据更新时间对基础数据进行监视、评估与优化,实现对社交媒体用户数据的有效管理和利用,有助于提高用户满意度,保护用户数据安全,并有效提升平台的服务质量和运营效率。

    一种基于异构技术的数据存储及处理方法

    公开(公告)号:CN117251414B

    公开(公告)日:2024-03-26

    申请号:CN202311534482.4

    申请日:2023-11-17

    Abstract: 本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。

    基于用户分级分类的数据安全管理方法

    公开(公告)号:CN118171139B

    公开(公告)日:2025-02-14

    申请号:CN202311864772.5

    申请日:2023-12-29

    Abstract: 本发明提供了基于用户分级分类的数据安全管理方法,属于数据安全技术领域,其方法包括获取当下社交媒体平台主营类型与副营类型,基于所述主营类型与副营类型对当下社交媒体用户进行基础数据采集;对所述基础数据进行聚类分析,根据聚类分析结果得出第一数据,对所述第一数据进行数据安全识别,得出第二数据;将第二数据输入机器学习模型,对机器学习模型设定分级规则,对用户进行分级,根据分级结果制定数据保护策略;设定数据更新时间对基础数据进行监视、评估与优化,实现对社交媒体用户数据的有效管理和利用,有助于提高用户满意度,保护用户数据安全,并有效提升平台的服务质量和运营效率。

    一种积木式大数据平台的数据处理及分析方法

    公开(公告)号:CN118035537A

    公开(公告)日:2024-05-14

    申请号:CN202311870817.X

    申请日:2023-12-29

    Abstract: 本发明提供了一种积木式大数据平台的数据处理及分析方法,属于大数据处理技术领域,包括:在客户端埋点实时采集多个预设时间段内的用户需求以及用户信息数据;对每个预设时间段内的用户需求进行分析得到对应预设时间段内的多个用户的第一指令以及指令截止时间,并对第一指令以及指令截止时间进行分析,生成至少一个第二指令及每个第二指令的子级别系数;基于预设指令‑模块‑类型库确定每个第二指令所在的业务模块以及指令类型,并根据所述指令类型确定所述第二指令在业务模块中的调用顺序,进而生成调用流程;基于对应第二指令所在预设时间段的下一时间段的指令数据对生成的调用流程进行动态更新。实现了大数据平台的个性化分析。

    一种基于机器学习的资源优先级的实时优化调整方法

    公开(公告)号:CN116560860A

    公开(公告)日:2023-08-08

    申请号:CN202310847275.8

    申请日:2023-07-12

    Abstract: 本发明提供了一种基于机器学习的资源优先级的实时优化调整方法,属于资源调度技术领域,其方法包括:步骤1:获取并确认接收任务的需求信息,标定该任务的完成优先级;步骤2:获取针对该任务的资源申请请求信息;步骤3:根据资源申请请求信息从总资源池中选择相应的第一资源,并将第一资源初步分配至该任务;步骤4:基于机器学习模型分析多个任务基于完成优先级以及资源申请请求信息的冲突;步骤5:获取冲突并进行处理分析,产生相应的调度指令,对总资源池中的初步分配的第一资源进行优化调度。本发明通过及时对任务或资源冲突进行处理分析,合理地调动资源分配至任务,提升了资源的利用率;同时利用机器学习模型实现了资源的智能调度。

Patent Agency Ranking