基于Flink的多层次协同重配置流处理系统及其处理方法

    公开(公告)号:CN115412501A

    公开(公告)日:2022-11-29

    申请号:CN202211047958.7

    申请日:2022-08-30

    Abstract: 基于Flink的多层次协同重配置流处理系统及其处理方法,属于计算机数据处理技术领域。为优化流处理系统在面对数据倾斜,负载波动,资源变化等复杂情况时的性能。本发明包括在Flink流处理平台的原有组件的基础上,增加指标监控器、协同重配置管理器、重配置协调器、重分区执行器、子任务配置管理器,将原有的协同自适应调度器修改为水平弹性执行器、原有的资源槽分配器修改为重调度执行器;指标监控器连接协同重配置管理器和子任务配置管理器,协同重配置管理器连接重配置协调器,重配置协调器分别连接重分区执行器、水平弹性执行器、重调度执行器、子任务配置管理器。本发明优化了流处理系统。

    一种面向穿戴设备应用的EAS调度器的优化方法

    公开(公告)号:CN109542606B

    公开(公告)日:2022-08-05

    申请号:CN201811426219.2

    申请日:2018-11-27

    Abstract: 一种面向穿戴设备应用的EAS调度器的优化方法,它属于穿戴设备优化技术领域。本发明解决了现有的面向可穿戴应用的低功耗技术的整体功耗大的问题。本发明提出了基于指数平滑的WALT算法来预测任务负载,针对延迟敏感任务和非延迟敏感任务分别选择合适的目标CPU,针对选择目标CPU时遇到的负载均衡问题,采用优先局部负载均衡策略进行处理,有效地降低了整体功耗,特别地,在应用程序Patricia中,采用本发明的方法在使得整体性能提升46%的同时,将整体功耗降低了48%。本发明可以应用于穿戴设备优化技术领域用。

    一种面向穿戴设备应用的EAS调度器的优化方法

    公开(公告)号:CN109542606A

    公开(公告)日:2019-03-29

    申请号:CN201811426219.2

    申请日:2018-11-27

    Abstract: 一种面向穿戴设备应用的EAS调度器的优化方法,它属于穿戴设备优化技术领域。本发明解决了现有的面向可穿戴应用的低功耗技术的整体功耗大的问题。本发明提出了基于指数平滑的WALT算法来预测任务负载,针对延迟敏感任务和非延迟敏感任务分别选择合适的目标CPU,针对选择目标CPU时遇到的负载均衡问题,采用优先局部负载均衡策略进行处理,有效地降低了整体功耗,特别地,在应用程序Patricia中,采用本发明的方法在使得整体性能提升46%的同时,将整体功耗降低了48%。本发明可以应用于穿戴设备优化技术领域用。

    基于联邦式检索的云平台并发性能测试方法

    公开(公告)号:CN104331477B

    公开(公告)日:2017-08-25

    申请号:CN201410614018.0

    申请日:2014-11-04

    Abstract: 基于联邦式检索的云平台并发性能测试方法,属于云平台性能测试技术领域。本发明是通过获得基于联邦式检索的云计算平台在不同并发用户数情况下的评测指标,来实现对云计算平台的性能评测。它首先基于云平台环境构建联邦式检索系统,该云平台环境下构建的联邦式检索系统由下向上依次包括物理资源层、虚拟资源层、数据访问层、对外服务层、安全链路层、业务功能层和系统表示层;测试方法分别测试云平台的查询事务响应时间、最大并发用户数和查询事务每秒事务数,用来评价云平台并发性能。本发明用于测试云平台的并发性能。

    MapReduce故障注入套件
    37.
    发明公开

    公开(公告)号:CN104331324A

    公开(公告)日:2015-02-04

    申请号:CN201410613333.1

    申请日:2014-11-04

    Abstract: MapReduce故障注入套件,属于基于MapReduce的故障注入领域。解决了现有故障注入套件对Hadoop中的MapReduce进行故障注入复杂的问题。本发明包括管理模块、本地文件和目录故障注入模块、节点和进程故障注入模块和网络故障注入模块;管理模块用于负责存储、分析将用户输入的命令,进而调用相应的故障注入工具完成用户指定的故障注入工作;本地文件和目录故障注入模块用于将用户指定的故障注入到系统中指定目录或文件读写过程中;节点和进程故障注入模块用于将用户指定的故障注入到系统中的指定节点或进程中;网络故障注入模块用于将用户指定的故障注入到网络中。本发明主要对于MapReduce进行故障注入。

    基于STAF的高端容错机故障注入自动化测试平台及方法

    公开(公告)号:CN102354298A

    公开(公告)日:2012-02-15

    申请号:CN201110212490.8

    申请日:2011-07-27

    Abstract: 基于STAF的高端容错机故障注入自动化测试平台及方法,涉及故障注入技术。本发明提供了一种适用于高端容错计算机故障注入测试的自动化测试平台及方法。本发明采用软件嵌入分布式测试环境实现,所述软件中的应用层为运行在总控端服务中的应用程序,利用关系型数据库和文件系统来管理自动化测试过程中的数据和信息,并提供友好的图形界面;代理层运行在应用层和实现层中间实现任务代理,负责执行用户从界面中提交的自动化测试任务;实现层封装了自动化测试控制服务器与各种平台的测试代理间通信、执行各种自动化测试具体操作。本发明是基于开源的自动化测试工具STAF构建的、分布式的、自动化的、可集成多种软件故障注入工具的故障注入平台。

    一种面向K3s服务迁移的IP一致性方法

    公开(公告)号:CN119652895A

    公开(公告)日:2025-03-18

    申请号:CN202411769758.1

    申请日:2024-12-04

    Abstract: 一种面向K3s服务迁移的IP一致性方法,属于基于K3s的边缘计算技术领域。为解决现有实现服务迁移对客户端的透明性技术带来的性能和故障容忍方面的问题,本发明进行服务状态迁移时,源节点服务状态迁移模块将请求信息同步给目标节点服务状态迁移模块,对网络配置进行修改;源节点IP迁移模块获取源服务Pod的IP信息写入IP缓存文件,NFS将IP缓存文件同步至目标节点IP迁移模块;目标节点网络插件调用目标节点IP迁移模块读取IP缓存文件,目标节点网络插件将读取的IP分配给目标服务Pod;目标节点服务状态迁移模块使用检查点文件对目标服务Pod进行状态恢复,目标节点网络状态迁移模块对目标节点的网络配置进行修改。

    一种基于MapReduce的大规模负载测试方法及其评价方法

    公开(公告)号:CN116795552B

    公开(公告)日:2024-06-14

    申请号:CN202310830308.8

    申请日:2023-07-07

    Abstract: 一种基于MapReduce的大规模负载测试方法及其评价方法,属于计算机技术领域。为解决大规模分布式负载测试的精度和性能问题。本发明生成大规模负载测试任务文件;分布式缓存对大规模负载测试任务文件进行分发:Hadoop分布式文件系统对大规模负载测试任务文件进行负载测试任务文件的预处理,然后插入同步检测点,得到Map任务分片数据;对得到的Map任务分片数据输入到Map任务进行大规模负载模拟测试,得到大规模负载模拟测试中间数据输入到Reduce任务进行数据分析、数据回收,将Reduce输出结果存储到Hadoop分布式文件系统中。本发明实现测试工具的自动化部署、启动和关闭,具有良好的容错性。

Patent Agency Ranking