一种基于内存数据比对的改进方法

    公开(公告)号:CN115408425A

    公开(公告)日:2022-11-29

    申请号:CN202210952302.3

    申请日:2022-08-09

    Abstract: 本发明涉及一种基于内存数据比对的改进方法,所述方法包括以下步骤:步骤1:预设数据读取脚本、指定比对索引列、预设数据读取阈值;步骤2:配置hash分片参数、配置数据存储阈值;步骤3:内存中创建目标数据临时存储单元,读取目标数据;步骤4:目标数据hash计算分片存储到内存对应存储单元中;步骤5:目标数据消费、存储到本地文件数据库rocksdb中;步骤6:内存中创建源数据临时存储单元,步骤7:内存源数据监控,步骤8:使用动态代理技术动态创建结果表实例,并将数据比对明细写入;该技术方案采用多线程、基于高效内存队列将数据按批装入内存多次进行对比,同时利用数据分页、分片等技术,从而达到数据的高效比对,有效避免服务宕机现象。

    一种分布式、时序、高并发下性能测试工具收集样本计算方法及系统

    公开(公告)号:CN115408214A

    公开(公告)日:2022-11-29

    申请号:CN202210952300.4

    申请日:2022-08-09

    Abstract: 本发明涉及一种分布式、时序、高并发下性能测试工具收集计算方法及系统,所述方法包括以下步骤:步骤1:引擎数据收集端处理;步骤2:汇总收集聚合端处理;步骤3:MQ队列临时存储处理;步骤4:汇总供聚合数据处理端,步骤5:数据输出展示。该方案在引擎数据收集端对样本分组数据收集,通过高效队列临时存储,在内存中按时间和样本来源进行数据压缩,压缩后样本再次聚合;在汇总收集聚合端对多引擎发送数据包采用多级队列对数据包接收,在内存中按时间序列对多主机多引擎发送到的数据包进行按时间和样本来源实时聚合;该方案在汇总收集聚合端已聚合样本,该技术方案提升了用户友好,提升了运行效率,降低了对网络带宽依赖。

Patent Agency Ranking