-
公开(公告)号:CN114564457B
公开(公告)日:2023-07-14
申请号:CN202210173403.0
申请日:2022-02-24
Applicant: 滨州东方地毯有限公司
IPC: G06F16/174 , G06F16/17 , G06F3/06
Abstract: 本发明提供了一种针对数据库文件的存储空间优化方法包括以下步骤:基于读写分离数据库基础架构,设置时间窗口使用数据处理线程模型积累由代理实例分流向只写实例的数据写请求;当时间窗口内数据积累满足时间窗口数据落盘条件后,采样探测时间窗口内的数据,确定对应数据是否适合进行压缩;若确定时间窗口内的数据适合进行压缩,则获取当前系统的工作负载信息,工作负载信息包括但不限于CPU和内存,构建基于工作负载的动态压缩策略,选择数据压缩算法对时间窗口内积累的数据文件进行压缩处理存储,通过本发明的技术方案,提高了存储空间利用率,降低了数据总拥有成本,降低了数据存储与备份传输成本。
-
公开(公告)号:CN114584486A
公开(公告)日:2022-06-03
申请号:CN202210165952.3
申请日:2022-02-23
Applicant: 滨州东方地毯有限公司
Abstract: 本发明提供了一种基于分布式的网络资产扫描探测平台及扫描探测方法,平台包括:基于Kafka分布式消息发布与订阅系统构建的分布式网络资产扫描探测子系统;基于ElasticSearch分布式海量数据存储与检索系统构建的分布式海量数据弹性存取子系统;利用Python编程语言,基于Flask框架、elasticsearch6框架、kafka‑python框架和pymysql框架编写的Web Server服务端,Web Server服务端与分布式网络资产扫描探测子系统相连接,分布式网络资产扫描探测子系统与分布式海量数据弹性存取子系统相连接;MySQL数据库,Web Server服务端利用pymysql框架与MySQL数据库相连接;利用Vue框架构建的Web网页,Web网页与Web Server服务端相连接。通过本发明的技术方案,实现对网络资产扫描与探测,而且并行化程度高、处理大规模扫描探测任务效率高。
-
公开(公告)号:CN114584486B
公开(公告)日:2023-09-29
申请号:CN202210165952.3
申请日:2022-02-23
Applicant: 滨州东方地毯有限公司
Abstract: 本发明提供了一种基于分布式的网络资产扫描探测平台及扫描探测方法,平台包括:基于Kafka分布式消息发布与订阅系统构建的分布式网络资产扫描探测子系统;基于ElasticSearch分布式海量数据存储与检索系统构建的分布式海量数据弹性存取子系统;利用Python编程语言,基于Flask框架、elasticsearch6框架、kafka‑python框架和pymysql框架编写的Web Server服务端,Web Server服务端与分布式网络资产扫描探测子系统相连接,分布式网络资产扫描探测子系统与分布式海量数据弹性存取子系统相连接;MySQL数据库,Web Server服务端利用pymysql框架与MySQL数据库相连接;利用Vue框架构建的Web网页,Web网页与Web Server服务端相连接。通过本发明的技术方案,实现对网络资产扫描与探测,而且并行化程度高、处理大规模扫描探测任务效率高。
-
公开(公告)号:CN114564457A
公开(公告)日:2022-05-31
申请号:CN202210173403.0
申请日:2022-02-24
Applicant: 滨州东方地毯有限公司
IPC: G06F16/174 , G06F16/17 , G06F3/06
Abstract: 本发明提供了一种针对数据库文件的存储空间优化方法包括以下步骤:基于读写分离数据库基础架构,设置时间窗口使用数据处理线程模型积累由代理实例分流向只写实例的数据写请求;当时间窗口内数据积累满足时间窗口数据落盘条件后,采样探测时间窗口内的数据,确定对应数据是否适合进行压缩;若确定时间窗口内的数据适合进行压缩,则获取当前系统的工作负载信息,工作负载信息包括但不限于CPU和内存,构建基于工作负载的动态压缩策略,选择数据压缩算法对时间窗口内积累的数据文件进行压缩处理存储,通过本发明的技术方案,提高了存储空间利用率,降低了数据总拥有成本,降低了数据存储与备份传输成本。
-
-
-