一种数据处理方法、装置、存储介质及电子设备

    公开(公告)号:CN119025438A

    公开(公告)日:2024-11-26

    申请号:CN202411062586.4

    申请日:2024-08-05

    Abstract: 本申请公开了一种数据处理方法、装置、存储介质及电子设备,涉及数据处理技术领域,首先获取目标磁盘的空间信息;再基于空间信息,对目标磁盘中的第一数据块进行初始化处理,其中,第一数据块为空间已经被磁盘元数据占用的数据块;然后利用贪心算法对初始化处理后的第一数据块进行排序重组,得到重组后的磁盘空间布局;根据重组后的磁盘空间布局确定目标磁盘的空间布局。与目前现有技术相比,本申请利用贪心算法对第一数据块进行合并重组,确定了最优的目标磁盘的空间布局,实现了磁盘空间的高效重组和优化。能够更快速地处理碎片化问题,并充分利用磁盘空间,从而提高文件的读取速度、系统的响应性能和存储资源的利用率。

    一种数据迁移方法、装置、电子设备、芯片及介质

    公开(公告)号:CN118796792A

    公开(公告)日:2024-10-18

    申请号:CN202311149635.3

    申请日:2023-09-06

    Inventor: 邓娟 刘娟 董宇

    Abstract: 本公开提供一种数据迁移方法、装置、电子设备、芯片及介质,涉及数据处理技术领域。该数据迁移方法包括:基于第一数据仓库中数据的迁移规则,确定待迁移数据清单;根据待迁移数据清单,将待迁移数据迁移至第二数据仓库形成已迁移数据;确定已迁移数据的数据一致性,以确定是否迁移成功。通过本公开提供的技术方案,解决了相关的海量数据迁移技术方案高度依赖人工操作、缺少数据稽核的有效方法,进而导致的迁移效率低、迁移后数据准确性无法保障的问题,提高了数据迁移的效率和质量。

    一种话单文件的处理方法、装置及电子设备

    公开(公告)号:CN113065884A

    公开(公告)日:2021-07-02

    申请号:CN202010244051.4

    申请日:2020-03-31

    Inventor: 邓娟 陈伟 曾丽

    Abstract: 本发明实施例提供了一种话单文件的处理方法、装置及电子设备,该方法包括:获取预设时间段内采集进程的CPU平均使用率、预设时间段内采集进程的内存平均使用率,并根据当前主机CPU使用率、当前主机内存使用率、预设时间段内采集进程的CPU平均使用率、预设时间段内采集进程的内存平均使用率,按照预设规则,确定待发起的采集进程的目标数量,启动目标数量的采集进程,对待处理的话单文件进行处理。通过本发明实施例,有效解决了经营分析系统在短时间内对采集到的大量话单文件进行处理时,容易造成系统崩溃的问题。

    一种MySQL数据库的数据备份方法、装置及电子设备

    公开(公告)号:CN118796554A

    公开(公告)日:2024-10-18

    申请号:CN202410715384.9

    申请日:2024-06-04

    Abstract: 本申请涉及一种MySQL数据库的数据备份方法、装置及电子设备,涉及数据业务领域。在本申请内容中,通过预设有备份条件,在满足备份条件后不断从数据库中提取数据作为备份数据,并进行数据压缩,生成待存储数据。并依据待存储数据的数据大小,进行缓存池的配置,从而接收存储数据,实现对存储数据的备份。在本申请的技术方案中,预设有备份条件,在MySQL数据库中数据满足备份条件后,快速执行数据备份流程,并进行缓存池的配置,快速实现对待存储数据的备份。

    一种话单文件的处理方法、装置及电子设备

    公开(公告)号:CN113065884B

    公开(公告)日:2024-09-27

    申请号:CN202010244051.4

    申请日:2020-03-31

    Inventor: 邓娟 陈伟 曾丽

    Abstract: 本发明实施例提供了一种话单文件的处理方法、装置及电子设备,该方法包括:获取预设时间段内采集进程的CPU平均使用率、预设时间段内采集进程的内存平均使用率,并根据当前主机CPU使用率、当前主机内存使用率、预设时间段内采集进程的CPU平均使用率、预设时间段内采集进程的内存平均使用率,按照预设规则,确定待发起的采集进程的目标数量,启动目标数量的采集进程,对待处理的话单文件进行处理。通过本发明实施例,有效解决了经营分析系统在短时间内对采集到的大量话单文件进行处理时,容易造成系统崩溃的问题。

    一种数据清洗方法和装置

    公开(公告)号:CN113064885B

    公开(公告)日:2023-10-27

    申请号:CN202011604136.5

    申请日:2020-12-29

    Abstract: 本发明公开了一种数据清洗方法和装置,用以解决数据清洗的效率低的问题。本方案包括:获取待清洗数据,待清洗数据包括至少一个目标数据;根据清洗策略库确定与各目标数据的数据类型相匹配的目标清洗策略;根据各目标数据对应的目标清洗策略对待清洗数据中异常的目标数据执行清洗处理,以得到符合目标数据格式的清洗后的目标数据;将清洗后数据和对异常的目标数据执行清洗处理的信息关联存储至数据。本发明针对于待清洗数据的数据类型确定相匹配的清洗策略,满足各类数据处理需求,提高数据清洗后的数据质量,有效提高数据清洗速度。关联存储清洗后数据和执行清洗处理的信息,避免数据丢失,保证数据质量。

    一种数据冷热程度评估方法及服务器

    公开(公告)号:CN113360553A

    公开(公告)日:2021-09-07

    申请号:CN202010140501.5

    申请日:2020-03-03

    Abstract: 本发明实施例公开了一种数据冷热程度评估方法及服务器,用于解决现有的数据冷热程度评估方法对冷热数据的评估不精准的问题,该方法包括:获取数据仓库的源数据表中目标数据的访问信息;根据所述目标数据的访问信息,分析所述目标数据被应用的目标业务,并确定所述目标业务对所述目标数据的需求程度;根据所述目标数据的被使用行为,确定数据冷热度评估要素;根据所述目标数据的业务需求程度及其权重,所述数据冷热度评估要素及其权重,确定所述目标数据的冷热值,以评估所述目标数据的冷热程度。因此,本发明结合目标数据的业务需求程度和数据冷热度评估要素,来全方位评估目标数据的冷热程度,提升数据冷热度的评估准确性。

    数据处理方法、装置及电子设备
    9.
    发明公开

    公开(公告)号:CN118796936A

    公开(公告)日:2024-10-18

    申请号:CN202311654362.8

    申请日:2023-12-01

    Inventor: 邓娟

    Abstract: 本申请公开了一种数据处理方法、装置及电子设备,涉及云计算与大数据技术领域。方法包括:采集系统资源信息和数据库性能指标;通过系统资源信息和数据库性能指标,检测从数据库与主数据库之间是否存在同步延迟;在存在同步延迟的情况下,采集磁盘压力参数,并通过磁盘压力参数判断磁盘的读写压力;在判定磁盘的写压力较大的情况下,计算刷盘机制的改写值,对数据库的日志刷盘机制进行改写。与相关技术方案中,主从数据同步延迟大时通过人工介入的方式相比,本申请通过计算最优刷盘机制的改写值,并基于改写值对数据库的日志刷盘机制进行改写,从而提高数据写入磁盘的效率,解决主从数据库同步时会存在延迟导致磁盘写入效率降低的问题。

    一种查询语句的处理方法、装置、存储介质及电子设备

    公开(公告)号:CN118796857A

    公开(公告)日:2024-10-18

    申请号:CN202410003922.1

    申请日:2024-01-02

    Inventor: 邓娟 高杨

    Abstract: 本申请公开了一种查询语句的处理方法、装置、存储介质及电子设备,涉及数据处理技术领域,首先对SQL查询语句进行解析;再根据所述SQL查询语句的解析结果,获取所述SQL查询语句的初始执行计划信息;然后基于所述初始执行计划信息,利用粒子群算法分析所述SQL查询语句的执行计划的最优化参数;进而依据所述最优化参数,确定所述SQL查询语句最优的执行计划信息。本申请的技术方案通过解析SQL查询语句,获取执行计划信息,再利用粒子群算法自动搜索和优化执行计划,提高了优化效率与SQL数据库的查询性能,减少了人工优化的成本,有效的避免了资源浪费。

Patent Agency Ranking