一种基于数据迁移的数据管理方法及相关设备

    公开(公告)号:CN118312472A

    公开(公告)日:2024-07-09

    申请号:CN202410490129.9

    申请日:2024-04-23

    Abstract: 本申请实施例提供了一种基于数据迁移的数据管理方法及相关设备,用于将具有相关性的数据块进行整理,以尽可能提高迁移效率。本申请实施例方法包括:获取第一待管理文件和第二待管理文件;其中,所述第一待管理文件包括对应不同类别的第一待分类数据块,所述第二待管理文件包括对应不同类别的第二待分类数据块;确定所述第一待分类数据块于所述第一待管理文件的第一标签分类结果;基于所述第一标签分类结果,确定所述第二待分类数据块于所述第二待管理文件的第二标签分类结果;根据所述第二标签分类结果对所述第一待分类数据块及所述第二待分类数据块进行聚类整理,确定存在关联的目标数据块,以将所述目标数据块进行迁移存储。

    联邦学习的通信开销压缩方法、装置、设备及介质

    公开(公告)号:CN114422606A

    公开(公告)日:2022-04-29

    申请号:CN202210249791.6

    申请日:2022-03-15

    Abstract: 本申请公开了一种联邦学习的通信开销压缩方法、装置、设备及介质,包括:根据联邦学习中的模型参数在训练前后的变化幅度确定基本参数,并将基本参数所在的卷积核中的所有模型参数确定为待传输参数;基于卷积核的目标特征将卷积核中的待传输参数封装至不同数据包中;对不同数据包中的待传输参数进行二值量化,并对待传输参数对应的索引进行位置编码,如此一来,由于一个卷积核内所有待传输参数的位置信息都是固定的,因此一个索引可以反应整个卷积核中所有待传输参数的位置信息,一定程度上降低了索引的通信开销,同时,本申请通过对待传输参数进行量化,对待传输参数对应的索引进行位置编码,进一步减少了通信开销。

    数据压缩方法、装置、设备及存储介质

    公开(公告)号:CN119719054A

    公开(公告)日:2025-03-28

    申请号:CN202411781662.7

    申请日:2024-12-05

    Abstract: 本申请实施例公开了数据压缩方法及相关装置。本申请实施例方法包括:通过遍历每个分组下待压缩数据中的各个数据单元,计算各个数据单元之间的相似度;根据各个数据单元之间的相似度,确定各个数据单元之间的依赖关系;根据各个数据单元之间的依赖关系,生成依赖关系树;对依赖关系树利用图遍历算法生成各个数据单元的排序结果;基于各个数据单元的排序结果,确定每个分组中各个数据单元的排列顺序,并对每个分组下的待压缩数据进行数据压缩。本申请通过计算数据单元间的相似度并生成依赖关系树,能够挖掘数据间的潜在关联性;通过对依赖关系树利用图遍历算法生成的排序结果来优化数据单元的排列顺序,能够进一步压缩冗余信息,提升数据压缩率。

    联邦学习的通信开销压缩方法、装置、设备及介质

    公开(公告)号:CN114422606B

    公开(公告)日:2022-06-28

    申请号:CN202210249791.6

    申请日:2022-03-15

    Abstract: 本申请公开了一种联邦学习的通信开销压缩方法、装置、设备及介质,包括:根据联邦学习中的模型参数在训练前后的变化幅度确定基本参数,并将基本参数所在的卷积核中的所有模型参数确定为待传输参数;基于卷积核的目标特征将卷积核中的待传输参数封装至不同数据包中;对不同数据包中的待传输参数进行二值量化,并对待传输参数对应的索引进行位置编码,如此一来,由于一个卷积核内所有待传输参数的位置信息都是固定的,因此一个索引可以反应整个卷积核中所有待传输参数的位置信息,一定程度上降低了索引的通信开销,同时,本申请通过对待传输参数进行量化,对待传输参数对应的索引进行位置编码,进一步减少了通信开销。

    面向时序浮点数据的有损压缩方法、解压方法及设备

    公开(公告)号:CN116996077A

    公开(公告)日:2023-11-03

    申请号:CN202310953173.4

    申请日:2023-07-31

    Abstract: 本申请实施例公开了面向时序浮点数据的有损压缩方法、解压方法及设备,用于提升时序浮点数据的数据压缩率以及解压速度。本申请实施例方法包括:获取浮点数组,浮点数组包括依时序排列的多个浮点数据;依次将浮点数组中其他浮点数据确定为目标浮点数据,并从浮点数组中确定目标浮点数据的前一浮点数据;将目标浮点数据与前一浮点数据之差,确定为目标浮点数据的差量数据;基于预设误差界对差量数据进行量化处理,获得目标浮点数据对应的量化差量数据,目标浮点数据对应的有损数据与目标浮点数据之差不大于预设误差界,目标浮点数据对应的有损数据通过对目标浮点数据对应的量化差量数据执行反差量化处理得到;对每个量化差量数据进行压缩处理。

    数据处理方法以及相关设备
    7.
    发明公开

    公开(公告)号:CN116795808A

    公开(公告)日:2023-09-22

    申请号:CN202310913228.9

    申请日:2023-07-24

    Abstract: 本申请实施例公开了数据处理方法以及相关设备,用于在降低计算成本的同时,保证特征计算的准确率以及压缩率。本申请实施例方法包括:确定每个数据块对应的多个第一特征值,每个第一特征值表示数据块包含的部分数据内容的特征;根据每个第一特征值所对应部分数据内容,将每个数据块对应的多个第一特征值划分为多组内容分簇,每个数据块对应的内容分簇数量等于预设特征数量;对每个第一特征值执行一次线性变换操作,获得每个第一特征值对应的第二特征值;将每个内容分簇对应的取值最小的第二特征值确定为每个内容分簇所对应数据块的目标特征值;根据每个数据块对应的多个目标特征值,确定每个数据块对应的相似数据块。

    一种神经网络差量压缩方法、装置、电子设备及存储介质

    公开(公告)号:CN114418098A

    公开(公告)日:2022-04-29

    申请号:CN202210255131.9

    申请日:2022-03-16

    Abstract: 本发明提供一种神经网络差量压缩方法、装置、电子设备及存储介质,该方法在获取到神经网络的两个相邻训练版本时,可为这些版本所包含的各网络层生成专用的量化参数,并利用这些量化参数为对应的网络层进行浮点参数量化处理,得到训练版本对应的整数版本,再利用这些整数版本替代训练版本进行差量数据计算及差量压缩。换而言之,本发明为神经网络模型的每一网络层设置了生成的专用的量化参数,可采用不同力度对每一网络层进行针对性量化,相较于全局量化策略额外考虑了神经网络模型不同网络层之间的参数取值差异,能够有效避免将整个网络的浮点数参数看作一个集合来确定全局的量化参数所导致的量化误差增大及模型的精度下降问题。

Patent Agency Ranking