基于时间序列预测的海量小文件存储性能优化方法及系统

    公开(公告)号:CN110968272B

    公开(公告)日:2021-01-01

    申请号:CN201911291844.5

    申请日:2019-12-16

    Abstract: 本发明公开了一种基于时间序列预测的海量小文件存储性能优化方法,属于信息存储领域,包括:收集带有时间信息的历史文件访问记录,得到数据集;将数据集预处理为离散的时间序列数据后,使用时间窗口在其上滚动产生训练数据集合,任意t时刻的训练数据以t‑n~t时刻的数据为输入数据,并以t+1时刻的数据为标签数据;基于循环神经网络建立时间序列预测模型,并利用由训练数据集合划分得到的训练集、验证集和测试集依次进行训练、验证与测试,从而得到目标模型;利用目标模型预测文件大小的变化趋势,以识别出其中的大文件和小文件;将大文件直接存储,将小文件基于时间序列聚合后存储。本发明能够优化海量小文件在分布式存储系统中的存储性能。

    卷积神经网络加速引擎、卷积神经网络加速系统及方法

    公开(公告)号:CN111178519B

    公开(公告)日:2022-08-02

    申请号:CN201911377012.5

    申请日:2019-12-27

    Abstract: 本发明公开了一种卷积神经网络加速引擎、卷积神经网络加速系统及方法,属于异构计算加速领域,引擎包括:全局缓存和物理PE矩阵;物理PE矩阵包括多个物理PE单元,物理PE单元用于执行行卷积操作以及相关的部分和累加操作;XY互联总线用于将输入特征图像数据、输出特征图像数据和卷积核参数从全局缓存传输到物理PE矩阵上,或者将物理PE矩阵产生的操作结果传输到全局缓存中;邻接互联总线用于在同一列物理PE单元之间传输中间结果;系统包括:3D‑Memory,其中每个Vault单元的内存控制器中集成了卷积神经网络加速引擎,用于完成卷积神经网络计算任务的一个子集;方法在系统的基础上进行逐层优化。本发明能够提高卷积神经网络的性能和能耗。

    卷积神经网络加速引擎、卷积神经网络加速系统及方法

    公开(公告)号:CN111178519A

    公开(公告)日:2020-05-19

    申请号:CN201911377012.5

    申请日:2019-12-27

    Abstract: 本发明公开了一种卷积神经网络加速引擎、卷积神经网络加速系统及方法,属于异构计算加速领域,引擎包括:全局缓存和物理PE矩阵;物理PE矩阵包括多个物理PE单元,物理PE单元用于执行行卷积操作以及相关的部分和累加操作;XY互联总线用于将输入特征图像数据、输出特征图像数据和卷积核参数从全局缓存传输到物理PE矩阵上,或者将物理PE矩阵产生的操作结果传输到全局缓存中;邻接互联总线用于在同一列物理PE单元之间传输中间结果;系统包括:3D-Memory,其中每个Vault单元的内存控制器中集成了卷积神经网络加速引擎,用于完成卷积神经网络计算任务的一个子集;方法在系统的基础上进行逐层优化。本发明能够提高卷积神经网络的性能和能耗。

    基于时间序列预测的海量小文件存储性能优化方法及系统

    公开(公告)号:CN110968272A

    公开(公告)日:2020-04-07

    申请号:CN201911291844.5

    申请日:2019-12-16

    Abstract: 本发明公开了一种基于时间序列预测的海量小文件存储性能优化方法,属于信息存储领域,包括:收集带有时间信息的历史文件访问记录,得到数据集;将数据集预处理为离散的时间序列数据后,使用时间窗口在其上滚动产生训练数据集合,任意t时刻的训练数据以t-n~t时刻的数据为输入数据,并以t+1时刻的数据为标签数据;基于循环神经网络建立时间序列预测模型,并利用由训练数据集合划分得到的训练集、验证集和测试集依次进行训练、验证与测试,从而得到目标模型;利用目标模型预测文件大小的变化趋势,以识别出其中的大文件和小文件;将大文件直接存储,将小文件基于时间序列聚合后存储。本发明能够优化海量小文件在分布式存储系统中的存储性能。

Patent Agency Ranking