-
公开(公告)号:CN115407933A
公开(公告)日:2022-11-29
申请号:CN202210770056.X
申请日:2022-06-30
Applicant: 中国科学院计算技术研究所 , 联想(北京)有限公司
IPC: G06F3/06 , G06F16/13 , G06F16/172
Abstract: 本发明提出一种基于非易失内存的文件元数据存储方法和系统,包括:在非易失内存中初始化由目录、目录子集、元数据块和元数据项构成的元数据存储结构,其中所有元数据块集中存储于该非易失内存的元数据存储池文件;获取待存储的文件元数据,选取目录中未饱和的目录子集作为目标子集,继续选择目标子集中未饱和的元数据块作为目标数据块,选定该目标数据块中空闲元数据项作为目标项;该待存储的文件元数据写入该目标项。使用本申请提出的设计结构和相关方法,可以显著提升文件系统元数据访问性能,有效地解决大数据应用环境下文件系统并发访问性能不足的问题。
-
公开(公告)号:CN110262922A
公开(公告)日:2019-09-20
申请号:CN201910403522.9
申请日:2019-05-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种基于副本数据日志的纠删码更新方法,包括:接收更新数据,并将其保存至数据端的副本数据日志;当该副本数据日志满时,以该更新数据和该数据块获得校验差值,以该校验差值更新对应的数据块,并将该校验差值转发至存储校验块的校验端;将该校验差值保存至该校验端的校验日志,当该校验日志满时,通过该校验差值生成校验数据,以该校验数据更新校验块。本发明提出的纠删码更新方法,在保证一致性的前提下,减少更新过程中产生的计算开销、网络开销和磁盘寻道开销,提高了纠删码的更新效率,在一些应用场景相对其他更新方法,达到1个数量级的性能提升。
-
公开(公告)号:CN110046160A
公开(公告)日:2019-07-23
申请号:CN201910195853.8
申请日:2019-03-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供的一种基于条带的一致性哈希存储系统构建方法及相应的数据放置机制和节点变化方法,以条带为单位组织数据块,以节点组为单位组织存储节点,将条带放置到节点组上。节点在组织成节点组时,每一个节点组内相同节点的数目不大于条带内检验块个数,从而保证数据块的放置满足纠删码的MDS性质,保证数据存储的可靠性。同时,本发明采用一致性哈希算法,选取差异度最低的节点组进行节点组间的替换,通过一致性哈希算法,只有部分虚节点上数据的放置位置发生变化,通过选取差异度最低的节点组作为替换节点组,只有变化节点位置上的节点不同,其他对应位置上的节点均相同,此时迁移的数据量最小。
-
公开(公告)号:CN106844098A
公开(公告)日:2017-06-13
申请号:CN201611248332.7
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
Abstract: 本发明提出一种基于十字交叉纠删编码的快速数据恢复方法及系统,该方法包括数据写入时,按照LRC编码方式进行计算,将全局编码块两两分组,将每个分组内的全局编码块分成两部分,将全局编码块的后半部分与另一块全局编码块的前半部分异或后,写入当前全局编码块的后半部分中,当第一个全局编码块丢失时,读取数据块的后半部分,获得丢失数据块的未做异或前的两个后半部分,另一块全局编码块的后半部分异或操作前跟后做异或操作得到丢失数据块的前半部分,丢失数据块的异或前数据与另一块全局编码块的前半部分做异或操作得到丢失数据块的后半部分;数据按照条带方式刷回到对应的磁盘中进行存储,当数据写入存储服务器后,进行异步纵向编码计算。
-
公开(公告)号:CN101163252B
公开(公告)日:2011-10-26
申请号:CN200710178188.9
申请日:2007-11-27
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种多媒体视频图像的缩放方法,对视频图像执行色彩空间变换操作,使得图像满足在变换后的色彩空间中,三个色彩分量包含的图像的信息量不相同,图像的信息集中于其中一个色彩分量;再在变换后的色彩空间对视频图像进行缩放。对包含视频图像的最多的图像信息的色彩分量,在放大时采用使色彩分量获得更好效果的复杂插值方法,对其它的色彩分量,采用相对简单的插值方法,进行视频图像的缩放处理。本发明的多媒体视频图像的缩放方法,其能够很好地保留视频图像细节,具有非常好的缩放效果;尤其在用于低码率、网络环境状况恶劣条件下的图像质量较差的视频时,可以获得比其他方法更加出色的视频缩放效果。
-
公开(公告)号:CN101163252A
公开(公告)日:2008-04-16
申请号:CN200710178188.9
申请日:2007-11-27
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种多媒体视频图像的缩放方法,对视频图像执行色彩空间变换操作,使得图像满足在变换后的色彩空间中,三个色彩分量包含的图像的信息量不相同,图像的信息集中于其中一个色彩分量;再在变换后的色彩空间对视频图像进行缩放。对包含视频图像的最多的图像信息的色彩分量,在放大时采用使色彩分量获得更好效果的复杂插值方法,对其它的色彩分量,采用相对简单的插值方法,进行视频图像的缩放处理。本发明的多媒体视频图像的缩放方法,其能够很好地保留视频图像细节,具有非常好的缩放效果;尤其在用于低码率、网络环境状况恶劣条件下的图像质量较差的视频时,可以获得比其他方法更加出色的视频缩放效果。
-
公开(公告)号:CN113504874A
公开(公告)日:2021-10-15
申请号:CN202110703033.2
申请日:2021-06-24
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于负载感知的自适应粒度纠删码编解码加速方法及系统。通过针对当前节点的编解码负载判断当前节点的计算压力,根据计算压力,区分当前的优化方向,在面向低负载时,根据最佳切分粒度分布图进行数据切分和计算,在面向高负载时,则根据任务压力进行自适应的粒度聚合。
-
公开(公告)号:CN110046160B
公开(公告)日:2021-07-20
申请号:CN201910195853.8
申请日:2019-03-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供的一种基于条带的一致性哈希存储系统构建方法及相应的数据放置机制和节点变化方法,以条带为单位组织数据块,以节点组为单位组织存储节点,将条带放置到节点组上。节点在组织成节点组时,每一个节点组内相同节点的数目不大于条带内检验块个数,从而保证数据块的放置满足纠删码的MDS性质,保证数据存储的可靠性。同时,本发明采用一致性哈希算法,选取差异度最低的节点组进行节点组间的替换,通过一致性哈希算法,只有部分虚节点上数据的放置位置发生变化,通过选取差异度最低的节点组作为替换节点组,只有变化节点位置上的节点不同,其他对应位置上的节点均相同,此时迁移的数据量最小。
-
公开(公告)号:CN110262922B
公开(公告)日:2021-02-09
申请号:CN201910403522.9
申请日:2019-05-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种基于副本数据日志的纠删码更新方法,包括:接收更新数据,并将其保存至数据端的副本数据日志;当该副本数据日志满时,以该更新数据和该数据块获得校验差值,以该校验差值更新对应的数据块,并将该校验差值转发至存储校验块的校验端;将该校验差值保存至该校验端的校验日志,当该校验日志满时,通过该校验差值生成校验数据,以该校验数据更新校验块。本发明提出的纠删码更新方法,在保证一致性的前提下,减少更新过程中产生的计算开销、网络开销和磁盘寻道开销,提高了纠删码的更新效率,在一些应用场景相对其他更新方法,达到1个数量级的性能提升。
-
公开(公告)号:CN111680797A
公开(公告)日:2020-09-18
申请号:CN202010381206.9
申请日:2020-05-08
Applicant: 中国科学院计算技术研究所
IPC: G06N3/12
Abstract: 本发明实施例提供了一种DNA活字印刷机、基于DNA的数据存储设备和方法,所述DNA活字印刷机包括:PCR反应区,用于通过PCR反应将获取的多种DNA活字序列按序连接为表示二进制信息的DNA序列,其中,每种DNA活字序列是根据预定的映射规则预先合成的单链DNA片段,所述预定的映射规则用于定义特定的多位二进制码与特定的碱基序列之间的映射关系,每个单链DNA片段中包含与某个特定的多位二进制码对应的碱基序列;PCR产物纯化区,用于对经过PCR反应的产物进行纯化;机械臂;以及机械臂控制模块,用于控制所述机械臂以获取所述DNA活字序列,以及控制所述机械臂作为PCR反应区的产物和PCR产物纯化区的产物的转移工具,本发明能够提供高效和高性价比的DNA存储。
-
-
-
-
-
-
-
-
-