-
公开(公告)号:CN109522152B
公开(公告)日:2021-05-14
申请号:CN201811035867.5
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F11/14
Abstract: 本发明提供一种电镜数据灾备方法、存储介质和装置,该方法用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统,源端存储系统挂载于源端服务器,目标端存储系统挂载于目标端服务器,包括:步骤11:判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件;如果是,则根据当前剩余带宽确定进程数copynum,创建copynum个并行进程,每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统;步骤13:当任一进程结束后,返回步骤11,直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。基于本发明提供的电镜数据灾备方法,在不影响其他任务的前提下实现对电镜数据的快速灾备,避免数据丢失,保障数据安全。
-
公开(公告)号:CN108090118B
公开(公告)日:2020-09-18
申请号:CN201711082628.0
申请日:2017-11-07
Applicant: 清华大学
IPC: G06F16/16
Abstract: 本发明提供一种面向电镜数据存储系统的文件元数据增量扫描方法与系统,该方法包括:解析第一元数据信息文件得到第一全路径信息集合;获取文件系统所有数据文件的路径信息,生成第二全路径信息集合,对第二全路径信息集合和第一全路径信息集合做差集运算,得到待增全路径信息集合;对第一全路径信息集合和第二全路径信息集合做差集运算,得到待删全路径信息集合;将待增全路径信息集合中的每个文件路径相关的元数据写入第一元数据信息文件;同时删除第一元数据信息文件中待删全路径信息集合相关的元数据。本发明提供的一种面向电镜数据存储系统的文件元数据增量扫描方法与系统,基于增量更新,节省了处理时间,对文件系统元数据实现了快速扫描和更新。
-
公开(公告)号:CN111010189A
公开(公告)日:2020-04-14
申请号:CN201910999289.5
申请日:2019-10-21
Applicant: 清华大学
Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先获取数据集与多路压缩策略的对应关系,对获取的各数据集与多路压缩策略的对应关系进行训练,得到一分类模型;将待压缩数据集输入所述分类模型,得到待压缩数据集对应的多路压缩策略;根据待压缩数据集对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地为待压缩数据集确定合适的多路压缩策略进行压缩,达到提高数据压缩率的目的。
-
公开(公告)号:CN108121925A
公开(公告)日:2018-06-05
申请号:CN201711178893.9
申请日:2017-11-23
Applicant: 清华大学
IPC: G06K1/12
CPC classification number: G06K1/12
Abstract: 本发明提供一种电镜数据标签,该电镜数据标签与电镜数据关联,用于保存电镜数据的相关信息;电镜数据标签的预设内容包括:课题种类、实验名称、数据采集时长、数据采集设备、分辨率精度、课题代号、样本代号、样品类型、样品帧尺寸宽、样品帧尺寸高、制样条件1、制样条件2、放大倍数、采样条件、数据期望精度、所属课题组、所属老师、合作课题组和合作老师。基于本发明提供的电镜数据标签,可以对大数据系统中存储的电镜数据实施多维度的分析和管理。
-
公开(公告)号:CN118113665A
公开(公告)日:2024-05-31
申请号:CN202410308268.5
申请日:2024-03-18
Applicant: 清华大学
IPC: G06F16/14 , G06F16/172 , G06F16/174 , G06F16/538
Abstract: 本公开是关于一种数据复现方法、装置、系统和计算机可读存储介质。该方法包括:响应于接收到登录节点发送的检索请求,确定所述检索请求中的当前文件是否在集群存储之内;响应于所述当前文件在集群存储之内,确定所述检索请求是否包含更新指令;响应于所述检索请求包含更新指令,从集群存储获取并解压所述当前文件,得到解压后的目标数据;将所述目标数据进行可视化处理得到图像数据,所述图像数据用于在与所述登录节点连接的移动终端进行图形化展示。本实施例可以无需占用集群存储的存储空间即可显示,节省集群存储空间。
-
公开(公告)号:CN113778908A
公开(公告)日:2021-12-10
申请号:CN202111078307.X
申请日:2021-09-15
Applicant: 清华大学
Abstract: 本发明公开了一种内存访问管理方法和系统,包括:在内存中建立数据存储池,其中包括多个数据存储区;若某一线程所要访问的索引位置位于其当前访问的数据包中,则直接返回其当前访问的存储区中的该索引位置的物理地址,否则,筛选出该索引位置的存储区预选行和所属列,并返回筛选出的存储区中的该索引位置的物理地址;在未能筛选出该索引位置的存储区预选行和所属列时,选则出进行数据替换的存储区,将该存储区中的数据包与虚拟内存中包含该索引位置的数据包进行数据替换,并返回数据替换后的该存储区中的该索引位置的物理地址。本发明实现了内存访问控制与应用程序之间的解耦,并避免了应用程序因内存空间不足而运行失败的问题。
-
公开(公告)号:CN108052524B
公开(公告)日:2020-05-22
申请号:CN201711082627.6
申请日:2017-11-07
Applicant: 清华大学
Abstract: 本发明提供一种面向电镜数据存储系统的文件元数据获取方法与系统,该方法包括:步骤A‑1:扫描文件系统所存储的数据文件目录,生成第一目录集合;步骤A‑2:将第一目录集合中的目录平均分配生成第一目录分组集合,第一目录分组集合包括M个目录分组;步骤A‑3:启动M个进程用于扫描M个目录分组的数据文件路径信息,得到第一全路径集合;步骤A‑4:将第一全路径集合中的路径平均分配生成第一路径分组集合,第一路径分组集合包括N个路径分组;步骤A‑5:启动N个进程用于获取N个路径分组中每个数据文件的元数据,得到第一元数据集合。本发明提供的面向电镜数据存储系统的文件元数据获取方法与系统,将扫描普通的单进程扫描更改为分步多进程扫描,提高了整体处理效率,节省了处理时间。
-
公开(公告)号:CN110784227A
公开(公告)日:2020-02-11
申请号:CN201910999070.5
申请日:2019-10-21
Applicant: 清华大学
IPC: H03M7/30
Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先配置数据集的特征信息和多路压缩策略的对应关系;提取待压缩数据集的特征信息;根据所述对应关系确定待压缩数据集的特征信息对应的多路压缩策略;根据待压缩数据集的特征信息对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地根据数据集的具体特征选择合适的多路压缩策略对数据集进行压缩,达到提高数据压缩率的目的。
-
公开(公告)号:CN108092783A
公开(公告)日:2018-05-29
申请号:CN201611031642.3
申请日:2016-11-22
Applicant: 清华大学
Abstract: 本申请公开了一种网格计算的计费方法,包括:在每个预设的费用统计周期到达时,获取在本次计费时间段内各用户的工作日志;对于每个所述用户,根据所述工作日志中与该用户相关的工作日志中的计算资源开销数据,确定该用户在本次计费时间段内的计算资源开销;根据所述计算资源开销,计算该用户在本次计费时间段内产生的费用,并将所述费用通知给所述用户。采用本发明,可以对用户所使用的网格计算服务费用进行准确、客观地评估。
-
公开(公告)号:CN108090118A
公开(公告)日:2018-05-29
申请号:CN201711082628.0
申请日:2017-11-07
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明提供一种文件系统元数据的获取方法和系统,该方法包括:解析第一元数据信息文件得到第一全路径信息集合;获取文件系统所有数据文件的路径信息,生成第二全路径信息集合,对第二全路径信息集合和第一全路径信息集合做差集运算,得到待增全路径信息集合;对第一全路径信息集合和第二全路径信息集合做差集运算,得到待删全路径信息集合;将待增全路径信息集合中的每个文件路径相关的元数据写入第一元数据信息文件;同时删除第一元数据信息文件中待删全路径信息集合相关的元数据。本发明提供的一种文件系统元数据的获取方法和系统,基于增量更新,节省了处理时间,对文件系统元数据实现了快速扫描和更新。
-
-
-
-
-
-
-
-
-