-
公开(公告)号:CN109460184B
公开(公告)日:2021-04-16
申请号:CN201811035834.0
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F3/06
Abstract: 本发明提供一种电镜数据转储方法、存储介质和装置,包括:步骤11:预设转储进程数为copynum,根据copynum确定源端服务器与目标端服务器的目标带宽,并配置源端服务器与目标端服务器之间的链路带宽不低于目标带宽;步骤13:在源端服务器创建copynum个并行进程,每个进程用于将第一预设目录下的一个待传输文件传输至第二预设目录下;监控copynum个进程,当任一进程结束后,再创建一个新的进程用于传输第一预设目录下另一个待传输文件,直至第一预设目录下的所有待传输文件均传输完毕。基于本发明提供的电镜数据转储方法,可以实现对电镜数据的快速转储,以支持对电镜数据的大数据管理。
-
公开(公告)号:CN109522152A
公开(公告)日:2019-03-26
申请号:CN201811035867.5
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F11/14
Abstract: 本发明提供一种电镜数据灾备方法、存储介质和装置,该方法用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统,源端存储系统挂载于源端服务器,目标端存储系统挂载于目标端服务器,包括:步骤11:判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件;如果是,则根据当前剩余带宽确定进程数copynum,创建copynum个并行进程,每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统;步骤13:当任一进程结束后,返回步骤11,直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。基于本发明提供的电镜数据灾备方法,在不影响其他任务的前提下实现对电镜数据的快速灾备,避免数据丢失,保障数据安全。
-
公开(公告)号:CN105005487A
公开(公告)日:2015-10-28
申请号:CN201510369044.6
申请日:2015-06-29
Applicant: 清华大学
IPC: G06F9/445
Abstract: 本发明公开了一种持续服务的高性能集群操作系统在线升级方法,包括:确定集群系统中的一批待升级计算节点,作业调度和资源管理系统将作业请求分配到待升级计算节点之外的计算节点上,在待升级计算节点处理完其节点上的作业请求后,隔离待升级计算节点,由集群装机系统进行待升级计算节点的操作系统的升级;完成升级后,作业调度和资源管理系统控制部分用户通过第二提交节点向高性能集群系统提交作业请求,并将该部分用户的作业请求分配到升级后的计算节点上;之后确定新一批待升级计算节点,重复升级步骤直至完成所有计算节点的操作系统升级。该方法可在保持持续服务的状态下对集群进行升级改造,且升级对用户的影响较小,提高了用户满意度。
-
-
公开(公告)号:CN110784227B
公开(公告)日:2021-07-30
申请号:CN201910999070.5
申请日:2019-10-21
Applicant: 清华大学
IPC: H03M7/30
Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先配置数据集的特征信息和多路压缩策略的对应关系;提取待压缩数据集的特征信息;根据所述对应关系确定待压缩数据集的特征信息对应的多路压缩策略;根据待压缩数据集的特征信息对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地根据数据集的具体特征选择合适的多路压缩策略对数据集进行压缩,达到提高数据压缩率的目的。
-
公开(公告)号:CN109522152B
公开(公告)日:2021-05-14
申请号:CN201811035867.5
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F11/14
Abstract: 本发明提供一种电镜数据灾备方法、存储介质和装置,该方法用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统,源端存储系统挂载于源端服务器,目标端存储系统挂载于目标端服务器,包括:步骤11:判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件;如果是,则根据当前剩余带宽确定进程数copynum,创建copynum个并行进程,每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统;步骤13:当任一进程结束后,返回步骤11,直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。基于本发明提供的电镜数据灾备方法,在不影响其他任务的前提下实现对电镜数据的快速灾备,避免数据丢失,保障数据安全。
-
公开(公告)号:CN108090118B
公开(公告)日:2020-09-18
申请号:CN201711082628.0
申请日:2017-11-07
Applicant: 清华大学
IPC: G06F16/16
Abstract: 本发明提供一种面向电镜数据存储系统的文件元数据增量扫描方法与系统,该方法包括:解析第一元数据信息文件得到第一全路径信息集合;获取文件系统所有数据文件的路径信息,生成第二全路径信息集合,对第二全路径信息集合和第一全路径信息集合做差集运算,得到待增全路径信息集合;对第一全路径信息集合和第二全路径信息集合做差集运算,得到待删全路径信息集合;将待增全路径信息集合中的每个文件路径相关的元数据写入第一元数据信息文件;同时删除第一元数据信息文件中待删全路径信息集合相关的元数据。本发明提供的一种面向电镜数据存储系统的文件元数据增量扫描方法与系统,基于增量更新,节省了处理时间,对文件系统元数据实现了快速扫描和更新。
-
公开(公告)号:CN111010189A
公开(公告)日:2020-04-14
申请号:CN201910999289.5
申请日:2019-10-21
Applicant: 清华大学
Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先获取数据集与多路压缩策略的对应关系,对获取的各数据集与多路压缩策略的对应关系进行训练,得到一分类模型;将待压缩数据集输入所述分类模型,得到待压缩数据集对应的多路压缩策略;根据待压缩数据集对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地为待压缩数据集确定合适的多路压缩策略进行压缩,达到提高数据压缩率的目的。
-
公开(公告)号:CN108121925A
公开(公告)日:2018-06-05
申请号:CN201711178893.9
申请日:2017-11-23
Applicant: 清华大学
IPC: G06K1/12
CPC classification number: G06K1/12
Abstract: 本发明提供一种电镜数据标签,该电镜数据标签与电镜数据关联,用于保存电镜数据的相关信息;电镜数据标签的预设内容包括:课题种类、实验名称、数据采集时长、数据采集设备、分辨率精度、课题代号、样本代号、样品类型、样品帧尺寸宽、样品帧尺寸高、制样条件1、制样条件2、放大倍数、采样条件、数据期望精度、所属课题组、所属老师、合作课题组和合作老师。基于本发明提供的电镜数据标签,可以对大数据系统中存储的电镜数据实施多维度的分析和管理。
-
公开(公告)号:CN106570305A
公开(公告)日:2017-04-19
申请号:CN201510650167.7
申请日:2015-10-09
Applicant: 清华大学
IPC: G06F19/00
Abstract: 本发明公开一种基于亥姆霍兹自由能的多组分流体模拟方法及装置,能够扩展多组分流体的模拟场景,并能节省内存开销。所述方法包括:利用各个组分所占的质量百分比表示待模拟的多组分流体的粒子,并设计各个粒子的亥姆霍兹自由能方程;将采用所述亥姆霍兹自由能方程的Cahn-Hilliard方程整合到预设的粒子模拟器中,得到Navier-Stokes-Cahn-Hilliard模型;利用所述Navier-Stokes-Cahn-Hilliard模型对所述待模拟的多组分流体的运动进行模拟。
-
-
-
-
-
-
-
-
-