-
公开(公告)号:CN113778908B
公开(公告)日:2022-10-11
申请号:CN202111078307.X
申请日:2021-09-15
Applicant: 清华大学
Abstract: 本发明公开了一种内存访问管理方法和系统,包括:在内存中建立数据存储池,其中包括多个数据存储区;若某一线程所要访问的索引位置位于其当前访问的数据包中,则直接返回其当前访问的存储区中的该索引位置的物理地址,否则,筛选出该索引位置的存储区预选行和所属列,并返回筛选出的存储区中的该索引位置的物理地址;在未能筛选出该索引位置的存储区预选行和所属列时,选则出进行数据替换的存储区,将该存储区中的数据包与虚拟内存中包含该索引位置的数据包进行数据替换,并返回数据替换后的该存储区中的该索引位置的物理地址。本发明实现了内存访问控制与应用程序之间的解耦,并避免了应用程序因内存空间不足而运行失败的问题。
-
公开(公告)号:CN109460184B
公开(公告)日:2021-04-16
申请号:CN201811035834.0
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F3/06
Abstract: 本发明提供一种电镜数据转储方法、存储介质和装置,包括:步骤11:预设转储进程数为copynum,根据copynum确定源端服务器与目标端服务器的目标带宽,并配置源端服务器与目标端服务器之间的链路带宽不低于目标带宽;步骤13:在源端服务器创建copynum个并行进程,每个进程用于将第一预设目录下的一个待传输文件传输至第二预设目录下;监控copynum个进程,当任一进程结束后,再创建一个新的进程用于传输第一预设目录下另一个待传输文件,直至第一预设目录下的所有待传输文件均传输完毕。基于本发明提供的电镜数据转储方法,可以实现对电镜数据的快速转储,以支持对电镜数据的大数据管理。
-
公开(公告)号:CN109522152A
公开(公告)日:2019-03-26
申请号:CN201811035867.5
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F11/14
Abstract: 本发明提供一种电镜数据灾备方法、存储介质和装置,该方法用于将源存储系统中至少一个待灾备目录下的电镜数据文件同步至目标存储系统,源端存储系统挂载于源端服务器,目标端存储系统挂载于目标端服务器,包括:步骤11:判断源端服务器与目标端服务器的当前剩余带宽是否符合预设条件;如果是,则根据当前剩余带宽确定进程数copynum,创建copynum个并行进程,每个进程用于将待灾备目录下的一个待灾备电镜数据文件同步至目标存储系统;步骤13:当任一进程结束后,返回步骤11,直至待灾备目录下的所有待灾备电镜数据文件均同步完毕。基于本发明提供的电镜数据灾备方法,在不影响其他任务的前提下实现对电镜数据的快速灾备,避免数据丢失,保障数据安全。
-
公开(公告)号:CN111010189B
公开(公告)日:2021-10-26
申请号:CN201910999289.5
申请日:2019-10-21
Applicant: 清华大学
Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先获取数据集与多路压缩策略的对应关系,对获取的各数据集与多路压缩策略的对应关系进行训练,得到一分类模型;将待压缩数据集输入所述分类模型,得到待压缩数据集对应的多路压缩策略;根据待压缩数据集对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地为待压缩数据集确定合适的多路压缩策略进行压缩,达到提高数据压缩率的目的。
-
公开(公告)号:CN109460184A
公开(公告)日:2019-03-12
申请号:CN201811035834.0
申请日:2018-09-06
Applicant: 清华大学
IPC: G06F3/06
Abstract: 本发明提供一种电镜数据转储方法、存储介质和装置,包括:步骤11:预设转储进程数为copynum,根据copynum确定源端服务器与目标端服务器的目标带宽,并配置源端服务器与目标端服务器之间的链路带宽不低于目标带宽;步骤13:在源端服务器创建copynum个并行进程,每个进程用于将第一预设目录下的一个待传输文件传输至第二预设目录下;监控copynum个进程,当任一进程结束后,再创建一个新的进程用于传输第一预设目录下另一个待传输文件,直至第一预设目录下的所有待传输文件均传输完毕。基于本发明提供的电镜数据转储方法,可以实现对电镜数据的快速转储,以支持对电镜数据的大数据管理。
-
公开(公告)号:CN102073742B
公开(公告)日:2012-11-14
申请号:CN201110034095.5
申请日:2011-01-31
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明提供了一种海量对象的存储系统及其运行方法,所述系统包括:接口层单元,包括接口模块,用于构造请求信息;AXIS2请求解析引擎,用于对请求信息进行解析并将请求信息转发给服务层单元;服务层单元包括:对象服务模块,用于对对象进行管理、控制操作;容器服务模块,用于对容器进行管理、控制操作;系统管理模块,用于对存储系统进行系统管理;安全管理模块,用于对存储系统进行安全性管理;存储接口适配层模块,用于通过采用统一的接口函数访问存储层单元的存储资源;存储层单元,用于在存储资源上存储数据。本发明能够对海量的对象和容器进行简洁高效的管理,并保证系统的简洁性、灵活性、低成本的可扩展性、安全性和向后兼容性。
-
公开(公告)号:CN118606436A
公开(公告)日:2024-09-06
申请号:CN202410797403.7
申请日:2024-06-19
Applicant: 清华大学
Abstract: 本公开涉及一种冷冻电镜数据智能自动处理方法和装置,将冷冻电镜数据处理任务的目标任务信息输入大语言模型,通过大语言模型基于其中的基本参数信息和本地知识库生成用于实现任务目标的操作信息。将操作信息发送至主智能体,以迭代的方式依次控制工作智能体基于步骤参数执行对应操作步骤,在迭代结束后生成对应的反馈信息,正反馈则结束当前工作智能体的操作,控制下一个工作智能体执行下一操作步骤;负反馈则更新当前操作步骤对应的步骤参数,控制当前工作智能体基于更新的步骤参数再次执行当前操作步骤。本公开通过大语言模型自动指示智能体执行操作,不依赖用户经验自动进行冷冻电镜数据的处理,提高了处理过程效率和处理结果的准确度。
-
公开(公告)号:CN108121925B
公开(公告)日:2020-08-07
申请号:CN201711178893.9
申请日:2017-11-23
Applicant: 清华大学
IPC: G06K1/12
Abstract: 本发明提供一种电镜数据标签的生成方法及生成系统,该电镜数据标签与电镜数据关联,用于保存电镜数据的相关信息;电镜数据标签的预设内容包括:课题种类、实验名称、数据采集时长、数据采集设备、分辨率精度、课题代号、样本代号、样品类型、样品帧尺寸宽、样品帧尺寸高、制样条件1、制样条件2、放大倍数、采样条件、数据期望精度、所属课题组、所属老师、合作课题组和合作老师。基于本发明提供的电镜数据标签,可以对大数据系统中存储的电镜数据实施多维度的分析和管理。
-
公开(公告)号:CN108052524A
公开(公告)日:2018-05-18
申请号:CN201711082627.6
申请日:2017-11-07
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明提供一种文件系统元数据的扫描方法和系统,该方法包括:步骤A‑1:扫描文件系统所存储的数据文件目录,生成第一目录集合;步骤A‑2:将第一目录集合中的目录平均分配生成第一目录分组集合,第一目录分组集合包括M个目录分组;步骤A‑3:启动M个进程用于扫描M个目录分组的数据文件路径信息,得到第一全路径集合;步骤A‑4:将第一全路径集合中的路径平均分配生成第一路径分组集合,第一路径分组集合包括N个路径分组;步骤A‑5:启动N个进程用于获取N个路径分组中每个数据文件的元数据,得到第一元数据集合。本发明提供的文件系统元数据的扫描方法和系统,将扫描普通的单进程扫描更改为分步多进程扫描,提高了整体处理效率,节省了处理时间。
-
公开(公告)号:CN110784227B
公开(公告)日:2021-07-30
申请号:CN201910999070.5
申请日:2019-10-21
Applicant: 清华大学
IPC: H03M7/30
Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先配置数据集的特征信息和多路压缩策略的对应关系;提取待压缩数据集的特征信息;根据所述对应关系确定待压缩数据集的特征信息对应的多路压缩策略;根据待压缩数据集的特征信息对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地根据数据集的具体特征选择合适的多路压缩策略对数据集进行压缩,达到提高数据压缩率的目的。
-
-
-
-
-
-
-
-
-