一种对数据集的多路压缩方法、装置及存储介质

    公开(公告)号:CN111010189B

    公开(公告)日:2021-10-26

    申请号:CN201910999289.5

    申请日:2019-10-21

    Applicant: 清华大学

    Inventor: 阮华斌 杨涛

    Abstract: 本申请公开了一种对数据集的多路压缩方法、装置及存储介质,该方法包括:预先获取数据集与多路压缩策略的对应关系,对获取的各数据集与多路压缩策略的对应关系进行训练,得到一分类模型;将待压缩数据集输入所述分类模型,得到待压缩数据集对应的多路压缩策略;根据待压缩数据集对应的多路压缩策略,对待压缩数据集进行多路压缩。本发明能够自适应地为待压缩数据集确定合适的多路压缩策略进行压缩,达到提高数据压缩率的目的。

    电镜数据转储方法、存储介质和装置

    公开(公告)号:CN109460184A

    公开(公告)日:2019-03-12

    申请号:CN201811035834.0

    申请日:2018-09-06

    Applicant: 清华大学

    Abstract: 本发明提供一种电镜数据转储方法、存储介质和装置,包括:步骤11:预设转储进程数为copynum,根据copynum确定源端服务器与目标端服务器的目标带宽,并配置源端服务器与目标端服务器之间的链路带宽不低于目标带宽;步骤13:在源端服务器创建copynum个并行进程,每个进程用于将第一预设目录下的一个待传输文件传输至第二预设目录下;监控copynum个进程,当任一进程结束后,再创建一个新的进程用于传输第一预设目录下另一个待传输文件,直至第一预设目录下的所有待传输文件均传输完毕。基于本发明提供的电镜数据转储方法,可以实现对电镜数据的快速转储,以支持对电镜数据的大数据管理。

    数据复现方法、装置、系统和计算机可读存储介质

    公开(公告)号:CN118113665A

    公开(公告)日:2024-05-31

    申请号:CN202410308268.5

    申请日:2024-03-18

    Applicant: 清华大学

    Inventor: 唐贺 杨涛 阮华斌

    Abstract: 本公开是关于一种数据复现方法、装置、系统和计算机可读存储介质。该方法包括:响应于接收到登录节点发送的检索请求,确定所述检索请求中的当前文件是否在集群存储之内;响应于所述当前文件在集群存储之内,确定所述检索请求是否包含更新指令;响应于所述检索请求包含更新指令,从集群存储获取并解压所述当前文件,得到解压后的目标数据;将所述目标数据进行可视化处理得到图像数据,所述图像数据用于在与所述登录节点连接的移动终端进行图形化展示。本实施例可以无需占用集群存储的存储空间即可显示,节省集群存储空间。

    一种化合物名称的检索方法和装置

    公开(公告)号:CN117786174A

    公开(公告)日:2024-03-29

    申请号:CN202311823641.2

    申请日:2023-12-27

    Applicant: 清华大学

    Abstract: 一种化合物名称的检索方法和装置,所述方法包括:在接收到化合物名称的检索请求后,确定目标检索词;将所述目标检索词与预设的数据库中的化合物名称进行模糊匹配,得到第一轮匹配结果,其中所述第一轮匹配结果包括预设个数的候选目标;将所述目标检索词与所述第一轮匹配结果中每个候选目标对应的筛选数据进行精确匹配,得到第二轮匹配结果,其中每个候选目标对应的筛选数据包括所述候选目标和所述候选目标在所述数据库中对应的同义词;根据所述第二轮匹配结果,从所述第一轮匹配结果中的候选目标中,确定所述检索请求对应的检索目标。

    一种内存访问管理方法和系统

    公开(公告)号:CN113778908A

    公开(公告)日:2021-12-10

    申请号:CN202111078307.X

    申请日:2021-09-15

    Applicant: 清华大学

    Abstract: 本发明公开了一种内存访问管理方法和系统,包括:在内存中建立数据存储池,其中包括多个数据存储区;若某一线程所要访问的索引位置位于其当前访问的数据包中,则直接返回其当前访问的存储区中的该索引位置的物理地址,否则,筛选出该索引位置的存储区预选行和所属列,并返回筛选出的存储区中的该索引位置的物理地址;在未能筛选出该索引位置的存储区预选行和所属列时,选则出进行数据替换的存储区,将该存储区中的数据包与虚拟内存中包含该索引位置的数据包进行数据替换,并返回数据替换后的该存储区中的该索引位置的物理地址。本发明实现了内存访问控制与应用程序之间的解耦,并避免了应用程序因内存空间不足而运行失败的问题。

    面向电镜数据存储系统的文件元数据获取方法与系统

    公开(公告)号:CN108052524B

    公开(公告)日:2020-05-22

    申请号:CN201711082627.6

    申请日:2017-11-07

    Applicant: 清华大学

    Abstract: 本发明提供一种面向电镜数据存储系统的文件元数据获取方法与系统,该方法包括:步骤A‑1:扫描文件系统所存储的数据文件目录,生成第一目录集合;步骤A‑2:将第一目录集合中的目录平均分配生成第一目录分组集合,第一目录分组集合包括M个目录分组;步骤A‑3:启动M个进程用于扫描M个目录分组的数据文件路径信息,得到第一全路径集合;步骤A‑4:将第一全路径集合中的路径平均分配生成第一路径分组集合,第一路径分组集合包括N个路径分组;步骤A‑5:启动N个进程用于获取N个路径分组中每个数据文件的元数据,得到第一元数据集合。本发明提供的面向电镜数据存储系统的文件元数据获取方法与系统,将扫描普通的单进程扫描更改为分步多进程扫描,提高了整体处理效率,节省了处理时间。

Patent Agency Ranking