-
公开(公告)号:CN105119955A
公开(公告)日:2015-12-02
申请号:CN201510400944.2
申请日:2015-07-09
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: H04L67/02 , G06F17/30861 , H04L67/1097
Abstract: 本发明公开一种分布式文件系统中读目录多页支持的方法及系统,该方法包括:步骤1,客户端根据页索引号在本地页面缓存中查找保存目录项的待解析页,若存在,则解析出所述待解析页中的目录项信息,将解析出的所述目录项信息显示给用户,否则执行步骤2;所述步骤2,所述客户端向所述服务器发送读目录多页请求,等待所述服务器端返回给所述客户端请求的所述待解析页,所述客户端将所述待解析页保存在本地页面缓存中,并将解析出所述待解析页中保存的所述目录项信息显示给用户,其中所述待解析页为多个页。本发明能够发送一次请求获取多个保存目录项的页面,就减少了网络延迟时间的次数,从而减少了总的网络延迟时间。
-
公开(公告)号:CN104021137A
公开(公告)日:2014-09-03
申请号:CN201410160168.9
申请日:2014-04-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30067 , H04L63/10
Abstract: 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统,涉及机群文件系统中小文件访问性能的优化技术,特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤,服务器根据目录扩展读授权机制授予客户端目录的扩展读授权,并将目录信息、扩展读授权发送给该客户端,该客户端将该目录信息存入本地读缓存;打开文件步骤,该客户端根据该目录信息建立该文件的目录项结构与该文件的索引节点结构,并与该文件的打开结构关联,将该文件打开结构添加到进程打开文件表中;关闭文件步骤,将该进程打开文件表中的该文件打开结构清除并释放。本发明能够优化小文件的访问效率,并且能够降低服务器的元数据访问负载。
-
公开(公告)号:CN105119955B
公开(公告)日:2018-10-09
申请号:CN201510400944.2
申请日:2015-07-09
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开一种分布式文件系统中读目录多页支持的方法及系统,该方法包括:步骤1,客户端根据页索引号在本地页面缓存中查找保存目录项的待解析页,若存在,则解析出所述待解析页中的目录项信息,将解析出的所述目录项信息显示给用户,否则执行步骤2;所述步骤2,所述客户端向所述服务器发送读目录多页请求,等待所述服务器端返回给所述客户端请求的所述待解析页,所述客户端将所述待解析页保存在本地页面缓存中,并将解析出所述待解析页中保存的所述目录项信息显示给用户,其中所述待解析页为多个页。本发明能够发送一次请求获取多个保存目录项的页面,就减少了网络延迟时间的次数,从而减少了总的网络延迟时间。
-
公开(公告)号:CN104021137B
公开(公告)日:2017-06-09
申请号:CN201410160168.9
申请日:2014-04-21
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统,涉及机群文件系统中小文件访问性能的优化技术,特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤,服务器根据目录扩展读授权机制授予客户端目录的扩展读授权,并将目录信息、扩展读授权发送给该客户端,该客户端将该目录信息存入本地读缓存;打开文件步骤,该客户端根据该目录信息建立该文件的目录项结构与该文件的索引节点结构,并与该文件的打开结构关联,将该文件打开结构添加到进程打开文件表中;关闭文件步骤,将该进程打开文件表中的该文件打开结构清除并释放。本发明能够优化小文件的访问效率,并且能够降低服务器的元数据访问负载。
-
公开(公告)号:CN105095353A
公开(公告)日:2015-11-25
申请号:CN201510345279.1
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30132
Abstract: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法,该系统包括:客户端,用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量,并访问磁盘中当前访问文件的数据页面;服务器端,用于获取当前访问文件的文件布局并发送给客户端;客户端当上层应用在缓存中查找到被加锁的当前数据页面时,将该当前数据页面标记为“未访问”,跳过该当前数据页面,访问下一个数据页面,待全部数据页面访问完成后,对该当前数据页面进行再次访问。
-
公开(公告)号:CN104933144A
公开(公告)日:2015-09-23
申请号:CN201510345488.6
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30194 , H04L67/2842
Abstract: 本发明公开了一种并行网络文件系统中保证数据有效性的系统及其方法,该系统包括:客户端,用于发送只读目录授权申请,接收所授予的只读目录授权,标记只读目录的版本号,并访问磁盘中该只读目录下的文件以及该文件的数据页面;元数据服务器,用于接收客户端发送的只读目录授权申请,并授予客户端只读目录授权;客户端在完成访问后归还该只读目录授权至元数据服务器,并清除该只读目录的版本号。
-
公开(公告)号:CN103902660A
公开(公告)日:2014-07-02
申请号:CN201410076739.0
申请日:2014-03-04
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F17/30203 , G06F17/30132 , H04L67/2847
Abstract: 本发明公开了一种机群文件系统中通过readdir++预取文件布局的系统及其方法,该系统包括:客户端模块(1),用于从服务器模块(2)获取或归还读目录授权;当获得该读目录授权后,向该服务器模块(2)发送读目录请求;将该服务器模块(2)发送的含有文件布局的页面存储于本地缓存中,该客户端模块(1)读取该目录下的文件时,直接使用本地缓存中存储的该文件布局;该服务器模块(2),用于向该客户端模块(1)授予或召回该读目录授权;当接收到该读目录请求时,还将包括文件布局在内的元数据信息封装在页面中,将该页面发送给该客户端模块(1)。由此,能减少读取文件时获取文件布局的网络交互开销,可大幅提升海量小文件的读取访问性能。
-
公开(公告)号:CN114625760B
公开(公告)日:2024-09-03
申请号:CN202210137615.3
申请日:2022-02-15
Applicant: 北京大学 , 中兴通讯股份有限公司
IPC: G06F16/2453 , G06F16/25
Abstract: 本发明涉及一种基于连接简图的数据库连接基数估计方法和系统。该方法的步骤包括:利用元素过滤器,将数据库表中的元素分为热元素与冷元素;将热元素存储至热元素表中,将冷元素存储至冷元素Sketch中;分别计算两个数据库表的热元素表的连接基数、冷元素Sketch的连接基数以及热元素表和冷元素Sketch的连接基数,并相加,得到对该两个数据库表的连接基数的估计结果。本发明通过将热元素和冷元素分离,可以提高对数据库连接基数估计的精度,且算法的时间和空间开销都有所下降;精确的连接基数估计,有利于数据库管理系统给出最佳的连接顺序,从而提升数据库复杂查询的性能。
-
公开(公告)号:CN108427648B
公开(公告)日:2023-12-01
申请号:CN201710080651.X
申请日:2017-02-14
Applicant: 中兴通讯股份有限公司 , 清华大学
IPC: G06F12/0868 , G06F12/0882 , G06F16/22
Abstract: 本发明公开了一种存储系统页内脏数据索引方法装置,该方法包括:获取存储页的存储点的点数量以及脏数据分布信息;根据点数量和脏数据分布信息创建位图;根据脏数据分布信息创建扩展段集合,并获取扩展段集合中扩展段的当前扩展段个数;根据点数量,获取目标存储页以位图索引脏数据的第一存储代价;根据当前扩展段个数和段容量,获取目标存储页以扩展段索引脏数据的第二存储代价;根据第一存储代价和第二存储代价,确定基于位图方式或扩展段方式索引目标存储页中的脏数据。本发明降低了写入数据量,降低了同步操作的延时,间接提高了系统的性能,同时也降低了闪存设备的磨损,提高了闪存设备的使用寿命。
-
公开(公告)号:CN108399047B
公开(公告)日:2022-11-29
申请号:CN201710066027.4
申请日:2017-02-06
Applicant: 中兴通讯股份有限公司 , 清华大学
IPC: G06F3/06
Abstract: 本发明提供了一种闪存文件系统及其数据管理方法,包括创建模块,用于在创建文件系统时,将闪存划分成文件系统区和闪存缓冲区;标记模块,用于在有数据写入且写入的数据量小于或等于预设标记阈值时,在内存缓存中将写入数据标记为脏数据,标记阈值用于表示写入内存缓存的需要按数据粒度进行标记的数据量大小;同步模块,用于在需要进行数据同步时,将内存缓存中的脏数据合并后写入闪存缓冲区,并当闪存缓冲区已满时,通知回填模块;回填模块,用于接收到同步模块的通知,读出闪存缓冲区中的脏数据并将其写入文件系统区,并擦除闪存缓冲区。本发明避免了不必要的数据写入,从而降低了同步操作的延时,提高了闪存的使用寿命。
-
-
-
-
-
-
-
-
-