一种面向突发性负载的选择性副本实现方法及系统

    公开(公告)号:CN110362426B

    公开(公告)日:2021-07-27

    申请号:CN201910544859.1

    申请日:2019-06-21

    Abstract: 本发明公开了一种面向突发性负载的选择性副本实现方法及系统,属于云对象存储领域,包括:存储服务器接收到访问请求后,获得目标数据对象副本所在的目标存储设备,并确定是否由目标存储设备服务该访问请求;若由目标存储设备服务该访问请求且其中的副本为基础副本,则预测目标数据对象是否将被突发访问;若预测目标数据对象将被突发访问,则在响应中进行标记;存储客户端接收到含标记的响应后,将响应中的数据缓存在本地后再返回给请求发送方,然后获取一个满足副本创建条件的存储设备,获取成功后将数据迁移至该设备,从而为目标数据对象创建一个新的额外副本。本发明能够提高云存储系统处理突发性负载时的资源利用率及系统性能。

    一种面向突发性负载的选择性副本实现方法及系统

    公开(公告)号:CN110362426A

    公开(公告)日:2019-10-22

    申请号:CN201910544859.1

    申请日:2019-06-21

    Abstract: 本发明公开了一种面向突发性负载的选择性副本实现方法及系统,属于云对象存储领域,包括:存储服务器接收到访问请求后,获得目标数据对象副本所在的目标存储设备,并确定是否由目标存储设备服务该访问请求;若由目标存储设备服务该访问请求且其中的副本为基础副本,则预测目标数据对象是否将被突发访问;若预测目标数据对象将被突发访问,则在响应中进行标记;存储客户端接收到含标记的响应后,将响应中的数据缓存在本地后再返回给请求发送方,然后获取一个满足副本创建条件的存储设备,获取成功后将数据迁移至该设备,从而为目标数据对象创建一个新的额外副本。本发明能够提高云存储系统处理突发性负载时的资源利用率及系统性能。

    一种叶绿素铁钠盐调理促进剩余污泥产甲烷的方法

    公开(公告)号:CN109912156A

    公开(公告)日:2019-06-21

    申请号:CN201910233311.5

    申请日:2019-03-26

    Abstract: 本发明属于污泥处理处置资源化领域,公开了一种叶绿素铁钠盐调理促进剩余污泥产甲烷的方法,该方法先利用叶绿素铁钠盐对剩余污泥进行调理,然后向调理后的剩余污泥中接种厌氧菌,在30~45℃的中温条件下进行厌氧消化产甲烷。优选的,利用叶绿素铁钠盐对剩余污泥进行调理,具体是向剩余污泥中加入叶绿素铁钠盐,搅拌使叶绿素铁钠盐完全溶解后继续添加H2O2溶液,然后继续搅拌一段时间进行调理。本发明可以促进污泥絮体瓦解,释放有机质,氧化降解大分子有机物为小分子有机物,提高剩余污泥的可生物降解性,缩短厌氧消化过程有机质水解过程,提高有机质分解速率,增加中间产物的累积量,从而促进厌氧消化产甲烷的过程。

    一种基于I/O调度的多任务外存模式图处理方法

    公开(公告)号:CN109522102A

    公开(公告)日:2019-03-26

    申请号:CN201811053424.9

    申请日:2018-09-11

    Abstract: 本发明公开了一种基于I/O调度的多任务外存模式图处理方法,包括:将图数据进行流式分区得到图分区,将图分区均衡地置于多个外存设备中,基于I/O调度从多个外存设备中选取目标外存设备,并将目标外存设备中图处理任务尚未访问的图分区作为指定分区;根据指定分区的同步字段判断其是否未被映射到内存中,若是,则将指定分区从外存设备映射到内存中,并更新指定分区的同步字段;否则,直接通过指定分区映射到内存的地址信息进行图分区数据的访问。本发明通过I/O调度,选择任务数最少的外存设备访问,以此控制访问外存图分区数据的顺序,平衡I/O压力;通过设置同步字段实现图分区数据的共享,减少相同图分区的重复加载,以此减少I/O总带宽量,提升I/O效率。

    综合邻居标签相关性特征和样本特征的多标签分类的方法

    公开(公告)号:CN109447110A

    公开(公告)日:2019-03-08

    申请号:CN201811082265.5

    申请日:2018-09-17

    Abstract: 本发明公开了一种综合邻居标签相关性特征和样本特征的多标签分类的方法,包括:用BR方法将训练数据集D={(xi,yi)}进行二分类,得到m个转换后的数据集{(xi,yik)};基于转后的数据集{(xi,yik)},将邻居标签相关性加入基于样本特征的二分类方法中,训练标签lk对应二分类器gk;采用二分类器gk预测待测实例t是否存在标签lk,并输出结果yk;综合m个输出结果yk,得到待测实例t对应的多标签集合{y1,...,yk,...ym}。本发明提出了从邻居实例中获取标签相关性的方法,综合样本实际特征和标签相关性特征的分类结果,实现对多标签的预测;提出衡量邻居信息可靠性,修正邻居特征的结果,提高分类准确性。

    一种从邻居实例中提取标签相关性的方法及系统

    公开(公告)号:CN109086453A

    公开(公告)日:2018-12-25

    申请号:CN201810991693.3

    申请日:2018-08-29

    CPC classification number: G06K9/6218 G06K9/6267

    Abstract: 本发明公开了一种从邻居实例中提取标签相关性的方法及系统,其中,方法的实现包括:根据特征对实例样本进行聚类;找到特征相近的K个邻居样本;获得K个邻居样本的标签集合;计算邻居样本的标签百分比集合C;用决策树预测标签相关性;综合标签集的分布信息和决策树预测标签lk存在的置信分数。本发明从邻居实例中提取标签相关性,考虑所有标签之间的关系,将局部样本中标签成对出现的情况看成特征,根据标签相关性的特征得到标签的置信分数。本发明能有效提高多标签分类的准确率。

    匹配顺序大I/O负载特征的粗粒度条带化方法及系统

    公开(公告)号:CN109508234B

    公开(公告)日:2023-03-10

    申请号:CN201811053421.5

    申请日:2018-09-11

    Abstract: 本发明公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统,其中,该方法包括:图数据的分区;条带深度的确定;边块文件的条带化。本发明提出的匹配顺序大I/O负载特征的粗粒度条带化方法,将经过图分区处理后的所有边块文件,以匹配图数据访问特征的粗粒度条带深度,按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中,在应用层实现图数据的多盘粗粒度条带化分布。本发明能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量,并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。

    一种基于多外存设备多队列的I/O管理方法

    公开(公告)号:CN109343943B

    公开(公告)日:2021-08-03

    申请号:CN201811040593.9

    申请日:2018-09-07

    Abstract: 本发明公开了一种基于多外存设备多队列的I/O管理方法,包括:将边块文件划分成大小相等的条带单元,条带单元以递增的顺序循环地条带化到条带化文件中;采用上述条带化方式,对原始I/O请求进行地址映射;判断原始I/O请求是否需要分解,如果是,将其分解成对齐条带单元边界的多个新I/O请求;否则,直接将其映射成等长的新I/O请求;对新I/O请求进行预取合并;将新I/O请求分派到对应外存设备的相应的I/O任务队列。本发明通过基于多外设多队列的I/O管理,确保每个I/O请求只由一个外存设备服务,每个应用I/O线程专用于一个外存设备,通过对新I/O请求的预取合并,将多个小的请求合并成一个大的I/O请求,有效地减少了对外存设备的访问次数,使得多外存I/O性能充分发挥。

    匹配顺序大I/O负载特征的粗粒度条带化方法及系统

    公开(公告)号:CN109508234A

    公开(公告)日:2019-03-22

    申请号:CN201811053421.5

    申请日:2018-09-11

    Abstract: 本发明公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统,其中,该方法包括:图数据的分区;条带深度的确定;边块文件的条带化。本发明提出的匹配顺序大I/O负载特征的粗粒度条带化方法,将经过图分区处理后的所有边块文件,以匹配图数据访问特征的粗粒度条带深度,按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中,在应用层实现图数据的多盘粗粒度条带化分布。本发明能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量,并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。

    一种基于索引定位的图计算系统的外存访问方法

    公开(公告)号:CN109522428A

    公开(公告)日:2019-03-26

    申请号:CN201811082365.8

    申请日:2018-09-17

    Abstract: 本发明公开了一种基于索引定位的图计算系统的外存访问方法,包括:将完整的图数据分割成多个子图;对各个子图的边分别按照源顶点编号和目标顶点编号进行排序;将排序后的各个子图写入外存文件中,并分别为源顶点编号和目标顶点编号建立索引;从索引定位的载入方式和访问完整数据的载入方式中选择最优载入方式;以最优载入方式,将外存中各个子图载入内存。本发明对外存数据结构重新设计,改进数据加载方式,使系统能够在载入之前分析外存中的有效数据,显著减少I/O数据量和随机访问次数;分析访问完整数据方式与索引定位方式的时间开销,动态判断系统的最优数据载入方式,降低数据加载的时间开销。

Patent Agency Ranking