-
公开(公告)号:CN106776370A
公开(公告)日:2017-05-31
申请号:CN201611106201.5
申请日:2016-12-05
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F12/0862 , G06F3/06
Abstract: 本发明涉及一种基于对象关联性评估的云存储方法及装置,其解决了现有海量小文件存储方法写入响应时间长、索引维护代价高的技的技术问题,其首先分析对象时序关联性和语义关联性从而建立关联性评估模型,生成对象关联性矩阵;然后采用图聚类算法根据关联性矩阵将对象划分到不同簇中,以局部相似度排序简化预取对象甄选过程,实现对象预取。其可广泛应用于小文件访问的效率优化。
-
公开(公告)号:CN106776967B
公开(公告)日:2020-03-27
申请号:CN201611104325.X
申请日:2016-12-05
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F16/182 , G06F16/172 , G06F16/13
Abstract: 本发明涉及一种基于时序聚合算法的海量小文件实时存储方法及装置,其解决了现有分布式文件系统用于海量小文件时存在的存储效率低的技术问题,其采用数据聚合策略以数据的时间特性定义聚合空间,完成时序数据合并存储,通过将随机写转化为顺序写,本发明可广泛应用于海量小文件的存储。
-
公开(公告)号:CN106776967A
公开(公告)日:2017-05-31
申请号:CN201611104325.X
申请日:2016-12-05
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种基于时序聚合算法的海量小文件实时存储方法及装置,其解决了现有分布式文件系统用于海量小文件时存在的存储效率低的技术问题,其采用数据聚合策略以数据的时间特性定义聚合空间,完成时序数据合并存储,通过将随机写转化为顺序写,本发明可广泛应用于海量小文件的存储。
-
公开(公告)号:CN106528451B
公开(公告)日:2019-09-03
申请号:CN201611001521.4
申请日:2016-11-14
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F12/0862
Abstract: 公开了针对小文件的二级缓存预取的云存储框架及构建方法,其中云存储框架包括:对象存储器、关联性计算模块、数据合并模块、存储节点缓存模块和代理节点缓存模块。本发明首先计算不同对象之间的关联性,并将关联度高的对象合并为一个数据集合,通过对这些数据集合进行缓存来达到数据预取的目的。一方面可以将随机磁盘访问转变为连续磁盘访问,提高存储系统的效率;另一方面通过一次性将对象集合转入代理节点缓存模块进行预读,能够节省网络开销;另外将关联度高的小文件合并也减少了元数据的数量,减少对象访问时元数据的操作时间。
-
公开(公告)号:CN108446340A
公开(公告)日:2018-08-24
申请号:CN201810174542.9
申请日:2018-03-02
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
Abstract: 本发明公开了一种面向海量小文件的用户热点数据访问预测方法,从用户访问数据的特点入手,根据文件访问的关联性特点,使用用户相关的分布式海量小文件存储系统文件访问日志,训练Skip-Gram模型,对文件的上下文访问特征进行提取,使用K-means算法对文件特征聚类,对访问相似度高的文件进行集中分析,训练GRU模型,对文件间的关联性进行分析,并根据用户当前访问文件所属类别序列进行预测,将用户未来可能访问文件类别中的全部文件预取至缓存,减少了系统的I/O次数,整体上提升了分布式海量小文件存储系统读取效率。
-
公开(公告)号:CN108446340B
公开(公告)日:2019-11-05
申请号:CN201810174542.9
申请日:2018-03-02
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F16/172 , G06F16/182 , G06K9/62
Abstract: 本发明公开了一种面向海量小文件的用户热点数据访问预测方法,从用户访问数据的特点入手,根据文件访问的关联性特点,使用用户相关的分布式海量小文件存储系统文件访问日志,训练Skip‑Gram模型,对文件的上下文访问特征进行提取,使用K‑means算法对文件特征聚类,对访问相似度高的文件进行集中分析,训练GRU模型,对文件间的关联性进行分析,并根据用户当前访问文件所属类别序列进行预测,将用户未来可能访问文件类别中的全部文件预取至缓存,减少了系统的I/O次数,整体上提升了分布式海量小文件存储系统读取效率。
-
公开(公告)号:CN109992725A
公开(公告)日:2019-07-09
申请号:CN201910285507.9
申请日:2019-04-10
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F16/9536 , G06Q50/00
Abstract: 本发明提供一种基于双向距离网络嵌入的社交网络表示方法,属于数据挖掘与网络技术领域。本发明首先读取社交关系网络中的节点并进行编码;然后读取关注与被关注关系,分别为每一个节点生成窗口大小为k的上文邻居节点序列和下文邻居节点序列,并记录每个邻居节点到该节点的有向距离;构造三层网络嵌入模型;将节点编码集作为输入进行学习,并不断进行模型超参数的调整;最后将隐藏层的权重矩阵作为最终网络嵌入的结果,每一行的向量表示作为节点的向量表示。本发明解决了现有社交关系网络的结构和拓扑信息表示不准确,对真实社交关系的还原能力较低,将不能有效的处理网络数据并精准有效的控制事件的发展的问题。本发明可用于社交网络表示。
-
公开(公告)号:CN106528451A
公开(公告)日:2017-03-22
申请号:CN201611001521.4
申请日:2016-11-14
Applicant: 哈尔滨工业大学(威海) , 威海翰宝网络科技有限公司
IPC: G06F12/0862
Abstract: 公开了针对小文件的二级缓存预取的云存储框架及构建方法,其中云存储框架包括:对象存储器、关联性计算模块、数据合并模块、存储节点缓存模块和代理节点缓存模块。本发明首先计算不同对象之间的关联性,并将关联度高的对象合并为一个数据集合,通过对这些数据集合进行缓存来达到数据预取的目的。一方面可以将随机磁盘访问转变为连续磁盘访问,提高存储系统的效率;另一方面通过一次性将对象集合转入代理节点缓存模块进行预读,能够节省网络开销;另外将关联度高的小文件合并也减少了元数据的数量,减少对象访问时元数据的操作时间。
-
公开(公告)号:CN117236333B
公开(公告)日:2024-08-09
申请号:CN202311339881.5
申请日:2023-10-17
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06F40/295 , G06N3/0442 , G06N3/08 , G06N3/0464
Abstract: 本发明涉及信息安全技术领域,具体涉及一种基于威胁情报的复杂命名实体识别方法,包括:从不同专门收集威胁情报的网站获取CTI报告,对获取到的数据进行数据清洗,并构建训练模型的数据集;使用预训练模型RoBERT和BiLSTM获取句子中的词级的向量表示和字符级的向量表示,并将获取到的特征进行拼接;利用CBAM注意力机制和空洞卷积融合实体特征,并使用MLP预测词对关系分数,使用解码器获取最终的识别结果;使用AEDA方法进行数据增强;利用Label Smoothing方法使训练数据标签平滑化;使用训练好的模型对获取的数据进行实体检测;本发明解决了现有的威胁情报实体识别方法难以对威胁情报不规则实体进行准确识别,以及对中英混合实体识别困难的问题。
-
公开(公告)号:CN117931799A
公开(公告)日:2024-04-26
申请号:CN202410023109.0
申请日:2024-01-04
Applicant: 山东百盟信息技术有限公司 , 哈尔滨工业大学(威海)
IPC: G06F16/22 , G06F16/2455 , G06F16/2458 , G06F16/27
Abstract: 本发明适用于分布式存储领域,提供了一种基于目录的分布式存储系统的QoS管理方法,所述方法包括:QoS控制器按照QoS目录树创建规则并加载聚合目录树,并将QoS目录树下发到数据节点;QoS控制器定时向数据节点发送心跳,以获取对数据节点的控制权和获取数据节点的局部资源视图,并聚合维护系统全局资源视图;QoS控制器根据预设设置每隔数个心跳发起重配置流程,根据全局资源视图进行第一、二级配额,将配额结果翻译为重配额指令并下发给数据节点;数据节点接收到QoS控制器发送的重配额指令后,进行第三级配额,并最终执行资源的分配,本申请实施例通过多种目录项类型实现灵活且多样的配额模式,以满足公有云及私有云常见场景下的服务质量保证。
-
-
-
-
-
-
-
-
-