-
公开(公告)号:CN119988625A
公开(公告)日:2025-05-13
申请号:CN202510016976.6
申请日:2025-01-06
Applicant: 上海交通大学 , 衡阳雁城区块链研究院
IPC: G06F16/353 , G06F18/241 , G06F18/2431 , G06F18/214 , G06F18/28 , G06N20/00
Abstract: 本发明涉及一种基于压缩长度的文本分类方法,方法包括以下步骤:S1、获取训练文本数据,所述训练文本数据包括多个类别的带标签数据;S2、对于每个类别的带标签数据训练CPC个压缩机,得到n个类别分别对应的CPC个分类模型,其中n表示类别的总数,获取待预测样本;S3、将待预测样本分别输入n个类别分别对应的CPC个分类模型,得到n个类别分别对应的CPC个长度,计算每个类别对应的平均长度,得到n个平均长度;S4、取n个平均长度的最小值,最小的平均长度对应的类别为分类结果。与现有技术相比,本发明具有提高大规模数据的文本分类效率的同时保证分类准确率等优点。
-
公开(公告)号:CN116015552B
公开(公告)日:2025-03-07
申请号:CN202211700534.6
申请日:2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质,方法包括以下步骤:S1、使用二层编码的编码方式,将k个数据块分成p个局部校验分组,并使用MSR编码在每个局部校验分组中生成l个局部校验块,然后使用RS编码生成g个全局校验块,将所有的全局校验块组成一个全局校验分组,和局部校验分组一起共生成p+1个分组;S2、对p+1个分组在N个数据中心内的放置策略进行建模,求解访问延时和恢复传输延时的优化问题,得到分组放置概率矩阵P;S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码,并进行放置策略优化,有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号:CN118689805A
公开(公告)日:2024-09-24
申请号:CN202410744092.8
申请日:2024-06-11
Applicant: 上海交通大学
Abstract: 本发明公开了一种TB级持久内存设备,所述设备包括支持CXL的处理器模块、CXL+DDR异构内存模块。支持CXL处理器模块,包括处理器Home Agent支持单元、处理器一致性支持单元、处理器持久性支持单元,用于为所述持久内存设备提供计算功能。CXL+DDR异构内存模块,包括实现PCIE插槽物理布局设计、DIMM插槽物理布局设计、PCIE总线及DDR总线的物理参数设计,用于实现持久内存的热插拔以及可用性、可靠性与安全性。所述设备还包括外设模块,以及供电单元、功耗管理单元、大规模训练卡匹配单元、散热管理单元,用于管理设备整机的功耗、散热以及网络功能。
-
公开(公告)号:CN118689642A
公开(公告)日:2024-09-24
申请号:CN202410744087.7
申请日:2024-06-11
Applicant: 上海交通大学
IPC: G06F9/50
Abstract: 本发明公开了一种基于持久内存的尾延迟优化系统,所述系统包括:尾延迟管理模块、持久内存数据预读模块、访存请求管理模块。尾延迟管理模块,用于改善内存管理结构从而降低尾延迟;持久内存数据预读模块,用于对持久内存进行预读;访存请求管理模块,用于访存请求管理。尾延迟管理模块,包括对多种管理结构及算法的比较、哈希索引的构建及操作接口、增删改查的功能实现。持久内存数据预读模块,实现包括基于持久内存的RCU机制、预读命中率优化机制、访存读序列的缓存机制功能。
-
公开(公告)号:CN115826873A
公开(公告)日:2023-03-21
申请号:CN202211700616.0
申请日:2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于图的纠删码快速恢复方法、系统及可读存储介质,方法包括以下步骤:S1、通过量化的方法收集系统参数以及各个节点的实时负载信息;S2、构建两个图模型,两个图模型分别对应恢复任务中源节点的选择和解码节点的选择;S3、使用最大流算法得到一个各个节点的可用带宽刚好被占满的最优解,即恢复调度方案;S4、根据恢复调度方案将各个恢复任务从选定的源节点发送给对应的解码节点进行数据块的读取,然后在解码节点上解码恢复完成后将数据写入系统设定的目标节点上。通过将各个节点的可用带宽放入图模型中进行调度,并基于最大流算法保证各个节点的任务调度不会超过其可用带宽,实现了更高维度的负载均衡,避免出现拥塞堵塞现象。
-
公开(公告)号:CN112799872A
公开(公告)日:2021-05-14
申请号:CN202110191784.0
申请日:2021-02-19
Applicant: 上海交通大学
Abstract: 本申请公开了一种基于键值对存储系统的纠删码编码方法及装置,该方法包括:获取键值对存储系统中关键字之间的关联关系;根据所述关键字之间的关联关系,从所述键值对存储系统中获取对应的具有强关联性或强时间局限性的至少两个目标数据;将至少两个所述目标数据分到同一编码组中进行编码,得到对应的数据块和校验块;采用负载均衡将得到的所述数据块和所述校验块写入对应的存储节点中。通过实施本申请,能将传统纠删码技术与新型键值对存储系统进行结合设计,同时结合考虑键值对存储系统中的数据间关系,以减少数据访问的次数和时间,提升数据恢复效率。
-
公开(公告)号:CN112783689A
公开(公告)日:2021-05-11
申请号:CN202110184332.X
申请日:2021-02-08
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本申请公开了一种基于LRC编码的部分条带写优化方法及装置,该方法包括:获取读写请求和云存储阵列的位图;根据所述位图对所述读写请求进行预处理,以识别获得所述读写请求中的部分条带写请求;响应所述部分条带写请求,根据基于读代价的动态部分条带写算法DRPS,从所述云存储阵列中读取对应的目标块;对所述目标块进行计算得到新校验块,并将所述新校验块写入所述云存储阵列中。通过实施本申请,能解决现有技术中存在的额外的传输开销和总线负载、导致系统的传输效率、服务质量以传输可靠性降低等问题。
-
公开(公告)号:CN106294032B
公开(公告)日:2019-06-28
申请号:CN201610637551.8
申请日:2016-08-05
Applicant: 上海交通大学
IPC: G06F11/20
Abstract: 本发明公开了一种磁盘阵列单盘恢复的缓存方法及系统,该方法包括:根据数据块是否已经被应用读取到缓存中,为数据块定义不同的优先级;为每一个出错的数据块枚举出所有可行的恢复方法,针对所有可行的恢复方法,结合恢复方法之间的关系,通过迪杰斯特拉遍历算法进行遍历,选取出I/O最小的、符合要求的恢复方法;针对所选择的恢复方法,选取其中负载相对均衡的方法作为最终采用的磁盘阵列单盘恢复的纠删码恢复方法;根据纠删码恢复方法的读取次数为数据块定义优先级,采用在缓存中优先替换优先级低的数据块的缓存替换方法,通过本发明,解决了现有技术中I/O较大,速度较慢,缓存命中率低,影响使用效率的问题。
-
-
公开(公告)号:CN105912270B
公开(公告)日:2019-01-18
申请号:CN201610223262.3
申请日:2016-04-12
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明公开了一种面向PM的访存请求解析装置,包括访存请求解析模块、优先级解析模块、命令解析模块和执行模块,访存请求解析模块,用于将访存请求根据其内部的列地址、行地址、Bank号、读写标志的统计特征分发到不同特性的请求队列中,以便所述访存请求能够被合理调度;优先级解析模块,用于将访存请求解析模块中所述不同特性的请求队列按照被调度的次序进行优先级划分,在所述不同特性的请求队列内部按照FR‑FCFS调度;命令解析模块,用于将来自优先级解析模块的访存请求转化为具体的访存操作命令,结合PM阵列当前的状态信息将所述操作命令发送出去;执行模块,用于根据命令解析模块中发出的操作命令对PM阵列执行具体的操作。
-
-
-
-
-
-
-
-
-