-
公开(公告)号:CN109932617B
公开(公告)日:2021-02-26
申请号:CN201910287943.X
申请日:2019-04-11
Applicant: 东南大学
IPC: G01R31/08
Abstract: 本发明公开了一种基于深度学习的自适应电网故障诊断方法,首先,根据电网结构图设计新颖的电网结构知识表示;其次,设计T步迭代算法自适应地融合有效信息,并构造设备高级特征,从而实现设备的特征提取;最后,使用全连接神经网络融合设备高级特征,构造全网高级特征,综合全网高级特征和设备高级特征作为输入,实现电网的多故障诊断,从而有效提高模型的可移植性与多故障诊断性能。本发明可实现复杂电网故障诊断功能,并显著提升电网故障诊断方法的可移植性和多故障诊断的性能。
-
公开(公告)号:CN109062949A
公开(公告)日:2018-12-21
申请号:CN201810649787.2
申请日:2018-06-21
Applicant: 东南大学
IPC: G06F17/30
Abstract: 本发明公开了一种提高在线聚集中多表连接查询效率的方法。本发明包含步骤S1:构建索引模块,通过混合整数线性规划模型从历史记录的多表查询中选择合适的连接属性,对选择的连接属性建立索引;步骤S2:根据步骤1中创建的索引,设计多表连接查询算法Index Ripple Join;步骤S3:使用中心极限定理对采集的样本进行区间估计,从而得到多表连接查询置信区间。本发明能够有效提高在线聚集中多表连接查询的效率。
-
公开(公告)号:CN108710640A
公开(公告)日:2018-10-26
申请号:CN201810351379.9
申请日:2018-04-17
Applicant: 东南大学
IPC: G06F17/30
Abstract: 本发明公开了一种提高Spark SQL的查询效率的方法。本发明包括步骤S1:构建查询预分析模块,通过估算模型,计算Shuffle产生的中间数据的大小,从而计算出用于缓存所述中间数据的中间数据缓存层的总大小;步骤S2:根据步骤1计算出的中间数据缓存层的总大小,结合集群中每个结点输入数据的分布情况,通过缓存层分配模块为每个结点设置合理的内存空间大小。本发明能有效地通过Shuffle中间数据缓存处理方法解决Spark SQL查询中磁盘I/O开销较高的问题。
-
公开(公告)号:CN102739785B
公开(公告)日:2014-12-17
申请号:CN201210205574.3
申请日:2012-06-20
Applicant: 东南大学
Abstract: 本发明公开了一种基于网络带宽估计的云计算任务调度方法,本发明平台分为数据中心、机架、计算节点三级,并由管理节点统一管理,计算节点负责执行任务和采集可用带宽信息;当执行任务时,计算节点从本地硬盘或通过网络读取输入数据,当任务完成后,计算节点向管理节点请求新的任务;管理节点负责管理可用带宽信息和调度任务,在管理可用带宽信息时,管理节点收集计算节点的带宽数据,指定不同机架内的两台计算节点执行可用带宽估计程序,并统计可用带宽信息;当计算节点请求任务时,管理节点结合机架内网络带宽、机架间可用带宽、数据中心负载,做出任务调度决策。
-
公开(公告)号:CN101783768A
公开(公告)日:2010-07-21
申请号:CN201010119977.7
申请日:2010-03-08
Applicant: 东南大学
Abstract: 基于资源预留的网格服务质量保证方法,主要包含基于虚拟组织的网格资源预留系统架构及部署在架构中的网格资源联合分配算法。基于虚拟组织的网格资源预留系统架构引入虚拟资源容器聚合相同功能的资源,到达虚拟组织的预留请求首先与虚拟资源容器进行虚拟绑定,当请求的预留时间到达时,逻辑资源分配器为预留请求分配一个或多个资源。针对单个工作单元和工作单元工作流两种不同类型的网格应用,逻辑资源分配器中部署了基于QoS欧拉距离的网格资源联合分配算法和具有QoS保证的网格联合资源分配算法。
-
公开(公告)号:CN114328519A
公开(公告)日:2022-04-12
申请号:CN202111593769.5
申请日:2021-12-23
Applicant: 东南大学
IPC: G06F16/22 , G06F16/2453 , G06N20/00
Abstract: 本发明提供了一种基于机器学习的数据索引优化方法,包括对主键索引进行优化以及对二级索引进行优化。前者在模型分层结构的设计下,通过自顶向下拟合预测残差来充分利用非叶子模型的拟合效果、权重更新来提高对离群数据的关注度和预设阈值进行数据剪枝这三个方面提高多维主键数据的预测准确度。后者在第一阶段使用二分类模型和Bloom Filter进行两步筛选,将数据集划分成唯一键值和非唯一键值,并保有一定的误判率。在第二阶段根据两类数据的特点,分别构建索引模型进行处理,从而满足二级索引的查询要求。本发明能够适应多种索引类型,提升索引的查询效率,降低索引的空间开销。
-
公开(公告)号:CN113962214A
公开(公告)日:2022-01-21
申请号:CN202111239034.2
申请日:2021-10-25
Applicant: 东南大学
IPC: G06F40/216 , G06F40/295 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于ELETRIC‑BERT的实体抽取方法,包括:通过预训练得到领域预训练模型ELETRIC‑BERT;将领域预训练模型ELETRIC‑BERT与实体抽取基本模型进行整合,得到基于ELETRIC‑BERT的实体抽取模型;使用模块替换策略,将原模型参数量压缩为原来的一半;使用压缩后的模型,进行实体抽取任务,从文本语料中抽取出领域实体。与现有实体抽取技术相比,本发明可以在实现高准确抽取率的同时,大幅度减少模型对标注语料的依赖。
-
公开(公告)号:CN108710640B
公开(公告)日:2021-11-12
申请号:CN201810351379.9
申请日:2018-04-17
Applicant: 东南大学
IPC: G06F16/2455
Abstract: 本发明公开了一种提高Spark SQL的查询效率的方法。本发明包括步骤S1:构建查询预分析模块,通过估算模型,计算Shuffle产生的中间数据的大小,从而计算出用于缓存所述中间数据的中间数据缓存层的总大小;步骤S2:根据步骤1计算出的中间数据缓存层的总大小,结合集群中每个结点输入数据的分布情况,通过缓存层分配模块为每个结点设置合理的内存空间大小。本发明能有效地通过Shuffle中间数据缓存处理方法解决Spark SQL查询中磁盘I/O开销较高的问题。
-
公开(公告)号:CN110069502A
公开(公告)日:2019-07-30
申请号:CN201910333549.5
申请日:2019-04-24
Applicant: 东南大学
Abstract: 本发明公开了一种基于Spark架构的数据均衡分区方法及计算机存储介质,本方法首先获取应用程序执行过程中的Shuffle中间数据对应的键值分布信息,然后分析Shuffle中间数据分区特性,构建Shuffle中间数据均衡分区模型,最后利用所述的键值分布信息和Spark数据均衡分区算法对均衡分区模型求解,得到Shuffle中间数据分区策略。本发明能够有效避免Shuffle中间数据的倾斜分区,从而进一步提高任务的执行速度,提高Spark的执行性能。
-
公开(公告)号:CN107704594A
公开(公告)日:2018-02-16
申请号:CN201710951969.0
申请日:2017-10-13
Applicant: 东南大学
IPC: G06F17/30
CPC classification number: G06F16/244 , G06F16/2453 , G06F16/24532 , G06F16/24568
Abstract: 本发明公开了一种基于Spark Streaming的电力系统日志数据实时处理方法,首先针对全网日志数据流急剧增长,处理系统获取的日志数据的类别以及相关属性变化多样的问题,预定义统计模型,降低处理系统预处理的时间;然后通过对块间隔和处理时间关系的分析,发现基于块间隔的动态调整,能够使查询任务的处理时间达到最优;最后基于该方法设计了高效的动态调整策略,及时探寻到最优的块间隔,减少查询任务的处理时间,借此分析电力调度自动化系统的运行状态和轨迹,实现电力系统健康状况定性到定量的分析转换。本发明从而为电力系统日志数据的有效管理提供了一种高效、易用的实时处理方法。
-
-
-
-
-
-
-
-
-