公开(公告)号：CN115660324B

公开(公告)日：2023-06-13

申请号：CN202211227530.0

申请日：2022-10-09

Applicant: 浙江大学

Inventor： 宋明黎 ,  罗伟 ,  刘顺宇

IPC: G06Q10/0631 ,  G06Q50/06 ,  H02J3/46 ,  G06N3/0464 ,  G06N3/092

Abstract: 基于图强化学习的电网多断面越限调控方法，首先，基于典型日构建一系列电网多断面越限数据集，并利用图卷积神经网络计算电网节点的嵌入矩阵，利用多层感知机计算断面任务的嵌入表示；根据节点嵌入和任务嵌入生成多断面任务归因图，用以指导智能体对发电机的调度行为；利用加权池化的方法提取电网图表示特征。然后，在基于竞争架构的深度Q网络基础上构建发电机调度强化学习框架，该框架根据电网图表示特征估计各动作的期望奖励值。最后，智能体通过该框架选择最合理的发电机调度动作，实现对电网多断面越限情景的调控。本发明还包括基于图强化学习的电网多断面越限调控系统。

公开(公告)号：CN113725853B

公开(公告)日：2022-10-11

申请号：CN202111017503.6

申请日：2021-08-30

Applicant: 浙江大学 ,  国网浙江省电力有限公司

Inventor： 宋明黎 ,  刘顺宇 ,  余娜 ,  陈凯旋 ,  韩耕诗

IPC: H02J3/00 ,  H02J3/06 ,  G06N3/08 ,  G06N3/04

Abstract: 基于主动性人在回路强化学习的电网拓扑控制方法，首先，将电网数据的节点特征进行对齐从而构建可训练的同构图数据，并采用图卷积神经网络来聚合提取图表示特征。然后，在强化学习的行动器‑评判器网络架构基础上加入动作询问器和自适应状态选择器以实现主动性人在回路框架：利用动作扩展器赋予智能体可主动询问人类专家的动作；使用自适应状态选择器筛选过滤训练过程中的不稳定电网状态，提高这些电网状态的专家询问需求概率，并起到对动作扩展器的补充增强作用。最后，智能体能通过该框架来主动寻求人类专家的干涉，利用专家拓扑控制动作加快其学习效率并保持较低的人类专家依赖性。本发明还包括基于主动性人在回路强化学习的电网拓扑控制方法的系统。

公开(公告)号：CN113240105B

公开(公告)日：2022-01-07

申请号：CN202110375699.X

申请日：2021-03-30

Applicant: 浙江大学 ,  国网浙江省电力有限公司

Inventor： 宋明黎 ,  陈凯旋 ,  余娜 ,  刘顺宇

IPC: G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06Q10/06 ,  G06Q50/06

Abstract: 本发明属于电力系统潮流计算和图表示学习领域，综合考虑电网拓扑结构和图网络结构的特性，提出了一种基于图神经网络池化的电网稳态判别方法。首先，将电网数据处理为图网络结构数据并通过引入图同构网络(GraphIsomorphismNetwork)来实现电网图中各个节点信息的预处理。然后，使用最大似然估计方法将得到的特征矩阵建模为高斯模型，并分别对高斯模型中的均值和协方差两部分分量进行池化操作。最后，将池化后的两部分分量进行融合得到最终的表示形式，应用于电网运行状态判别。本发明结合人工智能领域的研究热点和电网领域的经典问题，在电网的潮流计算领域做出了新的尝试并取得了较好的效果，具有较高的应用价值和发展前景。

公开(公告)号：CN113725853A

公开(公告)日：2021-11-30

申请号：CN202111017503.6

申请日：2021-08-30

Applicant: 浙江大学 ,  国网浙江省电力有限公司

Inventor： 宋明黎 ,  刘顺宇 ,  余娜 ,  陈凯旋 ,  韩耕诗

IPC: H02J3/00 ,  H02J3/06 ,  G06N3/08 ,  G06N3/04

Abstract: 基于主动性人在回路强化学习的电网拓扑控制方法，首先，将电网数据的节点特征进行对齐从而构建可训练的同构图数据，并采用图卷积神经网络来聚合提取图表示特征。然后，在强化学习的行动器‑评判器网络架构基础上加入动作询问器和自适应状态选择器以实现主动性人在回路框架：利用动作扩展器赋予智能体可主动询问人类专家的动作；使用自适应状态选择器筛选过滤训练过程中的不稳定电网状态，提高这些电网状态的专家询问需求概率，并起到对动作扩展器的补充增强作用。最后，智能体能通过该框架来主动寻求人类专家的干涉，利用专家拓扑控制动作加快其学习效率并保持较低的人类专家依赖性。本发明还包括基于主动性人在回路强化学习的电网拓扑控制方法的系统。

公开(公告)号：CN113240105A

公开(公告)日：2021-08-10

申请号：CN202110375699.X

申请日：2021-03-30

Applicant: 浙江大学 ,  国网浙江省电力有限公司

Inventor： 宋明黎 ,  陈凯旋 ,  余娜 ,  刘顺宇

IPC: G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06Q10/06 ,  G06Q50/06

Abstract: 本发明属于电力系统潮流计算和图表示学习领域，综合考虑电网拓扑结构和图网络结构的特性，提出了一种基于图神经网络池化的电网稳态判别方法。首先，将电网数据处理为图网络结构数据并通过引入图同构网络(GraphIsomorphismNetwork)来实现电网图中各个节点信息的预处理。然后，使用最大似然估计方法将得到的特征矩阵建模为高斯模型，并分别对高斯模型中的均值和协方差两部分分量进行池化操作。最后，将池化后的两部分分量进行融合得到最终的表示形式，应用于电网运行状态判别。本发明结合人工智能领域的研究热点和电网领域的经典问题，在电网的潮流计算领域做出了新的尝试并取得了较好的效果，具有较高的应用价值和发展前景。