一种基于多智能体深度强化学习的有源配电网协同调压方法及系统

    公开(公告)号:CN114362187B

    公开(公告)日:2022-12-09

    申请号:CN202111415562.9

    申请日:2021-11-25

    Abstract: 本发明公开了一种基于多智能体深度强化学习的有源配电网协同调压方法及系统,包括获取高比例可再生能源配电网协同电压控制模型;将协同电压控制模型设计为与每个分布式电源逆变器控制相关的马尔可夫博弈问题;采用多智能体注意力近端策略优化算法以及专家知识求解马尔可夫博弈问题,最终得到每个分布式电源逆变器的本地有功功率和无功功率最优控制策略;将训练获得的最优控制策略部署进行在线协同调压,与现有方法相比,本发明方法可实现配电网电压安全前提下具有更强的可再生能源消纳能力。

    一种联合优化与学习的含氢建筑能源系统运行控制方法

    公开(公告)号:CN115130733A

    公开(公告)日:2022-09-30

    申请号:CN202210631486.3

    申请日:2022-06-06

    Abstract: 本发明公开了建筑能源系统运行控制领域的一种联合优化与学习的含氢建筑能源系统运行控制方法,包括:建立含氢建筑能源系统的期望运行成本最小化问题模型,并转化为多个单时隙最优化子问题模型;将单时隙最优化子问题模型分解为上层子问题模型和下层子问题模型;对上层子问题模型采用凸优化方法进行求解,并根据上层子问题的求解结果计算得到燃料电池产热量;将燃料电池产热量作为下层子问题模型的输入状态;对下层子问题模型进行求解,得到热能子系统的最优控制策略;实现对含氢建筑能源系统的运行进行实时控制;本发明利用基于模型的凸优化方法和基于无模型的学习方法的双重优势,实现高热舒适性下的运行成本最小化。

    一种基于进化深度强化学习的商业建筑HVAC控制方法及系统

    公开(公告)号:CN115017584A

    公开(公告)日:2022-09-06

    申请号:CN202210631141.8

    申请日:2022-06-06

    Abstract: 本发明公开了一种基于进化深度强化学习的商业建筑HVAC控制方法及系统,包括:获取商业建筑HVAC控制模型;将HVAC控制模型设计为与风阀控制和区域供风速率控制相关的马尔可夫博弈问题;采用多智能体注意力进化深度强化学习算法并行求解马尔可夫博弈问题,得到多组多智能体群的最优控制策略;对不同种群的最优控制策略进行重组并将其作为规模更大的多智能体群的初始策略;重复求解规模更大的马尔可夫博弈问题直到种群规模与风阀数量与区域数量之和相等,最终得到HVAC系统的最优控制策略;将训练得到的HVAC最优控制策略部署到实际系统进行在线控制。相比现有方法,本发明可在维持高舒适性的同时显著降低能量成本。

    一种建筑多能源系统智慧能量优化方法及装置

    公开(公告)号:CN112966444B

    公开(公告)日:2022-08-16

    申请号:CN202110270444.7

    申请日:2021-03-12

    Abstract: 本发明公开了一种建筑多能源系统智慧能量优化方法及装置,方法的设计步骤如下:获取建筑多能源系统的当前环境状态;将所述当前环境状态输入到训练好的深度神经网络;通过深度神经网络输出建筑多能源系统行为;对所述建筑多能源系统的行为按照能量存储系统储能水平动态性和运行约束进行重调整,并计算得到热能存储系统注入/释放功率、天然气锅炉输出功率以及建筑多能源系统与大电网之间的能量交易量;根据上述结论对建筑多能源系统进行控制。本发明方法无需知晓任何不确定性参数的先验信息和明确的建筑热动态性模型。相比现有方法,本发明方法可有效降低运行成本且具有更强的鲁棒性和通用性。

    基于多智能体深度强化学习的商业建筑HVAC控制方法

    公开(公告)号:CN111144793B

    公开(公告)日:2022-06-14

    申请号:CN202010003718.1

    申请日:2020-01-03

    Abstract: 本发明公开了一种基于多智能体深度强化学习的商业建筑HVAC控制方法,包括以下步骤:(1)维持室内温度和空气质量在舒适范围的前提下,将多区域商业建筑HVAC能量成本最小化问题建模为马尔可夫博弈,并设计相应的环境状态、行为、以及奖励函数;(2)使用多智能体行动者‑注意力‑评论家强化学习算法对深度神经网络进行训练;(3)在实际应用中,依据训练好的深度神经网络和新的环境状态输入即可获得关于HVAC风阀位置和各个区域空气供给速率的决策。与现有方法相比,本发明提出的方法无需知晓建筑热动力学模型和不确定性参数的任何先验信息,且具有更大的能量成本节省潜力和更高的可扩展性。

    一种基于多智能体深度强化学习的有源配电网协同调压方法及系统

    公开(公告)号:CN114362187A

    公开(公告)日:2022-04-15

    申请号:CN202111415562.9

    申请日:2021-11-25

    Abstract: 本发明公开了一种基于多智能体深度强化学习的有源配电网协同调压方法及系统,包括获取高比例可再生能源配电网协同电压控制模型;将协同电压控制模型设计为与每个分布式电源逆变器控制相关的马尔可夫博弈问题;采用多智能体注意力近端策略优化算法以及专家知识求解马尔可夫博弈问题,最终得到每个分布式电源逆变器的本地有功功率和无功功率最优控制策略;将训练获得的最优控制策略部署进行在线协同调压,与现有方法相比,本发明方法可实现配电网电压安全前提下具有更强的可再生能源消纳能力。

    一种基于深度强化学习的智慧家庭能量管理方法及系统

    公开(公告)号:CN110458443A

    公开(公告)日:2019-11-15

    申请号:CN201910724530.3

    申请日:2019-08-07

    Abstract: 本发明公开了一种基于深度强化学习的智慧家庭能量管理方法及系统,方法的设计步骤如下:将在无建筑热动力学模型和维持室内温度在舒适范围的情况下最小化智慧家庭能量成本这一能量管理问题建模为马尔可夫决策过程并设计相应的环境状态、行为、奖励函数;利用深度确定性策略梯度算法训练出不同环境状态下能量存储系统或/和可控负载的最优行为,进而最大化奖励函数;将训练好的深度神经网络参数定期拷贝至智慧家庭能量管理系统本地的深度神经网络,用于实际性能测试。本发明提出的方法无需知晓任何不确定性系统参数的先验信息和建筑热动力学模型,且采用本地测试与云端训练相结合的在线学习模式来应对环境变化可能带来的性能降级问题。

    一种灵活的室内网络架构设计及资源配置方法

    公开(公告)号:CN107426037A

    公开(公告)日:2017-12-01

    申请号:CN201710730802.1

    申请日:2017-08-23

    CPC classification number: H04L41/0803 H04L41/145

    Abstract: 本发明公开了一种灵活的室内网络架构设计及资源配置方法,该方法通过引入大量的、低功耗的、低成本的、采用双规则几何分布的演进型无线接入点E-AP(Evoluted Access Point),采用软件定义网络SDN(Software Defined Network)的中心式思想对E-APs进行控制,实现一种室内的软件定义的扩展网络架构。并提出一种适用于室内大量移动设备通信的合理的资源配置与自主化的移动管理方案。该方案通过E-APs与环境感知传感器联合使用采集移动UE(User Equipment)信息,结合期望速率和转移概率矩阵对E-APs进行配置,在该时刻保证了较高的速率,并且能够提前预测下一时刻的E-APs分配,从而降低延迟,实现网络的无缝连接。该方法是一种联合的通信与计算,能够保证更高的通信速率、更好的通信质量和更灵活的网络架构。

    一种基于进化深度强化学习的商业建筑HVAC控制方法及系统

    公开(公告)号:CN115017584B

    公开(公告)日:2024-11-15

    申请号:CN202210631141.8

    申请日:2022-06-06

    Abstract: 本发明公开了一种基于进化深度强化学习的商业建筑HVAC控制方法及系统,包括:获取商业建筑HVAC控制模型;将HVAC控制模型设计为与风阀控制和区域供风速率控制相关的马尔可夫博弈问题;采用多智能体注意力进化深度强化学习算法并行求解马尔可夫博弈问题,得到多组多智能体群的最优控制策略;对不同种群的最优控制策略进行重组并将其作为规模更大的多智能体群的初始策略;重复求解规模更大的马尔可夫博弈问题直到种群规模与风阀数量与区域数量之和相等,最终得到HVAC系统的最优控制策略;将训练得到的HVAC最优控制策略部署到实际系统进行在线控制。相比现有方法,本发明可在维持高舒适性的同时显著降低能量成本。

Patent Agency Ranking