公开(公告)号：CN118894006A

公开(公告)日：2024-11-05

申请号：CN202410659439.9

申请日：2024-05-27

Applicant: 河北工业大学

Inventor： 赵黎媛 ,  徐富广 ,  张献 ,  李辉 ,  李辽 ,  张鹏举 ,  李金泽

IPC: B60L53/64 ,  B60L53/00 ,  G06Q50/06 ,  G06N3/092 ,  G06N7/01

Abstract: 本发明涉及电动汽车充放电技术领域，公开了一种基于深度强化学习的电动汽车充放电能量管理方法。该发明从用户心理焦虑、充电偏好、充电位置三个方面具体描述由电动汽车用户动态行为导致的不确定性，并提出期望电量定量描述用户心理焦虑的分布；考虑实际电动汽车充放电过程中效率的变化特性，拟合出效率随功率变化的曲线，并应用在电动汽车电池电量更新公式中；提出基于双延迟深度确定性策略梯度算法的电动汽车能量管理方法，设计马尔科夫决策模型的状态空间、动作空间和奖励函数；通过训练得到的智能体能够自适应控制电动汽车的充放电功率，实现对电动汽车充放电能量管理，达到响应分时电价，降低用户充电成本，满足用户出行需求的目的。

公开(公告)号：CN118646045A

公开(公告)日：2024-09-13

申请号：CN202410659755.6

申请日：2024-05-27

Applicant: 河北工业大学

Inventor： 赵黎媛 ,  李辽 ,  张献 ,  张鹏举 ,  徐富广 ,  李辉 ,  李金泽

IPC: H02J3/32 ,  G06Q10/04 ,  G06Q10/0631 ,  G06Q30/0201 ,  G06Q50/06

Abstract: 本发明涉及能源网优化调度领域，公开了一种基于深度强化学习的含虚拟储能的多能微网调度方法，旨在以数据驱动方法实现多能微网源荷双侧协同运行优化，所述虚拟储能包括电动汽车和楼宇蓄热，所述方法包括以下步骤：建立计及虚拟储能的多能微网数学模型；对多能微网优化调度问题进行数学描述；将该调度问题转化为马尔可夫决策过程；采集多能微网的当前状态参数；将当前状态参数输入至预先训练好的深度强化学习模型，获得深度强化学习模型输出的动作量，基于该动作量实现多能微网整体的优化运行。本发明提供的技术方案能够充分利用电动汽车与楼宇的灵活性潜力，同时规避了源荷不确定性因素对多能微网优化调度的影响，降低多能微网的运行成本。

公开(公告)号：CN118630735A

公开(公告)日：2024-09-10

申请号：CN202410659398.3

申请日：2024-05-27

Applicant: 河北工业大学

Inventor： 赵黎媛 ,  张鹏举 ,  李金泽 ,  李辽 ,  刘晓明 ,  徐富广 ,  李辉

IPC: H02J3/00 ,  G06N20/00 ,  G06Q50/06

Abstract: 本发明涉及虚拟电厂优化调度领域，公开了一种基于深度强化学习的含氢虚拟电厂低碳经济调度方法，旨在实现不确定性环境下虚拟电厂的低碳经济调度。其技术方案要点是构造面向含氢虚拟电厂低碳经济调度的深度强化学习框架，包括选取表征虚拟电厂调度的动作变量、状态变量、奖励函数；获取系统运行数据对深度确定性策略梯度网络进行训练；将虚拟电厂的实时状态输入训练完成的深度策略网络中，输出调度动作。本发明建立氢能多元化利用结构，对燃气进行掺氢处理，提高能源利用率的同时，促进虚拟电厂绿色低碳转型。此外，深度强化学习方法的应用规避了源荷不确定性因素对调度结果的影响，能够保证系统的经济、低碳、可靠运行。

公开(公告)号：CN118485208A

公开(公告)日：2024-08-13

申请号：CN202410659317.X

申请日：2024-05-27

Applicant: 河北工业大学

Inventor： 赵黎媛 ,  李金泽 ,  张鹏举 ,  李辽 ,  徐富广 ,  李辉

IPC: G06Q10/063 ,  G06N7/01 ,  G06N3/092 ,  G06Q50/06

Abstract: 本发明适用于家庭能源调度技术领域，公开了一种知识融合深度强化学习的计及舒适度的家庭能量调度方法，该方法包括：建立家庭能源系统内部用能设备的数学模型；设计用户多维度舒适度指标，建立系统多目标优化的数学模型；设计家庭用能设备知识规则；构建知识与近端策略优化算法融合的家庭能源系统深度强化学习模型；设计深度强化学习模型的状态空间、动作空间和奖励函数；通过深度强化学习模型进行学习，得到最优策略，实现系统的优化运行。本发明考虑了家庭气、电能源设备和停电紧急状况，兼顾用户用能成本和多重舒适度，同时引入优化知识规则，设计能够高效提取优化知识的近端策略优化算法和学习网络，加快算法的收敛速度。

公开(公告)号：CN117134432A

公开(公告)日：2023-11-28

申请号：CN202311192263.2

申请日：2023-09-15

Applicant: 河北工业大学

Inventor： 赵黎媛 ,  徐富广 ,  李辽 ,  李辉 ,  李金泽 ,  张鹏举

IPC: H02J3/46 ,  H02J3/14 ,  H02J3/28 ,  G06F18/214 ,  G06F18/20 ,  G06Q50/06

Abstract: 本发明涉及综合能源系统控制技术领域，公开了一种综合能源系统双侧协同控制方法、设备和存储介质。该方法通过采集综合能源系统的实时状态数据，将实时状态数据输入至训练得到的深度策略模型，通过其中的策略网络，得到供能侧的设备工作参数以及负荷侧的可控消耗电功率，进而控制供能侧中各设备的运行，以及控制负荷侧消耗的电功率和采暖区域内部温度，实现了对综合能源系统的负荷侧和供能侧的协同优化控制，可以在保证对负荷侧需求响应和满足用户热舒适度的同时，进一步降低系统的运行成本；并且，该方法通过优先经验重放策略和L2正则化策略对深度确定性策略梯度算法进行改进，可以进一步提高模型输出的准确性，保证双侧协同控制的可靠性。

公开(公告)号：CN118521096A

公开(公告)日：2024-08-20

申请号：CN202410659244.4

申请日：2024-05-27

Applicant: 河北工业大学

Inventor： 赵黎媛 ,  李辉 ,  李辽 ,  李金泽 ,  张鹏举 ,  徐富广

IPC: G06Q10/0631 ,  G06Q50/06 ,  G06Q50/26 ,  G06Q10/04

Abstract: 本发明涉及综合能源系统优化调度领域，公开了一种基于碳流指导的园区综合能源系统优化调度方法，包括：构建园区综合能源系统中能源生产设备、能源转换设备、多能耦合设备和多元储能设备的能量流模型；基于碳排放流理论，建立各设备的碳流模型；建立源‑荷互动的双层优化模型，上层为园区管理侧，下层为用户侧；上层考虑阶梯型碳交易调整设备计划出力，并得到优化周期内异质能源母线碳流密度的时空分布；下层基于碳流指导进行低碳用能需求响应，调整用能需求；上下层循环迭代优化，直至达到双层优化模型收敛条件，求解结束；最后输出优化调度结果，分析两种减排措施相协调的碳减潜力。