本发明公开了基于自适应动态规划的用户侧柔性负荷调度方法，属于电力系统自动化的技术领域。本发明在原有负荷用电需求基础上利用可平移负荷以及可削减负荷的可平移部分，根据补偿机制以及激励机制对用电负荷进行引导进而对原有负荷曲线削峰填谷，同时利用风储对用户侧进行供电以维持供电侧与用电侧负荷平衡，通过训练自适应动态规划中的神经网络以实现对不确定的多储能模型近似逼近，从而得到最优的负荷平移方式以及多储能充放电方式，降低系统运行成本，增强系统稳定性。
1.基于自适应动态规划的用户侧柔性负荷调度方法，其特征在于，包括如下步骤：A、根据日常用电需求对用户侧柔性负荷进行划分的具体方法为：根据日常用电需求将用户侧柔性负荷划分为重要负荷、可削减负荷和可平移负荷，并将可削减负荷按性质划分为可平移部分和不可平移部分；
B、根据用户侧柔性负荷的划分结果建立考虑了激励负荷激励机制以及可中断负荷补偿机制的多储能模型，多储能模型以多储能充放电成本最低、激励负荷的激励成本最低、可中断负荷的补偿成本最低为目标函数且包含负荷平衡约束、可移动负荷总量约束、可移动负荷状态约束、相邻时段储能储量变化约束、储能储量约束、储能充放电运行约束、储能充放电功率约束、储能状态平衡约束、基负荷约束、可中断负荷约束、可削减负荷约束、负荷总量约束；
C、以各储能储量、可削减负荷的可平移部分、可平移负荷为系统状态量，采用执行依赖启发式动态规划方法优化所述多储能模型得到包含各储能充放电量、激励负荷量、可中断负荷量的最优控制策略。
2.根据权利要求1所述基于自适应动态规划的用户侧柔性负荷调度方法，其特征在于，所述目标函数、负荷平衡约束、可移动负荷总量约束、可移动负荷状态约束、相邻时段储能储量变化约束、储能储量约束、储能充放电运行约束、储能充放电功率约束、储能状态平衡约束、基负荷约束、可中断负荷约束、可削减负荷约束、负荷总量约束分别为：目标函数：min(F1+F2+F3)，
可移动负荷状态约束：Yin,t+Yout,t＝1，
储能储量约束：Ek,min≤Ek,t≤Ek,max，
基负荷约束：Pload,t-Pout,tYout,t≥PL1,t+PL2A,t，可中断负荷约束：0≤Pout,tUout,t≤PL2B,t+PL3,t，可削减负荷约束：PL2A,t+PL2B,t＝PL2,t，
负荷总量约束：PL1,t+PL2,t+PL3,t＝Pload,t，其中，F1、F2、F3分别为多储能充放电成本、激励负荷的激励成本以及可中断负荷的补偿成本，T为调度周期，K为储能数量，λk,t为第k个储能在t时刻的充放电成本系数， 为第k个储能在t时刻的充放电量，Pin,t为t时刻的激励负荷量，ρ1和ρ2为激励系数，μin为表征原负荷用户增加负荷的意愿因子，Yin,t为激励负荷在t时刻的状态变量，Yin,t为1时表示原负荷用户在t时刻增加负荷，Yin,t为0时表示原负荷用户在t时刻不增加负荷，Pout,t为t时刻的可中断负荷量，η1和η2为补偿系数，μout为表征原负荷用户中断负荷的意愿因子，Yout,t为可中断负荷在t时刻的状态变量，Yout,t为1时表示原负荷用户在t时刻中断负荷，Yout,t为0时表示原负荷用户在t时刻不中断负荷，Pw,t为t时刻风电的出力，Pload,t为t时刻的负荷量，Ek,t-1、Ek,t分别为第k个储能在t-1时刻、t时刻的储量，Δt为相邻两时刻的时间间隔，Ek,max、Ek,min为第k个储能储量的上下限， 分别为第k个储能在t时刻充放电量的数值，分别为第k个储能充放电量数值的上限，Ek,1、Ek,T+1分别表示第k个储能在第1时刻和第T+1时刻的储量，PL1,t、PL2,t、PL3,t分别为t时刻的重要负荷、可削减负荷、可平移负荷，PL2A,t、PL2B,t分别为t时刻可削减负荷的不可平移部分、可平移部分。
3.根据权利要求2所述基于自适应动态规划的用户侧柔性负荷调度方法，其特征在于，步骤C具体包括如下步骤：C1、根据多储能模型构建效用函数、迭代控制律、迭代性能指标函数：效用函数为：
其中，U(xt,ut)为t时刻的效用函数值，xt为t时刻的系统状态量，ut为t时刻的控制策略，vl(xt)为在t时刻系统状态量的约束下进行第l次迭代时确定的t时刻最优控制策略，Jl+1(xt)为在t时刻系统状态量的约束下进行第l+1次迭代时的性能指标函数值，Jl(xt+1)为在t+
1时刻系统状态量的约束下进行第l次迭代时的性能指标函数值；
C2、对储能进行充放电控制并对可移动负荷进行负荷平移以确定各时刻的控制策略集：在储能充放电功率约束、相邻时段储能储量变化约束、储能储量约束下控制储能在各时刻的充放电进而更新各时刻系统状态量中的各储能储量，在各储能储量满足储能状态平衡约束时确定当前时刻各储能的充放电量，在可中断负荷约束、基负荷约束下对各时刻系统状态量中的可削减负荷的可平移部分以及可平移负荷进行负荷平移进而更新激励负荷的状态变量以及可中断负荷的状态变量，在系统满足可移动负荷总量约束时确定当前时刻的激励负荷量和可中断负荷量；
从当前时刻各储能的充放电量中选取满足负荷平衡约束的元素组合，所选取的元素组合与当前时刻的激励负荷量以及可中断负荷量构成当前时刻的控制策略集；
根据当前时刻控制策略集确定当前迭代下的最优控制策略及性能指标函数值；
在当前迭代下的性能指标函数值满足迭代精度时，当前迭代下的最优控制策略及性能指标函数值即为当前时刻的最优控制策略及迭代性能指标函数最优值，在当前迭代下的性能指标函数值不满足迭代精度时，返回步骤C2进行下一次迭代。
基于自适应动态规划的用户侧柔性负荷调度方法
技术领域
[0001] 本发明公开了一种柔性负荷的优化调度方法，尤其涉及一种基于自适应动态规划的用户侧柔性负荷调度方法，属于电力系统自动化的技术领域。
背景技术
[0002] 能源、环境问题一直是全世界关注的问题，随着环境问题的日益凸显，人们把目光投向了包括风能、太阳能的新能源领域。目前，风力发电作为可再生能源开发利用程度最高的发电方式之一，在减轻环境污染、调整能源结构上起到了重要作用。近年来，越来越多的风电接入到电力系统中，风电的随机性、波动特性对电网的安全稳定运行造成了冲击且给传统的电力系统动态经济调度带来了困难。在传统经济调度中，供电侧与用电侧稳定地扮演着供与需的角色。但近年来，随着经济的不断发展以及社会用电需求的日益增长，电网最大负荷利用小时数不断下降，尖峰负荷问题日益突出，电网负荷曲线峰谷问题愈发明显。在使用风电进行供电时，由于日常的负荷曲线和风电出力曲线都拥有明显的峰谷，因而风电与负荷用电难以匹配进而严重影响电网运行的可靠性，利用多储能进行充放电可以对风电进行调度以满足负荷平衡的需求，但由于负荷侧峰谷差越来越大，利用多储能进行优化调度难度也愈发明显。风电出力的随机性以及负荷产生的不确定性使得多储能模型存在不确定性，这也给多储能的优化调度带来了难度。本发明旨在利用自适应动态规划方法近似逼近多储能模型进而实现多储能充放电的精确控制。
发明内容
[0003] 本发明的发明目的是针对上述背景技术的不足，提供了基于自适应动态规划的用户侧柔性负荷调度方法，通过训练自适应动态规划中的神经网络近似逼近以低成本且负荷平衡为目标的多储能模型，实现了负荷的最优平移以及多储能充放电的最优控制，解决了多储能优化调度难的技术问题。
[0004] 本发明为实现上述发明目的采用如下技术方案：
[0005] 基于自适应动态规划的用户侧柔性负荷调度方法，包括如下步骤：
[0006] A、根据日常用电需求对用户侧柔性负荷进行划分；
[0007] B、根据用户侧柔性负荷的划分结果建立考虑了激励负荷激励机制以及可中断负荷补偿机制的多储能模型；
[0008] C、采用自适应动态规划方法优化所述多储能模型得到最优控制策略。
[0009] 作为基于自适应动态规划的用户侧柔性负荷调度方法的进一步优化方案，步骤A中根据日常用电需求对用户侧柔性负荷进行划分的具体方法为：根据日常用电需求将用户侧柔性负荷划分为重要负荷、可削减负荷和可平移负荷，并将可削减负荷按性质划分为可平移部分和不可平移部分。
[0010] 作为基于自适应动态规划的用户侧柔性负荷调度方法的进一步优化方案，步骤C采用执行依赖启发式动态规划方法优化所述多储能模型得到最优控制策略。
[0011] 作为基于自适应动态规划的用户侧柔性负荷调度方法更进一步的优化方案，步骤B建立的多储能模型以多储能充放电成本最低、激励负荷的激励成本最低、可中断负荷的补偿成本最低为目标函数且包含负荷平衡约束、可移动负荷总量约束、可移动负荷状态约束、相邻时段储能储量变化约束、储能储量约束、储能充放电运行约束、储能充放电功率约束、储能状态平衡约束、基负荷约束、可中断负荷约束、可削减负荷约束、负荷总量约束。
[0012] 再进一步的，基于自适应动态规划的用户侧柔性负荷调度方法中，目标函数、负荷平衡约束、可移动负荷总量约束、可移动负荷状态约束、相邻时段储能储量变化约束、储能储量约束、储能充放电运行约束、储能充放电功率约束、储能状态平衡约束、基负荷约束、可中断负荷约束、可削减负荷约束、负荷总量约束分别为：
[0013] 目标函数：
[0014] 负荷平衡约束：
[0015] 可移动负荷总量约束：
[0016] 可移动负荷状态约束：Yin,t+Yout,t＝1，
[0017] 相邻时段储能储量变化约束：
[0018] 储能储量约束：Ek,min≤Ek,t≤Ek,max，
[0019] 储能充放电运行约束：
[0020] 储能充放电功率约束：
[0021] 储能状态平衡约束：Ek,1＝Ek,T+1，
[0022] 基负荷约束：Pload,t-Pout,tYout,t≥PL1,t+PL2A,t，
[0023] 可中断负荷约束：0≤Pout,tUout,t≤PL2B,t+PL3,t，
[0024] 可削减负荷约束：PL2A,t+PL2B,t＝PL2,t，
[0025] 负荷总量约束：PL1,t+PL2,t+PL3,t＝Pload,t，
[0026] 其中，F1、F2、F3分别为多储能充放电成本、激励负荷的激励成本以及可中断负荷的补偿成本，T为调度周期，K为储能数量，λk,t为第k个储能在t时刻的充放电成本系数， 为第k个储能在t时刻的充放电量，Pin,t为t时刻的激励负荷量，ρ1和ρ2为激励系数，μin为表征原负荷用户增加负荷的意愿因子，Yin,t为激励负荷在t时刻的状态变量，Yin,t为1时表示原负荷用户在t时刻增加负荷，Yin,t为0时表示原负荷用户在t时刻不增加负荷，Pout,t为t时刻的可中断负荷量，η1和η2为补偿系数，μout为表征原负荷用户中断负荷的意愿因子，Yout,t为可中断负荷在t时刻的状态变量，Yout,t为1时表示原负荷用户在t时刻中断负荷，Yout,t为0时表示原负荷用户在t时刻不中断负荷，Pw,t为t时刻风电的出力，Pload,t为t时刻的负荷量，Ek,t-1、Ek,t分别为第k个储能在t-1时刻、t时刻的储量，Δt为相邻两时刻的时间间隔，Ek,max、Ek,min为第k个储能储量的上下限， 分别为第k个储能在t时刻充放电量的数值，分别为第k个储能充放电量数值的上限，Ek,1、Ek,T+1分别表示第k个储能在第1时刻和第T+1时刻的储量，PL1,t、PL2,t、PL3,t分别为t时刻的重要负荷、可削减负荷、可平移负荷，PL2A,t、PL2B,t分别为t时刻可削减负荷的不可平移部分、可平移部分。
[0027] 更进一步的，基于自适应动态规划的用户侧柔性负荷调度方法中，步骤C以各储能储量、可削减负荷的可平移部分、可平移负荷为系统状态量，采用执行依赖启发式动态规划方法优化所述多储能模型得到包含各储能充放电量、激励负荷量、可中断负荷量的最优控制策略，具体包括如下步骤：
[0028] C1、根据多储能模型构建效用函数、迭代控制律、迭代性能指标函数：
[0029] 效用函数为：
[0030]
[0031] 迭代控制律为：
[0032] 迭代性能指标函数为：
[0033]
[0034] 其中，U(xt,ut)为t时刻的效用函数值，xt为t时刻的系统状态量，ut为t时刻的控制策略，vl(xt)为在t时刻系统状态量的约束下进行第l次迭代时确定的t时刻最优控制策略，Jl+1(xt)为在t时刻系统状态量的约束下进行第l+1次迭代时的性能指标函数值，Jl(xt+1)为在t+1时刻系统状态量的约束下进行第l次迭代时的性能指标函数值；
[0035] C2、对储能进行充放电控制并对可移动负荷进行负荷平移以确定各时刻的控制策略集：
[0036] 在储能充放电功率约束、相邻时段储能储量变化约束、储能储量约束下控制储能在各时刻的充放电进而更新各时刻系统状态量中的各储能储量，在各储能储量满足储能状态平衡约束时确定当前时刻各储能的充放电量，
[0037] 在可中断负荷约束、基负荷约束下对各时刻系统状态量中的可削减负荷的可平移部分以及可平移负荷进行负荷平移进而更新激励负荷的状态变量以及可中断负荷的状态变量，在系统满足可移动负荷总量约束时确定当前时刻的激励负荷量和可中断负荷量；
[0038] 从当前时刻各储能的充放电量中选取满足负荷平衡约束的元素组合，所选取的元素组合与当前时刻的激励负荷量以及可中断负荷量构成当前时刻的控制策略集；
[0039] C3、确定最优控制策略：
[0040] 根据当前时刻控制策略集确定当前迭代下的最优控制策略及性能指标函数值；
[0041] 在当前迭代下的性能指标函数值满足迭代精度时，当前迭代下的最优控制策略及性能指标函数值即为当前时刻的最优控制策略及迭代性能指标函数最优值，
[0042] 在当前迭代下的性能指标函数值不满足迭代精度时，返回步骤C2进行下一次迭代。
[0043] 本发明采用上述技术方案，具有以下有益效果：在原有负荷用电需求基础上利用可平移负荷以及可削减负荷的可平移部分，根据补偿机制以及激励机制对用电负荷进行引导进而实现对原有负荷曲线的削峰填谷，同时利用风储对用户侧进行供电以维持供电侧与用电侧的负荷平衡，通过训练自适应动态规划中的神经网络以实现对不确定的多储能模型的近似逼近，从而得到最优的负荷平移方式以及多储能充放电的最优控制方式，降低系统运行成本，增强系统稳定性，避免优化过程中“维数灾”的难题。
附图说明
[0044] 图1为日常负荷组成的示意图。
[0045] 图2为本发明采用自适应动态规划方法迭代优化多储能模型的流程图。
具体实施方式
[0046] 下面结合附图对发明的技术方案进行详细说明。本发明根据日常用电需求按图1所示的方式将日常负荷Pload分为重要负荷PL1、可削减负荷PL2以及可平移负荷PL3，根据可削减负荷性质又将其分为可削减负荷的可平移部分以及不可平移部分PL2A、PL2B。在原有日常负荷曲线中增加或减少负荷，增加的负荷称为激励负荷，减少的负荷称为可中断负荷，利用激励负荷的激励机制、可中断负荷的补偿机制对原有负荷曲线削峰填谷，同时利用风储对用户侧进行供电，使得供电侧与用电侧负荷平衡，建立多储能模型。由于风电出力的不确定性，以及用电侧负荷产生的未知，针对这种不确定模型，自适应动态规划可以使用神经网络对不确定模型进行近似逼近，最终得到系统运行最优控制策略，减少系统运行代价，增强系统运行稳定性。
[0047] 本发明采用自适应动态规划方法迭代优化多储能模型的流程图如图2所示，包括以下两大步骤。
[0048] (一)构建根据负荷需求对用户侧负荷进行等级划分的多储能优化模型
[0049] 优化模型如下：
[0050] (1)目标函数：
[0051]
[0052] 其中，F1、F2、F3分别为多储能充放电成本、激励负荷的激励成本以及可中断负荷的补偿成本，F为三种成本之和，T为调度周期，K为储能数量，λk,t为第k个储能在t时刻的充放电成本系数， 为第k个储能在t时刻的充电量或放电量，Pin,t为t时刻的激励负荷量，ρ1和ρ2为激励系数，μin为表征原负荷用户增加负荷的意愿因子，Yin,t为激励负荷在t时刻的状态变量，Yin,t为1时表示原负荷用户在t时刻增加负荷，Yin,t为0时表示原负荷用户在t时刻不增加负荷，Pout,t为t时刻的可中断负荷量，η1和η2为补偿系数，μout为表征原负荷用户中断负荷的意愿因子，Yout,t为可中断负荷在t时刻的状态变量，Yout,t为1时表示原负荷用户在t时刻中断负荷，Yout,t为0时表示原负荷用户在t时刻不中断负荷。
[0053] (2)约束条件：
[0054] 负荷平衡约束：
[0055] 其中，Pw,t为t时刻风电的出力，Pload,t为t时刻的负荷量，
[0056] 可移动负荷总量约束：
[0057] 可移动负荷状态约束：Yin,t+Yout,t＝1，
[0058] 相邻时段储能储量变化约束：
[0059] 其中，Ek,t-1、Ek,t分别为第k个储能在t-1时刻、t时刻的储量，Δt为相邻两时刻的时间间隔，
[0060] 储能储量约束：Ek,min≤Ek,t≤Ek,max
[0061] 其中，Ek,max、Ek,min为第k个储能储量的上下限，
[0062] 储能充放电运行约束：
[0063] 其中， 分别为第k个储能在t时刻充放电量的数值，
[0064] 储能充放电功率约束：
[0065] 其中， 分别为第k个储能充放电量数值的上限，
[0066] 储能状态平衡约束：Ek,1＝Ek,T+1，
[0067] 其中，Ek,1、Ek,T+1分别表示第k个储能在第1时刻和第T+1时刻的储量，[0068] 基负荷约束：Pload,t-Pout,tYout,t≥PL1,t+PL2A,t，
[0069] 可中断负荷约束：0≤Pout,tUout,t≤PL2B,t+PL3,t，
[0070] 可削减负荷约束：PL2A,t+PL2B,t＝PL2,t，
[0071] 负荷总量约束：PL1,t+PL2,t+PL3,t＝Pload,t，
[0072] 其中，PL1,t、PL2,t、PL3,t分别为t时刻的重要负荷、可削减负荷、可平移负荷，PL2A,t、PL2B,t分别为t时刻可削减负荷的不可平移部分和可平移部分，基负荷为重要负荷和可削减负荷的不可平移部分之和。
[0073] (二)运用执行依赖启发式动态规划(ADHDP)优化多储能模型
[0074] 步骤1：设定评价网络以及执行网络均设成三层神经网络形式，初始化神经网络权值矩阵。
[0075] 步骤2：设定第t时刻的状态xt＝{E1,t,...,EK,t,PL2B,t,PL3,t}和第t时刻的控制策略[0076] 步骤3：利用迭代自适应动态规划优化多储能模型：
[0077] 引入迭代指标l，对于迭代指标l＝0,1,2,...,迭代自适应动态规划算法可以在如下两式之间迭代：
[0078] 迭代控制律vl(xt)：
[0079]
[0080] 以及迭代性能指标函数Jl+1(xt)：
[0081]
[0082] 其中，U(xt,ut)为t时刻的效用函数值，xt为t时刻的系统状态量，ut为t时刻的控制策略，vl(xt)为在t时刻系统状态量的约束下进行第l次迭代时确定的t时刻最优控制策略，Jl+1(xt)为在t时刻系统状态量的约束下进行第l+1次迭代时的性能指标函数值，Jl(xt+1)为在t+1时刻系统状态量的约束下进行第l次迭代时的性能指标函数值。
[0083] 步骤4、迭代自适应动态规划实现方法步骤如下：
[0084] Step1、设置计算精度ε，选取t时刻的系统状态量xt，初始化三种网络的权值和性能指标函数，令l＝0,1,2,...为迭代指标。
[0085] Step2、t时刻的控制策略ut的选取：在输入t时刻的系统状态量xt时，xt中E1,t,...,EK ,t在进行充放电时需 满足Ek ,min≤Ek ,t≤Ek ,max ，充放电需 满足且在整个T周期内，需满足Ek,1＝Ek,T+1；xt中PL2B,t,PL3,t在进
行负荷平移时，可中断负荷需满足0≤Pout,tUout,t≤PL2B,t+PL3,t，且在中断负荷时，原有负荷在可中断负荷平移之后需满足Pload,t-Pout,tYout,t≥PL1,t+PL2A,t，且需满足即在整个周期内，可中断负荷总量与激励负荷总量相等，在找出各
自 满足约束条件的控 制策略 后 ，需满足负荷平衡 约束
找出各自满足约束条件集合即t时刻的控制策略
[0086] Step3、令l＝0，J0(·)＝0，获得响应的状态数据，将可选择控制策略ut及状态数据带入评价网络，根据式(1)并通过比较获得迭代控制策略vl(xt)。
[0087] Step4、针对当前状态训练执行网络，根据式(2)，获得迭代性能指标函数Jl+1(xt)。
[0088] Step5、如果|Jl+1(xt)-Jl(xt)|≤ε，停止迭代，转到Step7；否则转到Step6。
[0089] Step6、令l＝l+1，转到Step3。
[0090] Step7、算法输出vl(xt)，得到迭代l次的最优近似策略 以及最优近似代价
