上海理工大学学报  2020, Vol. 42 Issue (5): 467-478   PDF    
马尔科夫决策过程下含可再生能源的实时电价策略
许志宏1,2, 高岩1, 程潘红1     
1. 上海理工大学 管理学院,上海 200093;
2. 日照职业技术学院 公共教学部,日照 276826
摘要: 运用马尔科夫决策过程表示用户调度各种类型家电和可再生能源发电量的不确定性,提出了一种新的用户福利最大化模型。为平衡用户用电效用(表示用户使用购买到的电力之后的满意程度)和支付成本之间的关系,引入权重因子作为未知变量。运用改进的模拟退火算法求解该模型并得到最优权重值。最后,仿真结果验证了模型的合理性和算法的可行性,可以指导用户进行能源优化配置和家电用电调度,以达到用户侧总体利益最大化的目标。
关键词: 可再生能源     马尔科夫决策过程     模拟退火算法     实时电价    
Real-time pricing strategy in consideration of renewable energy sources by using Markov decision process for its uncertainty
XU Zhihong1,2, GAO Yan1, CHENG Panhong1     
1. Business School, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. Public Teaching Department, Rizhao Polytechnic, Rizhao 276826, China
Abstract: Applying Markov decision process to represent the uncertainty in the scheduling of various types of appliances and renewable energy generation, a new model of maximizing the expected users’ welfare was proposed. In order to balance the relationship between the utility of users’ electricity consumption (indicating the satisfaction degree of users after using the purchased electricity) and the payment cost, a weight factor was introduced as an unknown variable. The model was solved by an improved simulated annealing algorithm and the optimal weight factor was obtained. The simulation results verify the rationality of the model and the feasibility of the algorithm, which can guide users to optimize the energy allocation and schedule different appliances, so as to achieve the goal of maximizing the overall interest of users.
Key words: renewable energy source     Markov decision process     simulated annealing algorithm     real-time pricing    

智能电网是基于高度集成的双向通信网络和信息系统的智能化电网系统,是未来电网发展的必然趋势[1-5]。与传统电网相比,智能电网具有结构灵活、系统性能优良、质量高、可靠、经济及环保等优点,可以促进社会不断发展。为了最大限度地减少输配电过程中造成的电力损耗和温室气体的排放,可再生能源技术得到不断发展,越来越多的用户配备可再生能源(如太阳能、风能等)设备。这样,用户能源调度变得越来越重要,成为最近几年研究的热点[6-8]

基于实时定价的需求侧管理机制能够有效地激励电力用户调整其固有的用电模式,并通过跟踪变化的电价信号参与到智能电网系统的活动中去[9-11]。例如,用户可以根据实时电价系统,在不同的时间段调整空调温度,改变家电的启停时间,这样就降低了需求侧的峰值负荷,缓解了供电商的供电压力。已有大量文献研究基于智能家电的用户最优调度策略[12-18],用户可以根据自己的需求来配置和调度这些设备和智能家电。Carli等[12]提出了一种分散控制策略,允许用户交换剩余的可再生能源,优化规划用户的可控负荷,目的是减少电网的总能量供应。Tushar等[13]在家电分类基础上采用博弈方法研究了可再生能源和电动汽车对用户日常电费的影响。Zhu等[14]考虑到智能家电的分类和用户间的能耗相关性,提出了一种基于马尔科夫决策过程的社会福利最大化模型。Liu等[15]针对网络化的智能电网系统,对未来的发电量进行合理准确的预测,利用马尔科夫决策过程模型对消费者的行为进行规划,优化消费者的净收益。但这些研究只考虑了用户用电行为的不确定性,并没有考虑可再生能源发电量的不确定性。

在一些研究中,最优模型是以用户端的成本最小化为目标而提出的[19-21]。Chen等[20]设计了一种包含能耗适应变量的随机调度算法,该算法考虑了家电运行时间和可再生能源发电量的不确定性,对各种家电的随机能耗模式进行建模,使用户的货币支出最小化。针对如何灵活调度家电的运行时间,Chang[21]运用马尔科夫决策过程(MDP)提出了家庭能源管理设计问题。

然而,上述文献并没有综合考虑用户侧的整体利益。显然,考虑用户效用函数(表示用电满意度的函数)最大化与支付成本函数最小化能够很好地代表用户的整体利益。在用户福利最大化模型中引入各类家电的用电活动,通过给定的用电策略来引导用户的合理消费,不但有利于减少用户用电成本,而且还照顾到用户用电的满意度,从而保证用户福利的最大化。同时,这也有助于削峰填谷、缓解电网供电压力、提高能源利用效率。

结合实时电价和倾斜阻塞率电价,应用马尔科夫决策过程考虑用户用电行为和可再生能源发电量的不确定性,探索一种新的用户最优能源调度方案,使得用户总福利值最大化,指导用户配备和调度各类家电和能源,保证了用户侧总体利益最大化。本文的创新点主要有如下几点:

a. 结合不同类型家电,考虑用户用电行为的不确定性,将家电分为必须运行、弹性和半弹性三类;引入权重因子作为未知变量来平衡用户效用和支付成本之间的关系,建立期望用户福利最大化模型。

b. 运用马尔科夫决策过程表示可再生能源发电量的不确定性,研究可再生能源对用户使用各类家电的影响,指导用户进行能源优化配置和调度各类家电。

c. 根据用户用电行为特点和可再生能源发电量的不确定性,将问题离散为若干子问题,提出了一种用户侧模拟退火算法,解决了该优化问题,实现了最优调度策略。

1 问题阐述

本文系统讨论一个供电商和多个住宅用户的微电网。假设供电商和所有住宅用户通过信息通信基础设施相互连接。每个用户的能源枢纽包括一个小型风力发电机、一些智能家电和一个带智能电表的电量控制器系统。这些设备与智能电表相连,智能电表不仅具有信息传输功能,还具有调节和控制家庭用电信息的功能,它将家庭用电设备的用电信息传递给用户,以便用户更好地控制用电量和成本,并将相关信息传递给供电商,实现负荷控制。电价由供电商给出,用户可以调整智能电表的用电方式,实现自己的效益最大化。该模型假定用户不能向电网或其他用户出售多余的电能,从而丢弃可再生能源生产的多余电能。在模型范围内,没有考虑设备的成本和无功功率,并且保证了电力系统频率和电压的稳定性[12]。此外,马尔科夫决策过程将用于体现用户用电行为和可再生能源发电的不确定性。最后给出了用户的一般效用函数和支付成本函数,以期对用户的福利期望值作出合理的估计。

1.1 马尔科夫决策过程

马尔科夫决策过程是一种序贯决策的数学模型,用于模拟具有马尔科夫性质的系统,以便实现随机性策略。马尔科夫决策过程又称随机动态规划,是求解随机动态决策问题的基本理论和方法[22]。所谓动态决策问题,是指包含多个决策问题,这些决策问题具有优先权(又称顺序决策),前者的决策影响后者的决策;随机动态决策问题是指动态决策对彼此的影响是随机的。在实际应用中,存在大量的随机动态决策问题。例如,用户调度各类家电和可再生能源的行为具有随机动态性,本文从家电分类和可再生能源发电量入手,结合实时电价,探索用户调度各类家电的马尔科夫性质以及如何实现用户的利益最大化。

1.2 家电分类

根据家用电器的工作特点,将其分为三类。第一类家用电器 ${A_i}$ 是必须运行的家用电器,由于其缺乏弹性,这种电器不依赖于电价的变化。例如,照明设备、电视和冰箱不受电量控制器的控制。第二类家用电器 ${B_i}$ ,是弹性家电,如空调、热水器和其他可调设备。这些电器的使用直接受到电价的影响。当电价上涨时,弹性家电的用电量减少,反之亦然。最后一类家用电器 ${C_i}$ 是半弹性设备,如洗衣机、洗碗机、电饭锅和烘干机。这些设备都需要一定的工作时间来完成既定的任务。与弹性家电类似,半弹性家电也受到电价的影响,但半弹性家电的工作时间是固定的。 $\mathbb{K} =\{ t, $ $ {t + 1, \cdots ,K} \}$ 是家电的调度周期。对于用户 $i$ ${l_{a_{u,i}^{}}}$ 表示每个家电 ${a_{u,i}}$ 在调度时间范围内的用电量。

${l_{a_{u,i}^{}}}{\rm{ = }}(l_{a_{u,i}^{}}^t,\;l_{a_{u,i}^{}}^{t + 1}, \;\cdots ,l_{a_{u,i}^{}}^K)$ (1)
1.2.1 必须运行的家电

第一类家电 ${A_i}$ 是必须运行的家电,每天在固定时间内消耗固定的电量。这类家电的使用不会因为电价的变化而变化,如照明电器、电视和冰箱等。假设每个必须运行的家电 $a_{u,i}^{} \in {A_i}$ 在每个时刻消耗电量 $r_{_{{a_{u,i}}}}^k$ 。因此,每个时刻消耗的总电量 $E_{{a_{u,i}}}^k = \displaystyle\sum\limits_{u = 1}^{{M_{{A_i}}}} {l_{{a_{u,i}}}^k} ,\;k \in \mathbb{K}$ 是已知的,其中, ${M_{{A_i}}}$ 是必须运行家电的数量。

1.2.2 弹性家电

第二类家电 ${B_i}$ 是弹性家电。用户可以根据自己的需求对热水器和空调等这类弹性电器进行操作。这类家电的使用可能直接受到电价的影响。电价低时弹性电器的耗电量可能会多一些,反之亦然。在一定程度上,弹性家电消耗的能量越多,用户获得的满意度越高。

对于每一个 $a_{u,i}^{} \in {B_i}$ ,每个时刻消耗的电量满足:

$0 \leqslant l_{{a_{u,i}}}^k \leqslant r_{{a_{u,i}}}^{\max },\;\;\forall k \in \mathbb{K}$ (2)

式中, $r_{a_{u,i}^{}}^{\max }$ 为弹性家电在调度时间段内消耗的最大电量。

假设用户 $i$ 配有 ${M_{{B_i}}}$ 个弹性电器, $l_{{B_i}}^k = \displaystyle\sum\limits_{u = 1}^{{M_{{B_i}}}} {l_{{a_{u,i}}}^k} $ 表示为 $k$ 时刻所有弹性家电的总用电量。由于这类家电的调度高度灵活,其运行方式也不唯一。因此,人们非常关注总用电量 $l_{_{{B_i}}}^k$ ,并将基于 $l_{_{{B_i}}}^k$ 的数据制定出自己独特的用电方案。例如,在总用电量相同的情况下,冬季用户可以自主选择热水器的温度和空调的温度。这类电器的用电量是连续的,由它启动和关闭的时间决定。为了更好地描述其运行特点,在研究中引入了马尔科夫决策过程。假设 ${S_{{B_i}}}(k)$ 是状态空间,它包含用户 ${B_i}$ 类家电在 $k$ 时刻的所有可能的总用电量状态,即 $l_{{B_i}}^k \in {S_{{B_i}}}(k)$ 。用户的用电量仅与最后一个时刻密切相关,与之前所有时刻无关。这可以理解为“现在已知,未来与过去无关”。用公式表示马尔科夫性质,即为

$\begin{aligned} P\{ {S_{{B_i}}}&(k + 1) = l_{{B_i}}^{k + 1}|{S_{{B_i}}}(0) = l_{{B_i}}^0,\;{S_{{B_i}}}(1) = l_{{B_i}}^1, \cdots ,{S_{{B_i}}}(k) = \\ & l_{{B_i}}^k\}\;= P\{ {S_{{B_i}}}(k + 1)\;= l_{{B_i}}^{k + 1}|{S_{{B_i}}}(k) = l_{{B_i}}^k\} \end{aligned}$

假设每个时刻的状态空间相同,即 $S_{{B_i}}^{} = $ $ S_{{B_i}}^{}(k)$ $k \in \mathbb{K}$ 。为了使用马尔科夫决策过程,必须将连续的状态间隔离散化。将 $S_{{B_i}}^{}$ 分割为N个状态, ${S_{{B_i}}} = \{ S_{{B_i}}^1,S_{{B_i}}^2, \cdots ,S_{{B_i}}^N\} $ ,其中, $S_{{B_i}}^1 = \mathop {\min }\limits_{k \in \mathbb{K}}\displaystyle \sum\limits_{{a_{u,i}} = 1}^{{M_{{B_i}}}} {l_{{a_{u,i}}}^k},\; $ $ S_{{B_i}}^N =\mathop {\max }\limits_{k \in \mathbb{K}} \displaystyle\sum\limits_{{a_{u,i}} = 1}^{{M_{{B_i}}}} {l_{{a_{u,i}}}^k} $ ,间隔的长度为 $d = \dfrac{{S_{{B_i}}^N - S_{{B_i}}^1}}{{N - 1}}$ 。向量 ${{{\pi}} ^i}(k) =$ ${[\text{π} _{{B_i}}^1(k),{\text{π}} _{{B_i}}^2(k), \cdots ,{\text{π}} _{{B_i}}^N(k)]^{\rm T}} \in {[0,1]^N}$ 表示为概率分布, ${\text{π}} _{{B_i}}^n(k) \in [0,1],\;n \in [1,2, \cdots N]$ 表示为 ${B_i}$ 类家电在 $k$ 时刻的状态概率。此外。概率分布必须满足以下条件:

$\sum\limits_{n = 1}^N {{\text{π}} _{{B_i}}^n(k) = 1} $ (3)

已知 $k$ 时刻的用电状态 $S_{{B_i}}^{}(k)$ ,下一时刻 $k + 1$ 到达用电状态 $S_{{B_i}}^{}(k + 1)$ 的概率表示为

$p_{k,k + 1}^i = {P} \{ S_{{B_i}}^{}(k + 1) = l_{{B_i}}^{k + 1}|S_{{B_i}}^{}(k) = l_{{B_i}}^k\}$ 。根据 $k$ 时刻的电价 ${\lambda ^k}$ ,状态转移概率矩阵表示为

${{P}}_{k,k + 1}^i({\lambda ^k}) \!=\! \left[\!\! \begin{array}{l} a_{11}^i + b_{11}^i{\lambda ^k}\quad \cdots \quad a_{1N}^i + b_{1N}^i{\lambda ^k} \\ a_{21}^i + b_{21}^i{\lambda ^k}\quad \cdots \quad a_{2N}^i + b_{2N}^i{\lambda ^k} \\ \quad \quad \vdots \quad \quad \quad \;\quad \; \quad \quad \quad \vdots \\ a_{N1}^i + b_{N1}^i{\lambda ^k}\quad \cdots \quad a_{NN}^i + b_{NN}^i{\lambda ^k} \end{array} \!\! \right]$ (4)

其中, $a_{ef}^i$ $b_{ef}^i < 0$ ,为已知参数,其控制输入由下列条件确定:

$\begin{split}&0 \leqslant a_{ef}^i + b_{ef}^i{\lambda ^k} \leqslant 1,\\ &\qquad e = 1,2, \cdots ,N,\;\;f = 1,2, \cdots ,N\end{split}$ (5)

$ \sum\limits_{e = 1}^N {a_{ef}^i + b_{ef}^i{\lambda ^k}} = 1, \;f = 1,2, \cdots ,N $ (6)

$\bar A_{ef}^i = [a_{ef}^i,b_{ef}^i]$ ,显然, $P_{k,k + 1}^i({\lambda ^k})$ ${\lambda ^k}$ $\bar A_{ef}^i$ 决定, $P_{k,k + 1}^i({\lambda ^k})$ 的值与价格 ${\lambda ^k}$ 成反比。

简单地说,状态转移概率是初始状态和最后状态的函数。 ${B_i}$ 类型家电在 $k$ 时刻内的总期望用电量 $\bar l_{{B_i}}^k$ 可由下面公式决定:

$\begin{split} \bar l_{{B_i}}^k = E\left[ {l_{{B_i}}^k} \right] &= S_{{B_i}}^1(k){\text{π}} _1^i(k) + S_{{B_i}}^2(k){\text{π}} _2^i(k) + \cdots +\\& S_{{B_i}}^N(k){\text{π}} _N^i(k),\;\;S_{{B_i}}^n \in {S_{{B_i}}} \end{split}$ (7)

其中, $n = \left[ {\dfrac{{\bar l_{{B_i}}^k}}{d}} \right] + 1$ , $[ \cdot ]$ 为取整函数。

1.2.3 半弹性家电

${C_i}$ 类型家电为半弹性电器,例如,洗衣机、烘干机、洗碗机等。在给定的时间间隔内可以任意选择半弹性家电的工作时间,但其总功耗是固定的。这种家用电器的启动时间可以推迟,但必须是连续的。这意味着一旦启动,它的任务就需要在一定时间内完成,否则在任务完成前停止操作,成本会很大(电饭锅)。

假设每个用户 $i$ 拥有 ${M_{{C_i}}}$ 个半弹性家电 ${C_i}$ 。它的工作需要在 $\mathbb{K}_{{a_{u,i}}}^{} \in \mathbb{K}$ 内完成。每个 $a_{u,i}^{} \in {C_i}$ 都有多种操作模式,每种模式都有不同的功耗配置,它们由用户自己决定。例如,电饭锅有不同的工作模式,烹饪或熬粥。假设家电 $a_{u,i}^{}$ $D_{{a_{u,i}}}^{}$ 个工作模式,每个模式 $d_{{a_{u,i}}}^{} \in \mathbb{D}_{{a_{u,i}}}^{} = \{ 1,2, \cdots ,D_{{a_{u,i}}}^{}\} $ 都有平均功率 ${g_{a_{u,i}^{},d}}$

假设用户操作 ${C_i}$ 类型家电的工作时间段是随机的。在每个时刻 $k \in \mathbb{K}_{{a_{u,i}}}^{}$ 中,用户开启家电 $a_{u,i}^{} \in {C_i}$ 概率为 $p_{{a_{u,i}}}^k \in [0,1]$ ,选择模式 ${d_{a_{u,i}^{}}}$ 的概率为 $\gamma _{{a_{u,i}},d}^k$ ,其中, $\displaystyle\sum\limits_{d = 1}^{{D_{a_{u,i}^{}}}} {\gamma _{{a_{u,i}},d}^k = 1} $ ,则用户 $i$ 要求家电 $a_{u,i}^{}$ $k$ 时刻内启动并在模式下 ${d_{a_{u,i}^{}}}$ 操作的概率为 $p_{{a_{u,i}}}^k \gamma _{{a_{u,i}},d}^k$ 。设在调度期间 ${\mathbb{K}'_{a_{u,i}^{},d}} = \{ {\alpha _{a_{u,i}^{},d}},{\alpha _{a_{u,i}^{},d}} + 1, \cdots ,{\beta _{a_{u,i}^{},d}}\} \in {\mathbb{K}_{a_{u,i}^{}}}$ ,用户选择 ${C_i}$ 类型家电模式 ${d_{a_{u,i}^{}}}$ ,用电量为 ${E'_{a_{u,i}^{},d}}$ 。对于每个 $a_{u,i}^{} \in {C_i}$ ${k_j} \in {\mathbb{K}'_{a_{u,i}^{},d}}$ ,每个时刻的用电量可以描述为

$ \begin{split} & \tilde l_{a_{u,i}^{},d}^k = \\ & \left\{ \begin{aligned} & {g_{a_{u,i}^{},d}},\;\;\text{如果}\;j \in \left\{ {1,2, \cdots ,\left[ {\dfrac{{{{E'}_{a_{u,i}^{},d}}}}{{{g_{a_{u,i}^{},d}}}}} \right]} \right\}\;\text{且}\;{k_j} \in {{\mathbb{K}'}_{a_{u,i}^{},d}} \\ & {{E'}_{a_{u,i}^{},d}} - {g_{a_{u,i}^{},d}} \times \left[ {\dfrac{{{{E'}_{a_{u,i}^{},d}}}}{{{g_{a_{u,i}^{},d}}}}} \right], \\ & \qquad\quad \text{如果}\;j = \left[ {\dfrac{{{{E'}_{a_{u,i}^{},d}}}}{{{g_{a_{u,i}^{},d}}}}} \right] + 1\;\text{且}\;{k_j} \in {{\mathbb{K}'}_{a_{u,i}^{},d}} \\ & 0,\;\;{\text{其他}} \end{aligned} \right.\\[-60pt]\end{split} $ (8)
$\sum\limits_{k \in {{\mathbb{K}'}_{a_{u,i}^{},d}}} {\tilde l_{a_{u,i}^{},d}^k} = {E'_{a_{u,i}^{},d}}$ (9)

定义变量 $ S_{{a_{u,i}}}^k,\;W_{{a_{u,i}},d}^k,\;V_{{a_{u,i}},d}^k$ 分别表示家电 $a_{u,i}^{}$ $k$ 时刻的工作模式、剩余工作长度和剩余最大等待时间。

$S_{{a_{u,i}}}^k \in \left\{ 0,1, \cdots , {D_{a_{u,i}^{}}}\right\}$

    $W_{{a_{u,i}},d}^k \in \Bigg\{ {0,1, \cdots ,} {\left\{ {\left[ {\dfrac{{{{E'}_{a_{u,i}^{},d}}}}{{{g_{a_{u,i}^{},d}}}}} \right] + 1} \right\}} \Bigg\}$

  $V_{{a_{u,i}},d}^k \in \left\{ { 0,1, \cdots ,} {({\beta _{a_{u,i}^{},d}} - {\alpha _{a_{u,i}^{},d}})} - {\left\{ {\left[ {\dfrac{{{{E'}_{a_{u,i}^{},d}}}}{{{g_{a_{u,i}^{},d}}}}} \right] + 1} \right\}} \right\}$

$ {w_{a_{u,i}^{},d}},{v_{a_{u,i}^{},d}}$ 分别表示最大工作时间和最大等待时间。

    ${w_{a_{u,i}^{},d}} = \left\{ {\left[ {\dfrac{{{{E'}_{_{a_{u,i}^{},d}}}}}{{{g_{_{a_{u,i}^{},d}}}}}} \right] + 1} \right\}$

   ${v_{a_{u,i}^{},d}} = ({\beta _{a_{u,i}^{},d}} - {\alpha _{a_{u,i}^{},d}}) - \left\{ {\left[ {\dfrac{{{{E'}_{a_{u,i}^{},d}}}}{{{g_{a_{u,i}^{},d}}}}} \right] + 1} \right\}$

此外,还引入控制变量 $z_{{a_{u,i}}}^k \in \{ 0,1\} $ 来描述 $k$ 时刻家电 ${C_i}$ 的开关状态。

当家电处于空闲状态(关闭)时,所有变量都为零,即 $(S_{{a_{u,i}}}^k,\;W_{{a_{u,i}},d}^k,\;V_{{a_{u,i}},d}^k) = $ $(0,\;0,\;0)$ ,因此, $z_{{a_{u,i}}}^k = 0$ 。如果用户 $i$ 要求家电 $a_{u,i}^{}$ 按模式 ${d_{a_{u,i}^{}}}$ 运行时,有 $(S_{{a_{u,i}}}^{k + 1},\;W_{{a_{u,i}},d}^{k + 1},$ $V_{{a_{u,i}},d}^{k + 1})$ $ = ({d_{a_{u,i}^{}}},\;{w_{a_{u,i}^{},d}},\;{v_{a_{u,i}^{},d}})$ 。电量控制器系统必须根据 $z_{{a_{u,i}}}^{k + 1} = 1$ $z_{{a_{u,i}}}^{k + 1} = 0$ 决定是开启家电还是排队等待任务。一旦控制器决定启动家电,即 $z_{{a_{u,i}}}^{k + 1} = 1$ 必须连续运行一段时间 ${w_{a_u^i,d}}$ ,即 $z_{{a_{u,i}}}^{k + 1} = $ $ z_{{a_{u,i}}}^{k + 2} = \cdots = z_{{a_{u,i}}}^{k + {w_{{a_{u,i}},d}}} = 1$ 。在决定启动后,家电选择模式 ${d'_{a_{u,i}^{}}}$ 的概率为 $p_{{a_{u,i}}}^{k + {w_{{a_{u,i}},d'}} + 1} \gamma _{{a_{u,i}},d'}^{k + {w_{{a_{u,i}},d'}} + 1}$ ,从而返回到状态 $({d'_{{a_{u,i}}}},{w_{{a_{u,i}},d'}},{v_{{a_{u,i}},d'}})$ ;否则,家电返回到状态(0, 0, 0)的概率是 $1 - p_{{a_{u,i}}}^{k + {w_{{a_{u,i}},d'}} + 1}$

在控制变量 $z_{{a_{u,i}}}^{k + 1} = 0$ 下的状态 $({d_{a_{u,i}^{}}},{w_{a_{u,i}^{},d}},{v_{a_{u,i}^{},d}})$ ,表示控制器选择延迟使用家电 ${a_{u,i}}$ 。因此,状态在下一个时刻 $(k + 2)$ 中移动到 $(S_{{a_{u,i}}}^{k + 2},\;W_{{a_{u,i}},d}^{k + 2},\;V_{{a_{u,i}},d}^{k + 2}) = $ $({d_{a_{u,i}^{}}},{w_{a_{u,i}^{},d}},{v_{a_{u,i}^{},d}} - 1)$ 。在新的时刻 $(k + 2)$ 中,控制器需要识别变量 $z_{{a_{u,i}}}^{k + 2}$ 是1还是0。在启动家电或达到家电的最大等待时间之前,控制器将重复上述决策过程。在这两种情况下,系统的状态都会转移到 $({d_{a_{u,i}^{}}},\;{w_{a_{u,i}^{},d}} - 1,\;0)$ 图1给出了具有2模式下半弹性家电马尔科夫决策过程的示例。


图 1 具有2模式下半弹性家电的马尔科夫决策过程 Fig. 1 Markov decision process of semielastic appliances with 2 modes

图1所示,假设家电具有两种工作模式 ${D_{a_{u,i}^{}}} = 2$ ,工作时间 ${w_{a_{u,i}^{},1}} = 3,\;{w_{a_{u,i}^{},2}} = 2$ ,最大等待时间 ${v_{a_{u,i}^{},1}} = 2,\;{v_{a_{u,i}^{},2}} = 1$ ,控制变量 $z_{{a_{u,i}}}^k = z$ ,以及转移概率 $p_{{a_{u,i}}}^k \gamma _{{a_{u,i}},1}^k = p{r_1}$ $p_{{a_{u,i}}}^k \gamma _{{a_{u,i}},2}^k = p{r_2}$ 。设 ${{L}}_{{a_{u,i}}}^k = $ $ (S_{{a_{u,i}}}^k,W_{{a_{u,i}},d}^k,V_{{a_{u,i}},d}^k)$ 是一个状态向量, ${L_i}$ 为所有 ${{L}}_{{a_{u,i}}}^k$ 的集合。引入最优控制策略 $z_{{a_{u,i}}}^{{k^*}}\left( {{{L}}_{{a_{u,i}}}^k} \right),\;k \in K$ ,运用上面描述的马尔科夫决策过程模型和 ${C_i}$ 类型家电的用电量,式(8)可以改写为

$\begin{split}l_{{a_{u,i}}}^k = \left\{ \begin{aligned} & z_{{a_{u,i}}}^{{k^*}}(L_{{a_{u,i}}}^k) {g_{{a_{u,i}},d}},\quad \;\text{如果}\;0 \leqslant {W_{{a_{u,i}},d}} \leqslant \left[ {\frac{{{{E'}_{{a_{u,i}},d}}}}{{{g_{{a_{u,i}},d}}}}} \right] \\ & z_{{a_{u,i}}}^{{k^*}}(L_{{a_{u,i}}}^k) \left( {{{E'}_{{a_{u,i}},d}} - {g_{{a_{u,i}},d}} \left[ {\frac{{{{E'}_{{a_{u,i}},d}}}}{{{g_{{a_{u,i}},d}}}}} \right]} \right),\\ & \quad \text{如果}\;\left[ {\frac{{{{E'}_{{a_{u,i}},d}}}}{{{g_{{a_{u,i}},d}}}}} \right] < {W_{{a_{u,i}},d}} \leqslant {w_{{a_{u,i}},d}} \\ & 0,\;{\text{其他}} \end{aligned} \right.\\[-50pt]\end{split}$ (10)
$\begin{split} z_{{a_{u,i}}}^{{k^*}}(&S_{{a_{u,i}}}^k,W_{{a_{u,i}},d}^k,V_{{a_{u,i}},d}^k) = 1,\\ &\forall {\beta _{{a_{u,i}},d}} - {w_{{a_{u,i}},d}}\; \leqslant k \leqslant {\beta _{{a_{u,i}},d}}\end{split} $ (11)

其中,约束(11)强制要求家电在 $\;k \geqslant {\beta _{a_{u,i}^{},d}} - {w_{a_{u,i}^{},d}}$ 时刻任务仍在排队时打开。最优控制策略 $z_{{a_{u,i}}}^{{k^*}}\left( {L_{{a_{u,i}}}^k} \right)$ $L_{{a_{u,i}}}^k$ 的函数。一旦获得最优控制策略 $z_{{a_{u,i}}}^{{k^*}}$ ,控制器就可以根据给定的实时状态 $L_{{a_{u,i}}}^k$ ,实时调度家电。下一个时刻的状态 $L_{{a_{u,i}}}^{k + 1}$ 与上一个最后时刻 $L_{{a_{u,i}}}^k$ 密切相关,表示为

$ L_{{a_{u,i}}}^{k + 1} = \left[ \begin{array}{l} {\mathbb{S}_{a_{u,i}^{}}}(L_{{a_{u,i}}}^k,\theta _{{a_{u,i}}}^{k + 1}) \\ {\mathbb{W}_{a_{u,i}^{}}}(L_{{a_{u,i}}}^k,z_{{a_{u,i}}}^k,\theta _{{a_{u,i}}}^{k + 1}) \\ {\mathbb{V}_{a_{u,i}^{}}}(L_{{a_{u,i}}}^k,z_{{a_{u,i}}}^k,\theta _{{a_{u,i}}}^{k + 1}) \end{array} \right],\;\;\;\;k \in \mathbb{K} $ (12)

其中, $\theta _{{a_{u,i}}}^{k + 1} \!\in\! \{ 0,\ 1,\ \cdots ,\ {D_{a_{u,i}^{}}}\}$ 是随机变量,且Prob $(\theta _{{a_{u,i}}}^{k \!+\! 1} \!= {d_{a_{u,i}^{}}}) = p_{{a_{u,i}}}^{k + 1} \gamma _{{a_{u,i}},d}^{k + 1}$ $k + 1$ 时刻用户 $i$ 开启家电 $a_{u,i}^{} \in {C_i}$ 并选择模式 ${d_{a_{u,i}^{}}}$ 的概率)和 ${\rm{Prob}}(\theta _{{a_{u,i}}}^{k + 1} = 0) =$ $ 1 - p_{{a_{u,i}}}^{k + 1} $ 。此外,状态转移函数 ${\mathbb{S}_{a_{u,i}^{}}}( \cdot ),{\mathbb{W}_{a_{u,i}^{}}}( \cdot )$ ${\mathbb{V}_{a_{u,i}^{}}}( \cdot )$ 由下列式子给出:

${\mathbb{S}_{a_{u,i}^{}}}(L_{{a_{u,i}}}^k,\theta _{{a_{u,i}}}^{k + 1}) = \left\{ {\begin{array}{*{20}{l}} {\theta _{{a_{u,i}}}^{k + 1},}&{{\text{如果}}\;S_{{a_{u,i}}}^k = 0} \\ {S_{{a_{u,i}}}^k,}&{{\text{其他}}} \end{array}} \right.$ (13)
$\begin{split} & {\mathbb{W}_{{a_{u,i}}}}(L_{{a_{u,i}}}^k,z_{{a_{u,i}}}^k,\theta _{{a_{u,i}}}^{k + 1}) = \\ & \left\{\!\!\! {\begin{array}{*{20}{l}} {{W_{{a_{u,i}},d}} - 1,}&{\text{如果}}\;S_{{a_{u,i}}}^k \!=\! {d_{{a_{u,i}}}},\\ \;& 2 \!\leqslant\! {W_{{a_{u,i}},d}} \!\leqslant\! {w_{{a_{u,i}},d}},z_{{a_{u,i}}}^k \!=\! 1 \\ {{W_{{a_{u,i}},d}},}&{{\text{如果}}\;{W_{{a_{u,i}},d}} \geqslant 1,z_{{a_{u,i}}}^k = 0} \\ {{w_{{a_{u,i}},d}},}&{{\text{如果}}\;0 \leqslant {W_{{a_{u,i}},d}} \leqslant 1\;\text{且}\;\theta _{{a_{u,i}}}^{k + 1} = {d_{{a_{u,i}}}}} \\ {0,}&{{\text{如果}}\;0 \leqslant {W_{{a_{u,i}},d}} \leqslant 1\;\text{且}\;\theta _{{a_{u,i}}}^{k + 1} = 0} \end{array}} \right.\\[-50pt]\end{split}$ (14)
$\begin{split} & {\mathbb{V}_{{a_{u,i}}}}(L_{{a_{u,i}}}^k,z_{{a_{u,i}}}^k,\theta _{{a_{u,i}}}^{k + 1}) = \\ & \left\{\!\!\! {\begin{array}{*{20}{l}} {V_{{a_{u,i}},d}^k - 1,}\!\!\!\!\!\!&{\text{如果}\;S_{{a_{u,i}}}^k = {d_{{a_{u,i}}}},W_{{a_{u,i}},d}^k{\rm{ = }}{w_{{a_{u,i}},d}},z_{{a_{u,i}}}^k = 0} \\ {v_{{a_{u,i}}}^k,}\!\!\!\!\!\!&{\text{如果}\;0 \leqslant W_{{a_{u,i}},d}^k \leqslant 1,\theta _{{a_{u,i}}}^{k + 1} = {d_{{a_{u,i}}}}} \\ {0,}&{\text{如果}\;S_{{a_{u,i}}}^k = {d_{{a_{u,i}}}},2 \leqslant W_{{a_{u,i}},d}^k \leqslant {w_{{a_{u,i}},d}},} \\ {}&{z_{{a_{u,i}}}^k = 1;\text{或者如果}\;W_{{a_{u,i}},d}^k = 1\;{\text{且}}\;\theta _{{a_{u,i}}}^{k + 1} = 0} \end{array}} \right.\\[-45pt] \end{split}$ (15)
1.3 可再生能源

考虑具有可再生能源(本文只考虑风力发电机)的微电网。设 $k$ 时刻用户 $i$ 可再生能源的发电量为 $y_i^k$ 。可再生能源生产电量在本质上具有随机性[23]。本文使用马尔科夫链状态转移概率来预测未来 $\left\{ {t + 1,\;t + 2,\; \cdots ,K} \right\}$ 各时刻的发电量。

风是一种高度不稳定的自然现象,实际上任何概率分布都无法对其进行完全描述。理论上,每时刻的风速都与前几时刻的风速相关。马尔科夫链表示系统随时间从一种状态到另一种状态的转移。马尔科夫链的顺序给出了反映系统当前状态的时间序列[24]。采用一阶马尔科夫链可以模拟风速预测。二阶或更高阶马尔科夫链模型能够改善风速预测。马尔科夫链风速预测模型使用给定地理区域的历史时间序列数据[25]进行风速预测。设 ${S_F} = \{ {s_{{F_1}}},\;{s_{{F_2}}}, \cdots \} $ 表示历史(3年或3年以上)风速时间序列数据, $F$ 表示时间序列风速数据中的风速状态。这样,一阶马尔科夫转移概率矩阵可以由如下公式确定:

$\begin{split} P ({F_i},{F_j}) &= \dfrac{{{\delta _{{F_i},{F_j}}}}}{{\displaystyle\sum\limits_{{F_j} = 1}^F {{\delta _{{F_i},{F_j}}}} }},\;\forall {F_i},{F_j} \in F\\ &\displaystyle\sum\limits_{{F_j} = 1}^F {P({F_i},{F_j})} = 1\\[-70pt] \end{split} $ (16)

式中, ${\delta _{{F_i},{F_j}}}$ 是风速时间序列数据 ${S_F}$ 中从风速 ${F_i}$ ${F_j}$ 的总转移次数。

采用式(16)的一阶马尔科夫状态转换概率矩阵可以生成合成风速数据的累积概率分布

$Pcdf({F_i},{F_k}) = \sum\limits_{{F_j} = 1}^{{F_k}} {{{P}} ({F_i},{F_j})} ,\;\;\forall {F_i},{F_k} \in F$ (17)

为了生成风速时间序列数据中的次序,初始状态 ${F_i}$ 随机选择,然后,使用均匀随机数生成器在0~1之间选择一个随机数。将随机数的值与一阶或二阶马尔科夫状态转移概率矩阵的累积概率分布行中的值进行比较。如果随机数的值大于上一个状态且小于或等于下一个状态,则选择下一个状态。然后,使用以下公式将速度状态转换为风速。

$V = {V_{\max }} + {Z_{{F_i}}}({V_{\max }} - {V_{\min }})$ (18)

式中: ${V_{\max }}$ ${V_{\min }}$ 为该状态的风速边界; ${Z_{{F_i}}}$ 为[0, 1]上的均匀分布随机数。

这样就可以生成任意长度的风速时间序列。该预测模型的有效性在文献[23]中有详细的描述。

根据历史(观测)合成风速时间序列数据,可以构建马尔科夫状态转移矩阵,更准确地说,根据当前风速式(17)和式(18)可以预测下一个风速。将预测风速设为 $V(k)$ $k$ 时刻用户 $i$ 的风力发电机发电量由以下公式得到:

$y_i^k = \frac{1}{2} \rho A {(V(k))^3} {C_p}$ (19)

式中, $\rho $ $A$ ${C_p}$ 分别表示空气密度、发电机的交换面积和Betz极限(最大值为0.59)[13]

假设风力发电机的切入风速范围是2~5 m/s,切出风速范围是[15 m/s, 25 m/s]。当风速高于切出风速的最大值时,风力发电机生成额定的电量(即风力发电机的最大容量),而在低于切入风速的最小值时,风力发电机将不产生任何电量。

1.4 实时电价

现有的电价定价形式主要有固定定价、阶梯定价、分时定价(TOU)、实时定价(RTP)及倾斜阻塞率(IBR)等,其中,实时定价和倾斜阻塞率得到了广泛的研究。实时定价是指在售电过程中某一时刻发生的成本,反映了电价随时间变化而变化的特性。倾斜阻塞率是指随着时间的推移,价格保持不变,而当用户的能耗达到预定阈值时,价格会增加[20]。在本文的模型中,结合实时定价和倾斜阻塞率,电价表示为[26]

${\lambda ^k}(l_i^k) = \left\{ \begin{array}{l} {m_k},\quad 0 \leqslant l_i^k \leqslant {b_k} \\ {n_k},\quad l_i^k > {b_k} \\ \end{array} \right.$ (20)

式中: ${m_k}$ ${n_k}$ 为差别化价格, ${m_k} \leqslant {n_k}$ ${l_i}^k$ 表示用户 $i$ $k$ 时刻的总用电量; ${b_k}$ $k$ 时刻家电能耗的阈值。

1.5 用户的效用函数

微观经济学中效用函数的概念被广泛用于描述用户对一定电量的满意程度。已有的研究表明,用户的反应可以用效用函数来表示。电力需求因人而异,取决于一天中的时间、气候及价格等。效用函数的值表示每个用户使用所购电后的满意度水平。设 $U(l_i^k,\omega _i^k)$ 表示用户 $i$ 的效用函数, $l_i^k$ 表示消耗的电量, $\omega _i^k$ 是弹性系数,为已知参数。在本文的模型中,效用函数值以货币形式表示。不同的效用函数代表不同类型的用户,并通过不同的弹性系数加以区分。在相同条件下, $\omega _i^k$ 价值越大,用户满意度越高。一般效用函数满足以下基本假设:

a. 效用函数是一个非递减函数,即 $\dfrac{{{{\partial}} U(l)}}{{{{\partial}} l}} \geqslant 0$

b. 边际效用是非递增的,即效用是凹函数。因此, $\dfrac{{{{\rm{\partial}} ^2}U(l)}}{{{\rm{\partial}} {l^2}}} \leqslant 0$

c. 当用户不用电时,效用为零,即 $U(0) = 0$

采用如下二次效用函数[27]

$U(l_i^k,\omega _i^k) = \left\{ \begin{split} & \omega _i^kl_i^k - \frac{{{\alpha _i}}}{2}{\left( {l_i^k} \right)^2},\quad 0 \leqslant l_i^k \leqslant \frac{{\omega _i^k}}{{{\alpha _i}}} \\& \frac{{{{\left( {\omega _i^k} \right)}^2}}}{{2{\alpha _i}}},\quad \quad \quad \quad \;l_i^k > \frac{{\omega _i^k}}{{{\alpha _i}}} \\ \end{split} \right.$ (21)

式中: ${\alpha _i}$ 为预设参数; $\omega _i^k$ $l_i^k$ 分别为弹性系数和用户 $i$ $k$ 时刻的用电量。

1.6 用户的支付函数

$P({l_i}^k)$ 表示用户 $i$ $k$ 时刻的支付函数。在本文的模型中,不考虑设备的成本。根据式(20)中所示的价格,对于 $k$ 时刻的总用电量 ${l_i}^k$ ,用户的成本函数 $P({l_i}^k)$ 由下列2个函数的最大值[26]得到:

$ P({l_i}^k) = {\lambda ^k}{l_i}^k = {m_k}{l_i}^k,\;P({l_i}^k) = {\lambda ^k}{l_i}^k = {n_k}{l_i}^k + ({m_k} - {n_k}){b_k} $

即用户的支付函数可表示为

$P({l_i}^k) = {\lambda ^k}{l_i}^k = \max \left\{ {{m_k}{l_i}^k,{n_k}{l_i}^k + ({m_k} - {n_k}){b_k}} \right\}$ (22)
2 用户福利最大化模型 2.1 问题阐述

为平衡用户的效用和支付成本之间的关系,引入权重因子 $\beta $ ,以用户效用函数最大化和支付成本最小化为目标,建立一种基于多时刻马尔科夫决策过程的期望用户福利值最大化模型。

$ \begin{split} &{\rm{P1}}\;\;\;\;\;\max \;{\rm{E}}\left( {\displaystyle\sum\limits_{k = t}^K {\displaystyle\sum\limits_{i = 1}^q {\left[ {\beta U(l_i^k,\omega _i^k) - (1 - \beta )P(l_i^k)} \right]} } } \right)\\ &{\rm{s.t.}}\;\;\;\;\;{\text{式}}(2)\sim (7)\;\;\;\;\;\forall k \in \mathbb{K},\forall a_{u,i}^{} \in {B_i} \end{split}\tag{23(a)} $
$\begin{split} \quad{\text{式}}(8)\sim (15)\;\;\;\;\;&\forall k \in {\mathbb{K}'_{a_{u,i}^{},d}},\\ &\forall a_{u,i}^{} \in {C_i},{d_{a_{u,i}^{}}} \in {\mathbb{D}_{a_{u,i}^{}}}\end{split}\quad\tag{23(b)} $
$\qquad\;\;\; {\text{式}}(16)\sim (19),\;\;\;\forall {F_i},{F_k},{F_j} \in F\qquad \tag{23(c)}$
$ \qquad\quad l_i^k = E_{{a_{u,i}}}^k + \sum\limits_{a_{u,i}^{} \in {B_i}} {l_{{a_{u,i}}}^k} + \sum\limits_{a_{u,i}^{} \in {C_i}} {l_{{a_{u,i}}}^k}\quad \tag{23(d)} $
${\rm{E}}\left[ {\sum\limits_{i = 1}^q {l_i^k} } \right] \leqslant {G_k},\;\forall k \in \mathbb{K}\qquad\qquad\tag{23(e)}$
${l_i}^k = {\left( {{x_i}^k - {y_i}^k} \right)^ + }\qquad\qquad\qquad\quad\tag{23(f)}$

式中:E为期望; $U(l_i^k,\omega _i^k)$ $P({l_i}^k)$ 分别为 $k$ 时刻用户 $i$ 的效用函数和支付函数; $\omega _i^k$ 为已知的弹性系数; $ \beta \in \left[0,\;1\right]$ ${x_i}^k$ ${y_i}^k$ 分别是权重因子、供电商提供的电量、可再生能源提供的电量,是全局未知变量; $l_i^k$ $k$ 时刻用户 $i$ 的总用电量,是全局变量; $\bar l_{{B_i}}^k$ $l_{{a_{u,i}}}^k, $ $\forall a_{u,i}^{} \in {C_i}$ 分别为 $k$ 时刻用户 $i$ 弹性家电和半弹性家电的用电量,是局部变量, $\bar l_{{B_i}}^k$ 取决于 ${\lambda ^k},\;$ $\bar A_{ef}^i$ $l_{{a_{u,i}}}^k$ 取决于状态转移函数 ${\mathbb{S}_i}( \cdot ),{\mathbb{W}_i}( \cdot )$ ${\mathbb{Q}_i}( \cdot )$ ${G_k}$ 为已知的传统电力系统的发电量。

所有弹性家电的能源消耗调度向量由约束条件(23(a))确定,所有半弹性家电的能源消耗调度向量由约束条件(23(b))确定,可再生能源发电量的调度向量由约束条件(23(c))确定。约束条件(23(e))确保总能耗预期不会超过电网容量,这意味着总功耗超过电网容量指定阈值的概率应小于一个小正数。因此,约束(23(e))可以近似地替换为以下公式:

$ \Pr \left[ {\sum\limits_{i = 1}^q {l_i^k} - {G_k} \geqslant \eta } \right] \leqslant \varepsilon\tag{24} $

式中: $\eta $ 为超过总功耗的指定阈值; $\varepsilon $ 为一个小的正值,可以解释为电网中断的概率。

假设 $\displaystyle\sum\limits_{i = 1}^q {l_i^k} \sim N(\mu ,{\sigma ^2})$ 服从期望为 $\mu $ 、方差为 ${\sigma ^2}$ 的正态分布,这由历史数据得到[28]。综上所述,所有有效的能耗调度向量都可以通过约束式(23(a))~(23(f))来确定。

由前面的定义可知,用户的效用函数是严格凹函数,支付函数是线性函数。根据凸函数的性质可以得到和函数 $\displaystyle\sum\limits_{k = t}^K {\displaystyle\sum\limits_{i = 1}^q {\left[ {\beta U(l_i^k,\omega _i^k) - (1 - \beta )P(l_i^k)} \right]} } $ 是凹函数。优化问题P1的目标函数是寻找严格凹函数的最大期望值,这是一个保持凸性的运算[29],能确保找到目标函数的最大值。此外,因为它的约束条件是仿射的,并且它的约束集是非空闭凸集,所以,问题P1是一个凸规划问题。很明显,可行域具有内点,即可行解满足Slater条件。因此,问题P1具有全局最优解。

2.2 改进的模拟退火算法

一般来说,如果所有参数都是已知的,优化问题P1可以通过一个集中的算法来获得全局最优解。模拟退火算法是一种基于蒙特卡洛思想设计的近似求解最优化问题的方法,是一种贪心算法。它的搜索过程引入了随机因素,以一定的概率接受比当前算法差的解,从而有可能跳出局部最优解,得到全局最优解。模拟退火算法计算过程简单、通用、鲁棒性强,适用于并行处理,可用于求解复杂的非线性优化问题。针对收敛速度慢、执行时间长、算法性能与初始值有关及参数敏感等缺点,前期进行了大量数值模拟,最终确定出该算法的初始值及其相关参数。为平衡用户用电满意度和电费支付成本的关系,得到用户的利益最大化,引入权重因子 $\beta $ ,并将权重因子作为未知变量,得到改进的模拟退火算法。

现介绍改进的模拟退火算法的具体步骤。

步骤0  初始化。用户设置初始温度 ${T_0}$ ,终止温度 $T$ ,初始时间 ${t_0}$ ,降温率 $q$ ,初始解 $\bar l_{{B_i}}^k,\;\;l_{{a_{u,i}}}^k,\; y_i^k,\beta _i^k$ 。接收电价 ${\lambda ^k}$

步骤1  接收概率转移矩阵的系数 $\bar A_{ef}^{i,\tau }$ ,假设 $p_{{a_{u,i}}}^\tau $ $r_{{a_{u,i}}}^\tau $ 服从正态分布,得到效用函数的参数 ${\alpha _i}$ $\omega _i^k$

步骤2   a. 计算目标函数 ${V^\tau } = \displaystyle\sum\limits_{k = t}^K \displaystyle\sum\limits_{i = 1}^q\left[ \beta U(l_i^k,\omega _i^k) -\right. $ ${{ \left. (1 - \beta )P(l_i^k) \right] }}$

b. 在初始解附近,扰动生成新解 $\bar l_{{B_i}}^{\tau + 1}, l_{{a_{u,i}}}^{\tau + 1},\;y_i^{\tau + 1},$ $\beta {_i^{\tau + 1}}$ ,计算目标函数 ${V^{\tau + 1}}$

c. 运用Metropolis法则决定是否接受新解;如果 $\Delta V = {V^{\tau + 1}} - {V^\tau } > 0$ ,则接受 ${V^{\tau + 1}}$ 为新解,运行步骤3;否则以概率 $\exp ( - \Delta V/{T_0}) \geqslant rand$ 接受 ${V^{\tau + 1}}$ 作为新解,运行步骤3;如果 $\Delta V = {V^{\tau + 1}} - {V^\tau } \leqslant 0$ ,则重复步骤2。

步骤3  令 $\bar l_{{B_i}}^\tau = \bar l_{{B_i}}^{\tau + 1},\;l_{{a_{u,i}}}^\tau = l_{{a_{u,i}}}^{\tau + 1},\;y_i^\tau = y_i^{\tau + 1},\;\beta _i^\tau = \beta _i^{\tau + 1}$ ;重复步骤2得到迭代次数,冷却: ${T_0} = q \times {T_0}$

步骤4  直至到达终止温度 ${T_0} = T$ ,迭代结束,得到 $\bar l_{{B_i}}^{{\tau ^*}} = \bar l_{{B_i}}^\tau ,\;\;l_{{a_{u,i}}}^{{\tau ^*}} = l_{{a_{u,i}}}^\tau ,\;\;y_i^{{\tau ^*}} = y_i^\tau ,\;\;\beta _i^{{\tau ^*}} = \beta _i^\tau $ 计算 $l_{{a_{u,i}}}^*{\rm{ = }} (l_{{a_{u,i}}}^{{t^*}},$ $ l_{{a_{u,i}}}^{{{(t + 1)}^*}}, \cdots ,l_{{a_{u,i}}}^{{K^*}})$

模拟退火算法流程图如图2所示。


图 2 模拟退火算法流程图 Fig. 2 Flowchart of the simulated annealing algorithm
3 数值模拟

前期大量的仿真实验结果显示,选择初始温度1 000 ℃,终止温度0.001 ℃,降温速率0.9,马尔科夫链长60,步长0.05,收敛效果最好,模拟退火算法性能最好。假设微网中有5个住宅用户,每个用户有各种必须运行的家电、3个弹性家电和3个半弹性家电。为了简单起见,假设3个半弹性家电都有2种工作模式和2个功率。调度时间设置为24时刻( $t = 1,\;K = 24$ )。将电量区间离散为24个状态。必须运行的设备包括:照明设备( ${E_a} \!=\! 2\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} \!=\! 1\;{\rm{kW}}$ )、电视机( ${E_a} \!=\!2.5\;{\rm{kW\cdot h}},\;{g_a} = $ $ 0.5\;{\rm{kW}}$ )、电脑( ${E_a} \!=\! 2\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} \!=\! 0.5\;{\rm{kW}}$ )、电冰箱( ${E_a} \!=\! 1.5\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} = 1\;{\rm{kW}}$ )和其他设备( ${E_a} = 5\;{\rm{kW\cdot h}},\; {g_a} = 2\;{\rm{kW}}$ )。弹性家电包括:空调( ${E_a} = 5\;{\rm{kW}} \cdot {\rm{h}},\; {g_a} = 1\;{\rm{kW}}$ )、洗碗机( ${E_a} = 3\;{\rm{kW}} \cdot {\rm{h}},\; $ ${g_a} = 2\;{\rm{kW}}$ )、热水器( ${E_a} = 3\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} = 1.5\;{\rm{kW}}$ )。半弹性电器包括:电磁炉( ${E_a} = 2\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} = 1\;{\rm{kW}}$ ${E_a} = 4.5\;{\rm{kW}} \cdot {\rm{h}},\; {g_a} = 1.5\;{\rm{kW}}$ )、洗衣机( ${E_a} = 1.5\;{\rm{kW}} \cdot {\rm{h}},\; $ ${g_a} = 0.5\;{\rm{kW}}$ ${E_a} = 3\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} = 1.5\;{\rm{kW}}$ )、电饭锅( ${E_a} = 2\;{\rm{kW}} \cdot {\rm{h}},\; {g_a} = 0.5\;{\rm{kW}}$ ${E_a} = 3\;{\rm{kW}} \cdot {\rm{h}},\;{g_a} = $ 1 kW)。半弹性家电的工作应在以下时段进行:电磁炉{4,5, $\cdots $ ,7}、洗衣机{4,5, $\cdots $ ,10}、电饭锅{10,11, $\cdots $ ,18}。可以很容易地得到半弹性家电的工作模式、最大工作时间和最大等待时间分别为电磁炉 $({d_{{a_{u,i}}}},{w_{{a_{u,i}},d}},{v_{{a_{u,i}},d}}) = (1, 2,2)$ $({d_{{a_{u,i}}}},{w_{{a_{u,i}},d}},{v_{{a_{u,i}},d}}) = $ (2,3,1),洗衣机 $({d_{{a_{u,i}}}}, {w_{{a_{u,i}},d}}, {v_{{a_{u,i}},d}}) = $ $(1,3,4)$ $({d_{{a_{u,i}}}},{w_{{a_{u,i}},d}},$ ${v_{{a_{u,i}},d}}) = (2,2,5) $ ,电饭锅 $({d_{{a_{u,i}}}},{w_{{a_{u,i}},d}},{v_{{a_{u,i}},d}}) = $ (1,4,5)和 $({d_{{a_{u,i}}}},{w_{{a_{u,i}},d}},{v_{{a_{u,i}},d}}) = (2, 3,6)$ 。关于不同家电的年平均功耗和居民用户的月平均用电量详情见文献[27]。各类家电性能指标如表1所示。


表 1 各类家电性能指标 Table 1 Indexes of various appliances

假设小型风力发电机的半径为10 m,空气密度为1.28 ${\rm{kg}}/{{\rm{m}}^2}$ ,切入风速为2 ${\rm{m}}/{\rm{s}}$ ,切出风速为25 ${\rm{m}}/{\rm{s}}$ ${C_p} = 0.59$ 。设 ${b_k} = 4\;{\rm{kW}}$ ,差异化电价 $m_k^{}$ $n_k^{}$ 分别设置为

$m_k^{} = \left\{ \begin{split} & 0.3\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{c}} {} \end{array}[0:00,\begin{array}{*{20}{l}} {} \end{array}10:00] \\ & 0.7\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{l}} {} \end{array}[10:00,\begin{array}{*{20}{l}} {} \end{array}16:00] \\ & 1\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{l}} {} \end{array}\;\;\;[16:00,\begin{array}{*{20}{l}} {} \end{array}20:00] \\ & 0.8\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{l}} {} \end{array}[20:00,\begin{array}{*{20}{l}} {} \end{array}24:00] \end{split} \right.$
$n_k^{} = \left\{ \begin{split} & 0.9\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{c}} {} \end{array}[0:00,\begin{array}{*{20}{c}} {} \end{array}8:00] \\ & 0.7\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{c}} {} \end{array}[8:00,\begin{array}{*{20}{c}} {} \end{array}13:00] \\ & 1.5\;\text{元}/({\rm{kW\cdot h}}),\begin{array}{*{20}{c}} {} \end{array}[13:00,\begin{array}{*{20}{c}} {} \end{array}24:00] \end{split} \right.$

用户的效用函数为

$U(l_i^k,\omega _i^k) = \left\{ \begin{aligned} & \omega _i^kl_i^k - \frac{{{\alpha _i}}}{2}{\left( {l_i^k} \right)^2},\quad 0 \leqslant l_i^k \leqslant \frac{{\omega _i^k}}{{{\alpha _i}}} \\ & \frac{{{{\left( {\omega _i^k} \right)}^2}}}{{2{\alpha _i}}},\quad \quad \quad \quad \;l_i^k > \frac{{\omega _i^k}}{{{\alpha _i}}} \end{aligned} \right.$
3.1 目标函数中最优权重因子的确定

在改进的模拟退火算法中将权重因子作为未知变量,求解出最优权重因子使得用户的福利值最大化。为显示模型的优越性,分别设置权重因子为 $\;\beta = 0.1,\;0.5,\;0.9$ 进行对比,探索权重因子对用户总福利值的影响。

通过改进的模拟退火算法,得到最优权重因子值为0.62,如图3所示。图4是在不同权重下用户的总福利值,可以看出,在最优权重 $\;\beta = 0.62$ 时,用户的总福利值是最高的。为了检验算法的收敛性,给出了优化过程迭代收敛情况。如图5所示,最优权重 $\;\beta = 0.62$ 时,算法最开始就展现出很好的收敛性,收敛性能最好;权重 $\;\beta = 0.9$ 时,算法在迭代次数8时得到了收敛,收敛性能次之;权重 $\;\beta = 0.5$ 时,算法在迭代次数130时得到了收敛,收敛性能最差。从图6可以看出,在权重 $\beta = 0.62$ 时,弹性家电的用电量比较平缓。同样,从图7也可以得知,在权重 $\;\beta = 0.62$ 时,半弹性家电能避开用电高峰期(10:00—20:00)用电;在权重 $\;\beta = 0.9$ 时,用户的效用权重比较大,考虑用电满意度比较多一些,因此,用户会在用电高峰期用电。图8表示用户对可再生能源的用电量,可以看出,在权重 $\;\beta = 0.62$ 时,用户使用可再生能源的积极性还是比较高的。仿真结果表明,该算法不仅收敛速度快,而且既考虑用户的效用又考虑他们的支付成本,提供了一种获得用户最优用电策略的有效途径,具有一定的实际应用价值。


图 3 权重值 Fig. 3 Weight value

图 4 不同权重值下用户总福利值 Fig. 4 Total welfare of users under different weight values

图 5 不同权重值下迭代次数收敛图 Fig. 5 Convergence and iteration times under different weight values

图 6 不同权重值下弹性家电的用电量 Fig. 6 Electricity consumption of elastic appliances under different weight values

图 7 不同权重值下半弹性家电的用电量 Fig. 7 Electricity consumption of semielastic appliances under different weight values

图 8 不同权重值对可再生能源的用电量 Fig. 8 Electricity consumption from renewable energy sources under different weight values
3.2 最优权重因子下有无可再生能源的讨论

设置权重因子 $\;\beta = 0.62$ (既考虑用户的舒适度又考虑用户的支付成本)。由如图9可知,有可再生能源的情况下算法在迭代次数43时得到收敛,无可再生能源的情况下算法在迭代次数50时得到收敛。如图10所示,由于有可再生能源的补充,弹性家电从电力系统中获得的电量会比较少,幅度也比较平稳。这样减轻了电力系统的供电压力,起到了削峰填谷的作用。如图11所示,电磁炉在凌晨4:00运行,并在上午6:00关闭,在指定的时间{1,2, $\cdots $ ,7}内完成工作任务。洗衣机在上午8:00开始工作,10:00关闭,也是在指定的时间{4,5, $\cdots $ ,10}内完成工作任务;同样,电饭锅也在指定的时间{10,11, $\cdots $ ,18}内完成工作任务。但在有可再生能源的情况下用电比较平缓一些,尤其是用电高峰期用户减少用电,同样减缓了对电力系统的冲击。从图12可以看出,有可再生能源的情况下,用户的总福利值要高一些,满足了用户的用电需求性,也减少了用户的支付成本,保证了用户侧总体利益最大化。


图 9 最优权重值下迭代次数收敛图 Fig. 9 Convergence and iteration times under optimal weight value

图 10 最优权重值下弹性家电的用电量 Fig. 10 Electricity consumption of elastic appliances under optimal weight value

图 11 最优权重值下半弹性家电的用电量 Fig. 11 Electricity consumption of semielastic appliances under optimal weight value

图 12 最优权重值下用户总福利值 Fig. 12 Total welfare of users under optimal weight value
4 结束语

运用马尔科夫决策过程充分考虑用户使用不同类型家电用电行为和可再生能源发电量的不确定性,得到一个新的期望用户福利最大化模型。为平衡用户效用和支付成本之间的关系,引入权重因子 $\beta $ 作为未知变量,利用改进的模拟退火算法,求出最优权重值 $\beta = 0.62$ ,此时用户的总福利值最高,这样可以达到既能兼顾用户用电满意度又能减少用户电费的目标,从而保证了用户侧总体利益最大化。通过指导用户进行能源优化配置和家电用电调度,还可以达到削峰填谷的目的,缓解了电力系统的供电压力。仿真结果表明,该算法收敛速度快,是一种很有前途的调度算法。

参考文献
[1]
DAI Y M, LI L, ZHAO P, et al. Real-time pricing in smart community with constraint from the perspective of advertising game[J]. International Transactions on Electrical Energy Systems, 2019, 29(9): e12043.
[2]
KHARRAZI A, MISHRA Y, SREERAM V. Discrete-event systems supervisory control for a custom power park[J]. IEEE Transactions on Smart Grid, 2019, 10(1): 483-492. DOI:10.1109/TSG.2017.2745491
[3]
原冠秀, 高岩, 王宏杰. 基于效用分类的智能电网实时电价算法[J]. 上海理工大学学报, 2020, 42(1): 29-35.
[4]
李媛媛, 李军祥, 党亚峥, 等. 基于KKT条件智能电网实时定价的光滑牛顿算法[J]. 系统科学与数学, 2020, 40(4): 646-656.
[5]
DAI Y M, GAO Y, GAO H W, et al. Real-time pricing scheme based on Stackelberg game in smart grid with multiple power retailers[J]. Neurocomputing, 2017, 260: 149-156. DOI:10.1016/j.neucom.2017.04.027
[6]
ZHANG W, XU Y L, LI S S, et al. A distributed dynamic programming-based solution for load management in smart grids[J]. IEEE Systems Journal, 2018, 12(1): 402-413. DOI:10.1109/JSYST.2016.2536141
[7]
陶莉, 高岩, 朱红波, 等. 有可再生能源和电力存储设施并网的智能电网优化用电策略[J]. 中国管理科学, 2019, 27(2): 150-157.
[8]
XU Z H, GAO Y, MUHAMMAD H, et al. Demand side management for smart grid based on smart home appliances with renewable energy sources and an energy storage system[J]. Mathematical Problems in Engineering, 2020, 2020: 9545439. DOI:10.1155/2020/9545439
[9]
许志宏, 高岩, 朱红波, 等. 基于分片线性效用函数的实时电价定价策略[J]. 工业工程与管理, 2018, 23(5): 44-52.
[10]
潘婷婷, 李军祥, 黄芳旧. 基于需求响应的含光伏电力系统优化及其算法改进[J]. 上海理工大学学报, 2019, 41(5): 448-454.
[11]
赵佩, 代业明. 基于实时电价和加权灰色关联投影的SVM电力负荷预测[J]. 电网技术, 2020, 44(4): 1325-1332.
[12]
CARLI R, DOTOLI M. Decentralized control for residential energy management of a smart users’ microgrid with renewable energy exchange[J]. IEEE/CAA Journal of Automatica Sinica, 2019, 6(3): 641-656. DOI:10.1109/JAS.2019.1911462
[13]
TUSHAR M H K, ASSI C, MAIER M, et al. Smart microgrids: optimal joint scheduling for electric vehicles and home appliances[J]. IEEE Transactions on Smart Grid, 2014, 5(1): 239-250. DOI:10.1109/TSG.2013.2290894
[14]
ZHU H B, GAO Y, HOU Y, et al. Real-time pricing considering different type of smart home appliances based on Markov decision process[J]. International Journal of Electrical Power & Energy Systems, 2019, 107: 486-495.
[15]
LIU Z, ZHANG C, DONG M X, et al. Markov-decision-process-assisted consumer scheduling in a networked smart grid[J]. IEEE Access, 2017, 5: 2448-2458. DOI:10.1109/ACCESS.2016.2620341
[16]
李军祥, 张文财, 高岩. 基于用户电器分类的智能电网实时定价研究[J]. 中国管理科学, 2019, 27(4): 210-216.
[17]
张莉, 高岩, 朱红波, 等. 考虑用电量不确定性的智能电网实时定价策略[J]. 电网技术, 2019, 43(10): 3622-3631.
[18]
DAI Y M, GAO Y, GAO H W, et al. A real-time pricing scheme considering load uncertainty and price competition in smart grid market[J]. Journal of Industrial & Management Optimization, 2020, 16(2): 777-793.
[19]
WANG C S, ZHOU Y, JIAO B Q, et al. Robust optimization for load scheduling of a smart home with photovoltaic system[J]. Energy Conversion and Management, 2015, 102: 247-257. DOI:10.1016/j.enconman.2015.01.053
[20]
CHEN X D, WEI T Q, HU S Y. Uncertainty-aware household appliance scheduling considering dynamic electricity pricing in smart home[J]. IEEE Transactions on Smart Grid, 2013, 4(2): 932-941. DOI:10.1109/TSG.2012.2226065
[21]
CHANG T H, ALIZADEH M, SCAGLIONE A. Real-time power balancing via decentralized coordinated home energy scheduling[J]. IEEE Transactions on Smart Grid, 2013, 4(3): 1490-1504. DOI:10.1109/TSG.2013.2250532
[22]
胡奇英. 随机运筹学[M]. 北京: 清华大学出版社, 2012.
[23]
SONG Z, GENG X L, KUSIAK A, et al. Mining Markov chain transition matrix from wind speed time series data[J]. Expert Systems with Applications, 2011, 38(8): 10229-10239. DOI:10.1016/j.eswa.2011.02.063
[24]
SHAMSHAD A, BAWADI M A, HUSSIN W M A W, et al. First and second order Markov chain models for synthetic generation of wind speed time series[J]. Energy, 2005, 30(5): 693-708. DOI:10.1016/j.energy.2004.05.026
[25]
POGGI P, MUSELLI M, NOTTON G, et al. Forecasting and simulating wind speed in Corsica by using an autoregressive model[J]. Energy Conversion and Management, 2003, 44(20): 3177-3196. DOI:10.1016/S0196-8904(03)00108-0
[26]
MOHSENIAN-RAD A H, LEON-GARCIA A. Optimal residential load control with price prediction in real-time electricity pricing Environments[J]. IEEE Transactions on Smart Grid, 2010, 1(2): 120-133. DOI:10.1109/TSG.2010.2055903
[27]
SAMADI P, MOHSENIAN-RAD A H, SCHOBER R, et al. Optimal real-time pricing algorithm based on utility maximization for smart grid[C]//2010 1st IEEE International Conference on Smart Grid Communications. Gaithersburg: IEEE, 2010, 415-420.
[28]
KELSO J K. Buildings energy data book[M]. Washington: US Department of Energy, 2012.
[29]
BOYD S, VANDENBERGHE L. 凸优化[M]. 王书宁, 许鋆, 黄晓霖, 译. 北京: 清华大学出版社, 2013.