1 问题的提出

考虑具有非凸不可分离的优化问题

$ \begin{array}{l}\mathrm{min}\;g\left(x,y\right)+f\left(x\right)+h\left(y\right)\\ {\rm{s.t.}}\;\;{\boldsymbol A}x+{\boldsymbol B}y=0\end{array} $

(1)

式中： $ f:{{\bf{R}}^n} \to R \cup \left\{ { + \infty } \right\} $ 是恰当的下半连续函数； $ h:{{\bf{R}}^m} \to R $ 是连续可微函数； $ g:{{\bf{R}}^n} \times {{\bf{R}}^m} \to R $ 是光滑函数，且 $x$ 和 $y$ 是不可分离的。

问题（1）的一个特殊形式是没有函数 $ g $ ，且目标函数是可分离的，即

$ \begin{array}{l} \min \; f\left( x \right) + h\left( y \right) \\ {\rm{s.t.}}\; \; {\boldsymbol A}x + {\boldsymbol B}y = 0 \\ \end{array} $

(2)

利用交替方向乘子法（ADMM）求解问题（2）的一种有效算法的迭代格式为

$ \left\{\begin{array}{l}{x}^{k+1}\in \mathrm{arg}\;{\mathrm{min}}_{x}\left\{f\left(x\right)-\langle \lambda ,{\boldsymbol A}x\rangle +\dfrac{\beta }{2}{\Vert {\boldsymbol A}x+{\boldsymbol B}{y}^{k}\Vert }^{2}\right\}\\ {y}^{k+1}\in \mathrm{arg}\;{\mathrm{min}}_{y}\left\{g\left(y\right)-\langle \lambda ,{\boldsymbol B}y\rangle +\dfrac{\beta }{2}{\Vert {\boldsymbol A}{x}^{k+1}+{\boldsymbol B}y\Vert }^{2}\right\}\\ {\lambda }^{k+1}={\lambda }^{k}-\rho \left({\boldsymbol A}{x}^{k+1}+{\boldsymbol B}{y}^{k+1}\right)\end{array}\right. $

(3)

式中： $\lambda $ 为拉格朗日乘子； $\;\beta $ 为惩罚参数， $\;\beta > 0$ 。

ADMM算法通过引入一个新的辅助变量，将原问题改写为一个目标函数可分离且辅助变量与原变量是线性约束的形式，通过交替更新原变量、辅助变量和对偶变量来迭代求解问题的最优解。通过引入合适的辅助变量，每个迭代步骤可以变成非常简单的子问题，通常可以收敛到稳定点或者被并行求解。这使得ADMM算法适用于求解大规模的优化问题。

对于 $ f $ 和 $ h $ 都是凸函数的情况，ADMM（式（3））的收敛性得到了很好的证明，并且对其进行了收敛率分析^[1-3]。在没有凸性的假设下，更难以证明ADMM的收敛性。在这方面的研究取得了一些进展^[4-8]。Guo等^[4]利用经典ADMM算法求解非凸多块可分离最优化问题，证明了其收敛性，并且提出了一些充分条件，保证了算法的超线性和线性收敛速率。Li等^[5]提出了一种近似ADMM算法来解决非凸非光滑优化问题，证明了当罚参数足够大且生成的序列有聚点时，算法所产生迭代点列收敛到稳定点。

目前的研究大多数考虑如下的问题：

$ \begin{array}{l} \min \; g\left( {x,y} \right) + f\left( x \right) + h\left( y \right) \\ {\rm{s.t.}}\; \; {\boldsymbol{A}}x + y = b \\ \end{array} $

(4)

然而，由于函数 $g$ 的存在，即使目标函数是凸的情况，对ADMM（式（4））的收敛性分析的研究还处于初期，研究成果很少。并且由于约束条件中矩阵 ${\boldsymbol B}$ 的存在，使得收敛性分析变得更加困难。

Gao等^[9]考虑了函数 $g$ 是光滑函数以及函数 $ f{\text{，}}h $ 是凸函数的情况。通过假设 $\nabla g$ 是利普希茨连续以及 $h$ 强凸，证明了由ADMM算法生成的序列收敛到问题（4）的最优解。Chen等^[10]在耦合函数 $g$ 是二次函数的情况下，分析了ADMM解决问题（4）的收敛性。Liu等^[11]提出了线性化ADMM来解决非凸非光滑的目标问题，通过将目标中的可微项以及增广项线性化，证明了算法的收敛性，然后将问题推广到多块并行的ADMM算法中。以上研究都是矩阵 ${\boldsymbol B}$ 为单位阵的情况。在耦合函数缺失的情况下，Wang等^[12]研究了用Bregman距离修饰ADMM算法（BADMM算法），分别分析了矩阵 ${\boldsymbol B}$ 单射和非单射情况下算法的收敛性，证明了BADMM算法生成的序列收敛到稳定点。Guo等^[13]提出了一种广义的ADMM算法来求解问题（4）。

本文研究广义ADMM算法的收敛性，通过假设矩阵 ${\boldsymbol B}$ 列满秩以及增广拉格朗日函数满足K-L不等式，当罚参数足够大时，证明了算法产生的序列收敛到其稳定点，从而证明了算法的收敛性。

2 预备知识

现给出理论分析所需要的概念和性质。

对于任意 $x \in {{\bf{R}}^n}$ 是函数 $f$ 的极小值点的必要条件是 $0 \in \partial f\left( x \right)$ ，满足这个条件的点称为稳定点，函数 $f$ 的稳定点集记作 ${\rm{crit}}\; f$ 。

定义1　令 $f:{{\bf R}^n} \to R \cup \left\{ { + \infty } \right\}$ 为正常的下半连续函数。

a. Fréchet次微分。

函数 $f$ 在 $x \in {\rm {dom}}\; f$ 的Fréchet次微分，定义为满足下列关系 ${x^*} \in {{\bf R}^n}$ 的集合：

$ \mathop {\lim \inf }\limits_{y \ne x \atop y \to x } \frac{{f\left( y \right) - f\left( x \right) - \left\langle {{x^*},y - x} \right\rangle }}{{\left\| {y - x} \right\|}} \geqslant 0$

记作 $\hat \partial f\left( x \right)$ 。当 $x \notin {\rm{dom}}\; f$ 时，记 $\hat \partial f\left( x \right): = \varnothing $ 。

b. 极限次微分。

函数 $f$ 在 $x \in {\rm{dom}}\; f$ 的极限次微分，定义为

$\partial f\left( x \right): = \{ {x^*} \in {{\bf R}^n}:\exists {x_n} \to x,f\left( {{x_n}} \right) \to f\left( x \right),x_n^* \in \hat \partial f\left( {{x_n}} \right),$ $ x_n^* \to {x^*} \} $ ，记作 $\partial f\left( x \right)$ 。

c. 若在函数 $f$ 的定义域中满足 $0 \in \partial f\left( {{x^*}} \right)$ ，则称 ${x^*}$ 为 $f$ 的稳定解。

d. 对 $\forall x,y \in {\rm{dom}}\ f$ ，若满足 $\left\| {f\left( x \right) - f\left( y \right)} \right\| \leqslant L\left\| {x - y} \right\|$ ，则称 $f$ 满足Lipschitz连续条件， $L$ 为Lipschitz常数。

引理1　 $ h:{{\bf{R}}^m} \to R $ 是连续可微函数，且 $ \nabla h $ 是关于常数L利普希茨连续的，那么，对于任意的 $ x,y \in {{\bf R}^n} $ ，有

$ \left| {h\left( y \right) - h\left( x \right) - \left\langle {\nabla h\left( x \right),y - x} \right\rangle } \right| \leqslant \frac{L}{2}{\left\| {y - x} \right\|^2} $

引理2　（K−L不等式）设函数 $f:{{\bf R}^n} \to R \cup \left\{ { + \infty } \right\}$ 是恰当下半连续函数，对于 $ - \infty < {\eta _1} < {\eta _2} < + \infty $ ，令

$ \left[ {{\eta _1} < f < {\eta _2}} \right]: = \left\{ {x \in {{\bf R}^n}:{\eta _1} < f\left( x \right) < {\eta _2}} \right\} $

若存在 $\eta \in \left( {0, + \left. \infty \right]} \right.$ ， ${x^*}$ 的领域 $U$ 以及一个连续的凹函数 $\varphi :\left[ {0,\ \eta } \right) \to {R_ + }$ ，满足如下条件：

a. $\varphi \left( 0 \right) = 0 $ ；

b. $\varphi $ 在 $\left( {0,\ \eta } \right)$ 连续可微且在0处连续；

c. $ \varphi '\left( s \right) > 0,\forall s \in \left( {0,\ \eta } \right) $ ；

d. 对所有的 $x \in U \cap \left[ {f\left( {{x^*}} \right) < f < f\left( {{x^*}} \right) + \eta } \right]$ ，有Kurdyka-Lojasiewicz不等式

$ \varphi '\left( {f\left( x \right) - f\left( {{x^*}} \right)} \right)d\left( {0,\partial f\left( x \right)} \right) \geqslant 1 $

成立，则称函数 $f$ 在 ${x^*} \in {\rm{dom}}\; \partial f$ 上满足K−L性质。

引理3　（一致K−L性质） $\varOmega $ 是紧集，设函数 $f:{{\bf{R}}^n} \to R \cup \left\{ { + \infty } \right\}$ 是恰当下半连续函数。假设 $f$ 在 $\varOmega $ 上是常数并且在 $\varOmega $ 上的每个点满足K−L性质，那么，存在 $\varepsilon > 0,\eta > 0$ 以及 $\varphi \in {\varPhi _\eta }$ ，使得对于任意的 $\tilde x \in \varOmega $ 以及 $x \in \left\{ {x \in {{\bf{R}}^n}:d\left( {x,\varOmega } \right) < \varepsilon } \right\} \cap \{ f\left( {\tilde x} \right) < f < f\left( {\tilde x} \right) + \eta \}$ ，有

$ \varphi '\left( {f\left( x \right) - f\left( {\tilde x} \right)} \right)d\left( {0,\partial f\left( x \right)} \right) \geqslant 1 $

3 算法及收敛性分析

针对问题（1），本文提出了一种广义交替方向乘子法（GADMM），即

$ \left\{ \begin{array}{l} {x^{k + 1}} \in \arg {\min _x}\Biggr\{ g\left( {x,{y^k}} \right) + f\left( x \right) - \left\langle {{\gamma ^k},{\boldsymbol{A}}x} \right\rangle + \dfrac{\beta }{2}{{\left\| {{\boldsymbol{A}}x + {\boldsymbol{B}}{y^k}} \right\|}^2} \Biggr\} \\ {y^{k + 1}} \in \arg {\min _y}\Biggr\{ g\left( {{x^{k + 1}},y} \right) + h\left( y \right) - \left\langle {{\gamma ^k},{\boldsymbol{B}}y} \right\rangle +\dfrac{\beta }{2}{{\left\| {\alpha {\boldsymbol{A}}{x^{k + 1}} - \left( {1 - \alpha } \right){\boldsymbol{B}}{y^k} + {\boldsymbol{B}}y} \right\|}^2} \Biggr\} \\ {\gamma ^{k + 1}} = {\gamma ^k} - \beta \left( \alpha {\boldsymbol{A}}{x^{k + 1}} + \left( {1 - \alpha } \right){y^k} + {\boldsymbol{B}}{y^{k + 1}} \right) \end{array} \right. $

(5)

其中， $ \alpha \in \left( {0,2} \right) $ 是一个松弛因子，显然，当 $ \alpha = 1 $ 时，GADMM即退化成经典的ADMM算法，并且当 $ g \equiv 0 $ 时退化成经典的GADMM算法。

在证明收敛性之前，先给出式（5）的变形，由最优性条件得到

$ \left\{ \begin{array}{l} 0 \in \partial f\left( {{x^{k + 1}}} \right) + {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right) - {{\boldsymbol{A}}^{\rm T}}{\gamma ^k} + \\ \qquad \beta {{\boldsymbol{A}}^{\rm T}}\left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^k}} \right) \\ 0 = \nabla h\left( {{y^{k + 1}}} \right) + {\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - {{\boldsymbol{B}}^{\rm T}}{\gamma ^k} + \\ \qquad {{\boldsymbol{B}}^{\rm T}}\beta \left( {\alpha {\boldsymbol{A}}{x^{k + 1}} - \left( {1 - \alpha } \right){\boldsymbol{B}}{y^k} + {\boldsymbol{B}}{y^{k + 1}}} \right) \\ {\gamma ^{k + 1}} = {\gamma ^k} - \beta \left( {\alpha {\boldsymbol{A}}{x^{k + 1}} + \left( {1 - \alpha } \right){y^k} + {\boldsymbol{B}}{y^{k + 1}}} \right) \end{array} \right. $

(6)

利用式（6）的最后一个等式，得到

$ \left\{ \begin{array}{l} {{\boldsymbol{A}}^{\rm T}}{\gamma ^k} - \beta {{\boldsymbol{A}}^{\rm T}}\left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^k}} \right) - {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right) \in\\ \qquad\quad\partial f\left( {{x^{k + 1}}} \right) \\ \nabla h\left( {{y^{k + 1}}} \right) = {{\boldsymbol{B}}^{\rm T}}{\gamma ^{k + 1}} - {\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) \\ {\gamma ^{k + 1}} = {\gamma ^k} - \beta \left( {\alpha {\boldsymbol{A}}{x^{k + 1}} - \left( {1 - \alpha } \right){y^k} + {\boldsymbol{B}}{y^{k + 1}}} \right) \end{array} \right. $

(7)

假设：令 $ f:{{\bf{R}}^n} \to R \cup \left\{ { + \infty } \right\} $ 是弱凸函数，常数 $ \omega > 0 $ ； $ h:{{\bf{R}}^m} \to R $ 是连续可微函数，它的梯度 $ \nabla h $ 是利普希茨连续的，其利普希茨常数 $ {L_1} > 0 $ ； $ g:{{\bf{R}}^n} \times $ $ {{\bf{R}}^m} \to R $ 是光滑函数。问题（1）满足下列条件：

a. 矩阵B是列满秩的，且 ${\rm{Im}} \left( {\boldsymbol{A}} \right) \subset {\rm{Im}} \left( {\boldsymbol{B}} \right)$ ；

b. $\left\| {{\nabla _y}g\left( {x,y} \right) - {\nabla _y}g\left( {x,\tilde y} \right)} \right\| \leqslant {L_1}\left( x \right)\left\| {y - \tilde y} \right\|,\forall y,\tilde y \in {{\bf{R}}^n} $ ； $ \left\| {{\nabla _x}g\left( {x,y} \right) - {\nabla _x}g\left( {\tilde x,y} \right)} \right\| \leqslant {L_2}\left( y \right)\left\| {x - \tilde x} \right\|,\forall x,\tilde x \in {{\bf{R}}^n} $ ；

c. $\nabla g$ 在 ${{\bf{R}}^n} \times {{\bf{R}}^m}$ 的有界子集上是利普希茨连续的，即对于每个有界子集 $ {B_1} \times {B_2} \subseteq {{\bf{R}}^n} \times {{\bf{R}}^m} $ ，存在 $M > 0$ ，使得对于所有的 $\left( {{x_i},{y_i}} \right) \in {B_1} \times {B_2},i = 1,2$ ， $\| {\nabla _x}H\left( {{x_1},{y_1}} \right) - $ $ {\nabla _x}H\left( {{x_2},{y_2}} \right)，{\nabla _y}H\left( {{x_1},\;{y_1}} \right) - {\nabla _y}H\left( {{x_2},{y_2}} \right) \| \leqslant M\| ( {x_1} - {y_1}$ ， ${x_2} - {y_2} ) \|$

d. $ {{\boldsymbol{A}}^{\rm T}}{\boldsymbol{A}} \geqslant \mu I,\mu > 0 $ ；

e. 存在 ${L_2},{L_3} > 0$ ,使得

$ \sup \left\{ {{L_2}\left( {{x^k}} \right):k \in N} \right\} \leqslant {L_2},\sup \left\{ {{L_3}\left( {{x^k}} \right):k \in N} \right\} \leqslant {L_3} $

f. $\ \beta > \tilde \beta $ ，

$ \begin{array}{l} \tilde \beta : = \max \left\{ {\dfrac{{\alpha {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}\left( {{L_3} + \omega } \right) + \sqrt {{\alpha ^2}{{\left( {{L_3} + \omega } \right)}^2} + 16\alpha \mu {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}{M^2}} }}{{2\alpha \mu {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} \right. \\ \qquad \left. {\dfrac{{\alpha {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}\left( {{L_1} + {L_2}} \right) + \sqrt {{\alpha ^2}\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}^2{{\left( {{L_1} + {L_2}} \right)}^2} + 16\left( {2 - \alpha } \right)\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}^2\left( {L_1^2 + {M^2}} \right)} }}{{2\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}^2\left( {2 - \alpha } \right)}}} \right\} \end{array} $

式中： $ \alpha \in \left( {0,2} \right) $ 为松弛因子。

在收敛分析中，记 ${\omega ^k}: = \left( {{x^k},{y^k},{z^k}} \right)$ 及 ${v^k}: = \left( {{x^k},{y^k}} \right)$ 。问题（1）的增广拉格朗日函数为

$\begin{aligned} {L_\beta }\left( {x,y,\gamma } \right) =& g\left( {x,y} \right) + f\left( x \right) + h\left( y \right) -\\ & \left\langle {\gamma ,{\boldsymbol{A}}x + {\boldsymbol{B}}y} \right\rangle +\frac{\beta }{2}{\left\| {{\boldsymbol{A}}x + {\boldsymbol{B}}y} \right\|^2} \end{aligned} $

式中： $ \gamma $ 是与线性约束相关的拉格朗日乘子； $ \beta $ 是惩罚参数， $\beta > 0 $ 。

此外，设

$\begin{aligned} {\widehat L_\beta }\left( {x,y,\gamma ,\alpha ,\vartheta } \right) =& g\left( {x,y} \right) + f\left( x \right) + h\left( y \right) - \left\langle {\gamma ,{\boldsymbol{A}}x + {\boldsymbol{B}}y} \right\rangle + \\ &\frac{\beta }{2}{\left\| {\alpha {\boldsymbol{A}}x - \left( {1 - \alpha } \right){\boldsymbol{B}}\vartheta + {\boldsymbol{B}}y} \right\|^2} \end{aligned} $

引理4　在上述假设条件下，对于任意的 $l > k$ ，有

$ {\left\| {{\gamma ^l} - {\gamma ^k}} \right\|^2} \leqslant \frac{1}{{{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\left\| {{{\boldsymbol{B}}^{\rm T}}{\gamma ^l} - {{\boldsymbol{B}}^{\rm T}}{\gamma ^k}} \right\|^2} $

式中， $ {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}} $ 是 ${{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}$ 的最小的特征值。

证明　由式（4）的第3项，以及假设的a，对于2个整数 $l > k$ ，有 ${\gamma ^l} - {\gamma ^k} \in {\rm{Im}}\; \left( {\boldsymbol{B}} \right) $ 。

由于 ${\boldsymbol{B}} \in {{\bf{R}}^{n \times q}}$ 是列满秩的，因此，存在 ${\boldsymbol{P}} \in {{\bf{R}}^{q \times q}}$ ， ${\boldsymbol{Q}} \in {R^{q \times n}} $ ，且矩阵 ${\boldsymbol{P}}$ 可逆， ${\boldsymbol{Q}}{{\boldsymbol{Q}}^{\rm T}} = {{\boldsymbol{I}}_{n \times n}}$ ， ${{\boldsymbol{B}}^{\rm T}} ={\boldsymbol{ PQ}}$ 。由 ${\rm{Im}}\; \left( {\boldsymbol{B}} \right) = {\rm{Im}} \;\left( {{{\boldsymbol{Q}}^{\rm T}}} \right)$ ，可得 ${\gamma ^l} - {\gamma ^k} \in {\rm{Im}}\; \left( {{{\boldsymbol{Q}}^{\rm T}}} \right)$ ， $\|{\gamma ^l} - {\gamma ^k} \|^2 = $ $ {\left\| {{\boldsymbol{Q}}\left( {{\gamma ^l} - {\gamma ^k}} \right)} \right\|^2}$ 。由此得到

$ \begin{aligned} {\left\| {{{\boldsymbol{B}}^{\rm T}}\left( {{\gamma ^l} - {\gamma ^k}} \right)} \right\|^2} =\ & {\left\| {{\boldsymbol{PQ}}\left( {{\gamma ^l} - {\gamma ^k}} \right)} \right\|^2} \geqslant \\ &{\lambda _{{{\boldsymbol{P}}^{\rm T}}{\boldsymbol{P}}}}{\left\| {{\boldsymbol{Q}}\left( {{\gamma ^l} - {\gamma ^k}} \right)} \right\|^2} \geqslant {\lambda _{{{\boldsymbol{P}}^{\rm T}}{\boldsymbol{P}}}}{\left\| {{\gamma ^l} - {\gamma ^k}} \right\|^2} \end{aligned} $

式中， $ {\lambda _{{{\boldsymbol{P}}^{\rm T}}{\boldsymbol{P}}}} $ 是 ${{\boldsymbol{P}}^{\rm T}}{\boldsymbol{P}}$ 的最小的特征值。

由矩阵 ${\boldsymbol{P}}$ 和 ${\boldsymbol{Q}}$ 的定义，有 $ {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}} = {\lambda _{{\boldsymbol{P}}{{\boldsymbol{P}}^{\rm T}}}} $ ，又因为线性代数的常见结论 $ {\lambda _{{{\boldsymbol{P}}^{\rm T}}{\boldsymbol{P}}}} = {\lambda _{{\boldsymbol{P}}{{\boldsymbol{P}}^{\rm T}}}} $ ，因此， ${\lambda _{{{\boldsymbol{P}}^{\rm T}}{\boldsymbol{P}}}} = $ $ {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}$ 。

引理5　令 $ \left\{ {\left( {{x^k},{y^k},{\gamma ^k}} \right)} \right\} $ 由算法GADMM式（式（5））产生，则有

$ {L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{k + 1}}} \right) \geqslant \delta {\left\| {{v^{k + 1}} - {v^k}} \right\|^2} $

(8)

证明　首先将增广拉格朗日函数的差分拆分，得到

$ \begin{split} {L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{k + 1}}} \right) = &{L_\beta }\left( {{x^k},{y^k},{\gamma ^k}} \right) - {L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^{k + 1}}} \right) = {\widehat L_\beta }\left( {{x^k},{y^k},{\gamma ^k},\alpha,y^k } \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^{k + 1}},\alpha,y^k } \right) =\\ &\left({\widehat L_\beta }\left( {{x^k},{y^k},{\gamma ^k},\alpha,y^k } \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right)\right) + \left({\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right) - \right. \\ &\left.{\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right)\right) + \left({\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^k},\alpha ,{y^k}} \right)\right) + \\ &\left({\widehat L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^k},\alpha ,{y^k}} \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^{k + 1}},\alpha,y^k } \right)\right) \end{split} $

(9)

根据定义，有

$ \begin{split} &{\widehat L_\beta }\left( {{x^k},{y^k},{\gamma ^k},\alpha,y^k } \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right) = \\ &\qquad f\left( {{x^k}} \right) - f\left( {{x^{k + 1}}} \right) + \left\langle {{\gamma ^k},A{x^{k + 1}} - A{x^k}} \right\rangle +\\ &\qquad \beta \left\langle {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^k},{\boldsymbol{A}}{x^k} - {\boldsymbol{A}}{x^{k + 1}}} \right\rangle + \\ &\qquad\frac{\beta }{2}{\left\| {{\boldsymbol{A}}{x^k} - {\boldsymbol{A}}{x^{k + 1}}} \right\|^2} + g\left( {{x^k},{y^k}} \right) - g\left( {{x^{k + 1}},{y^k}} \right) \end{split} $

(10)

因为， $ f $ 是关于常数 $ \omega $ 的弱凸函数，因此，由式（7）的第1个关系式得到

$\begin{aligned} f\left( {{x^k}} \right) \geqslant &f\left( {{x^{k + 1}}} \right) + \left\langle {{\boldsymbol{A}}^{\rm T}}{\gamma ^k} - \beta {{\boldsymbol{A}}^{\rm T}}\left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^k}} \right) -\right.\\ &\left.{\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right),{x^k} - {x^{k + 1}} \right\rangle - \frac{\omega }{2}{\left\| {{x^{k + 1}} - {x^k}} \right\|^2}\end{aligned} $

又因为 $ {\nabla _x}g\left( { \cdot ,{y^k}} \right) $ 是关于常数 $ {L_3}\left( {{y^k}} \right) $ 利普希茨连续的，由引理1可得

$ \begin{aligned} g\left( {{x^k},{y^k}} \right) - & g\left( {{x^{k + 1}},{y^k}} \right) \geqslant \left\langle {{\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right),{x^k} - {x^{k + 1}}} \right\rangle -\\ &\frac{{{L_3}\left( {{y^k}} \right)}}{2}{\left\| {{x^{k + 1}} - {x^k}} \right\|^2}\end{aligned} $

根据假设的d，有

$ {\left\| {{\boldsymbol{A}}{x^{k + 1}} - {\boldsymbol{A}}{x^k}} \right\|^2} \geqslant \mu {\left\| {{x^{k + 1}} - {x^k}} \right\|^2} $

将上述3个不等式代入式（10），可得

$\begin{split}{\widehat L_\beta }\left( {{x^k},{y^k},{\gamma ^k},\alpha,y^k } \right)- &{\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right) \geqslant \\ &\frac{{\beta \mu - {L_3}\left( {{y^k}} \right) - \omega }}{2}{\left\| {{x^{k + 1}} - {x^k}} \right\|^2}\end{split} $

(11)

类似地，

$ \begin{split} &{\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^k},\alpha ,{y^k}} \right) =\\ &\quad h\left( {{y^k}} \right) - h\left( {{y^{k + 1}}} \right) + g\left( {{x^{k + 1}},{y^k}} \right) - g\left( {{x^{k + 1}},{y^{k + 1}}} \right) +\\ &\quad \left\langle {{\gamma ^k},{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right)} \right\rangle - \alpha \beta \left\langle {A{x^{k + 1}} + {\boldsymbol{B}}{y^k},{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right)} \right\rangle -\\ &\quad \dfrac{\beta }{2}{\left\| {{\boldsymbol{B}}{y^{k + 1}} - {\boldsymbol{B}}{y^k}} \right\|^2} = h\left( {{y^k}} \right) - h\left( {{y^{k + 1}}} \right) + g\left( {{x^{k + 1}},{y^k}} \right) -\\ &\quad g\left( {{x^{k + 1}},{y^{k + 1}}} \right) + \; \left\langle {{\gamma ^{k + 1}},{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right)} \right\rangle +\\ &\quad\dfrac{\beta }{2}{\left\| {{\boldsymbol{B}}{y^{k + 1}} - {\boldsymbol{B}}{y^k}} \right\|^2}\\[-15pt] \end{split} $

(12)

其中，最后1个等式由

$ - \alpha \beta \left( {A{x^{k + 1}} + B{y^k}} \right) = {\gamma ^{k + 1}} - {\gamma ^k} + \beta \left( {B{y^{k + 1}} - B{y^k}} \right) $

得到。通过 $ \nabla h $ 的利普希茨连续性，由引理1及式（7）的第2个不等式，可得

$\begin{aligned} h\left({y}^{k}\right)-&h\left({y}^{k+1}\right)\geqslant \langle {{\boldsymbol{B}}}^{{\rm T}}{\gamma }^{k+1}-{\nabla }_{y}g\left({x}^{k+1},{y}^{k+1}\right),\\ &\qquad {y}^{k}-{y}^{k+1}\rangle -\frac{{L}_{1}}{2}{\Vert {y}^{k+1}-{y}^{k}\Vert }^{2}\end{aligned} $

又因为 $ {\nabla _y}g\left( {{x^{k + 1}}, \cdot } \right) $ 是关于常数 $ {L_2}\left( {{x^{k + 1}}} \right) $ 利普希茨连续的，由引理1可得

$ \begin{aligned}g\left( {{x^{k + 1}},{y^k}} \right) -& g\left( {{x^{k + 1}},{y^{k + 1}}} \right) \geqslant \left\langle {{\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right),{y^k} - {y^{k + 1}}} \right\rangle -\\ &\frac{{{L_2}\left( {{x^{k + 1}}} \right)}}{2}{\left\| {{y^{k + 1}} - {y^k}} \right\|^2}\end{aligned} $

又由于 ${\boldsymbol{B}}$ 是列满秩的，可得

${\left\| {{\boldsymbol{B}}{y^{k + 1}} - {\boldsymbol{B}}{y^k}} \right\|^2} \geqslant {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}{\left\| {{y^{k + 1}} - {y^k}} \right\|^2}$

将上述3个等式相加并代入式（12），可得

$ \begin{split}&{\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^k},\alpha ,{y^k}} \right) \geqslant \\ &\qquad\frac{{\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}} - {L_2}\left( {{x^{k + 1}}} \right) - {L_1}}}{2}{\left\| {{y^{k + 1}} - {y^k}} \right\|^2}\end{split} $

(13)

现计算式（9）剩余的项。

$ \begin{aligned} &\left( {{{\widehat L}_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right) - {{\widehat L}_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right)} \right) + \\ &\qquad\left( {{\widehat L}_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^k},\alpha ,{y^k}} \right) -\right. \\ &\qquad\left. {{\widehat L}_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^{k + 1}},\alpha,y^k} \right) \right) \end{aligned} $

事实上，

$ \begin{split} &{\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right) - {\widehat L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right) = \\ &\qquad\frac{\beta }{2}{\left\| {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^k}} \right\|^2} - \frac{\beta }{2}{\left\| {\alpha \left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^k}} \right)} \right\|^2} \end{split} $

(14)

且

$ \begin{split} &{\widehat{L}}_{\beta }\left({x}^{k+1},{y}^{k+1},{\gamma }^{k},\alpha ,{y}^{k}\right)-{\widehat{L}}_{\beta }\left({x}^{k+1},{y}^{k+1},{\gamma }^{k+1},\alpha,y^k \right) =\\ &\quad\langle {\gamma }^{k+1}-{\gamma }^{k},{\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k+1}\rangle +\dfrac{\beta }{2}\Vert \alpha \left({\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k}\right)+\\ &\quad B\left({y}^{k+1}-{y}^{k}\right)\Vert ^{2}-\dfrac{\beta }{2}{\Vert {\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k+1}\Vert }^{2} =\\ &\quad\langle {\gamma }^{k+1}-{\gamma }^{k},{\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k+1}\rangle +\dfrac{\beta }{2}{\Vert \alpha \left({\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k}\right)\Vert }^{2}+\\ &\quad\alpha \beta \langle {\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k},{\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\rangle -\dfrac{\beta }{2}{\Vert {\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k}\Vert }^{2}-\\ &\quad\beta \langle {\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k},{\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\rangle \\[-12pt] \end{split} $

(15)

将式（14）和式（15）相加，可得

$ \begin{split} &\left({\widehat{L}}_{\beta }\left({x}^{k+1},{y}^{k},{\gamma }^{k},\alpha,y^k \right)-{\widehat{L}}_{\beta }\left({x}^{k+1},{y}^{k},{\gamma }^{k},\alpha ,{y}^{k}\right)\right)+\\ &\quad \left({\widehat{L}}_{\beta }\left({x}^{k+1},{y}^{k+1},{\gamma }^{k},\alpha ,{y}^{k}\right)-{\widehat{L}}_{\beta }\left({x}^{k+1},{y}^{k+1},{\gamma }^{k+1},\alpha,y^k \right)\right) =\\ &\quad \langle {\gamma }^{k+1}-{\gamma }^{k},{\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k+1}\rangle +\alpha \beta \langle {\boldsymbol{A}}{x}^{k+1}+\\ &\quad {\boldsymbol{B}}{y}^{k},{\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\rangle -\beta \langle {\boldsymbol{A}}{x}^{k+1}+{\boldsymbol{B}}{y}^{k},{\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\rangle =\\ &\quad \langle {\gamma }^{k+1}-{\gamma }^{k},-\dfrac{1}{\alpha \beta }\left({\gamma }^{k+1}-{\gamma }^{k}\right)-\dfrac{1-\alpha }{\alpha }{\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\rangle +\\ &\quad \dfrac{1-\alpha }{\alpha }\langle {\gamma }^{k+1}-{\gamma }^{k}+\beta \left({\boldsymbol{B}}{y}^{k+1}-{\boldsymbol{B}}{y}^{k}\right),{\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\rangle =\\ &\quad -\dfrac{1}{\alpha \beta }{\Vert {\gamma }^{k+1}-{\gamma }^{k}\Vert }^{2}+\dfrac{\left(1-\alpha \right)\beta }{\alpha }{\Vert {\boldsymbol{B}}\left({y}^{k+1}-{y}^{k}\right)\Vert }^{2}\\[-15pt]\end{split} $

(16)

根据引理4可得

$ {\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\|^2} \leqslant \frac{1}{{{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\left\| {{{\boldsymbol{B}}^{\rm T}}{\gamma ^{k + 1}} - {{\boldsymbol{B}}^{\rm T}}{\gamma ^k}} \right\|^2} $

$ \begin{aligned} & {\left\| {{{\boldsymbol{B}}^{\rm T}}{\gamma ^{k + 1}} - {{\boldsymbol{B}}^{\rm T}}{\gamma ^k}} \right\|^2} =\left\| \nabla h\left( {{y^{k + 1}}} \right) + {\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) -\right.\\ &\quad\left.\nabla h\left( {{y^k}} \right) - {\nabla _y}g\left( {{x^k},{y^k}} \right) \right\|^2 \leqslant 2\left\| \nabla h\left( {{y^{k + 1}}} \right) -\right.\\ &\quad\left. \nabla h\left( {{y^k}} \right) \right\|^2 + 2{\left\| {{\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - {\nabla _y}g\left( {{x^k},{y^k}} \right)} \right\|^2} \leqslant\\ &\quad 2L_1^2{\left\| {{y^{k + 1}} - {y^k}} \right\|^2} + 2{M^2}{\left\| {{x^{k + 1}} - {x^k}} \right\|^2} + 2{M^2}{\left\| {{y^{k + 1}} - {y^k}} \right\|^2} =\\ &\quad\left( {2L_1^2 + 2{M^2}} \right){\left\| {{y^{k + 1}} - {y^k}} \right\|^2} + 2{M^2}{\left\| {{x^{k + 1}} - {x^k}} \right\|^2} \end{aligned} $

其中，第2个不等式是由 $\nabla h$ 的利普希茨连续性和假设的c得到。因此，

$\begin{split} {\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\|^2} \leqslant& \frac{1}{{{\lambda _{{B^{\rm T}}B}}}}\left( \left( {2L_1^2 + 2{M^2}} \right){{\left\| {{y^{k + 1}} - {y^k}} \right\|}^2} +\right.\\ & \left. 2{M^2}{{\left\| {{x^{k + 1}} - {x^k}} \right\|}^2} \right)\end{split} $

(17)

将式（17）代入式（16），得到

$ \begin{split} &\left( {{{\widehat L}_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha,y^k } \right) - {{\widehat L}_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k},\alpha ,{y^k}} \right)} \right) + \\ &\qquad\left( {{{\widehat L}_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^k},\alpha ,{y^k}} \right) - {{\widehat L}_\beta }\left( {{x^{k + 1}},{y^{k + 1}},{\gamma ^{k + 1}},\alpha,y^k } \right)} \right) \geqslant \\ &\qquad- \frac{1}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}\left( \left( {2L_1^2 + 2{M^2}} \right){\left\| {{y^{k + 1}} - {y^k}} \right\|}^2 +\right.\\ &\qquad \left.2{M^2}{{\left\| {{x^{k + 1}} - {x^k}} \right\|}^2} \right) + \frac{{\left( {1 - \alpha } \right)\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\alpha }{\left\| {{y^{k + 1}} - {y^k}} \right\|^2} = \\ &\qquad \left( {\frac{{\left( {1 - \alpha } \right)\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\alpha } - \frac{{2L_1^2 + 2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} \right){\left\| {{y^{k + 1}} - {y^k}} \right\|^2} -\\ &\qquad\frac{{2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\left\| {{x^{k + 1}} - {x^k}} \right\|^2} \\[-15pt] \end{split} $

(18)

因此，将式（11），（13），（18）代入式（9），得到

$ \begin{aligned} {L_\beta }\left( {{\omega ^k}} \right) -\ & {L_\beta }\left( {{\omega ^{k + 1}}} \right) \geqslant \left( {\frac{{\beta \mu - {L_3}\left( {{y^k}} \right) - \omega }}{2} - \frac{{2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} \right)\times\\ &{\left\| {{x^{k + 1}} - {x^k}} \right\|^2}+ \left( \frac{{\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}} - {L_2}\left( {{x^{k + 1}}} \right) - {L_1}}}{2}+\right.\\ &\left.\frac{{\left( {1 - \alpha } \right)\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\alpha } - \frac{{2L_1^2 + 2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}} \right){\left\| {{y^{k + 1}} - {y^k}} \right\|^2} \geqslant \\ &\left( {\frac{{\beta \mu - {L_3} - \omega }}{2} - \frac{{2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} \right){\left\| {{x^{k + 1}} - {x^k}} \right\|^2}+\\ &\left( \frac{{\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}} - {L_2} - {L_1}}}{2}+\frac{{\left( {1 - \alpha } \right)\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\alpha } -\right. \\ &\left.\frac{{2L_1^2 + 2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}} \right){\left\| {{y^{k + 1}} - {y^k}} \right\|^2} \geqslant \delta {\left\| {{v^{k + 1}} - {v^k}} \right\|^2} \end{aligned} $

其中，第2个不等式由假设的e得到，在最后1个等式中，令

$ \begin{aligned}\delta : =\ & \min \left\{ \frac{{\beta {\mu _1} - {L_3} - \omega }}{2} - \frac{{2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}},\frac{{\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}} - {L_2} - {L_1}}}{2}+\right.\\ &\left.\frac{{\left( {1 - \alpha } \right)\beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}{\alpha } - \frac{{2L_1^2 + 2{M^2}}}{{\alpha \beta {\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}} \right\}\end{aligned} $

由假设的c可知， $\delta > 0$ 。

引理6　令序列 ${\left\{ {{\omega ^k}} \right\}_{k \in N}}$ 由算法GADMM生成，且假设有界，因此，有

$ \sum\limits_{k = 0}^{ + \infty } {{{\left\| {{\omega ^{k + 1}} - {\omega ^k}} \right\|}^2} < + \infty } $

(19)

证明　由于序列 ${\left\{ {{\omega ^k}} \right\}_{k \in N}}$ 是有界的，则存在收敛子列 $ {\left\{ {{\omega ^{{k_j}}}} \right\}_{j \in N}} $ 且 $ {\omega ^{{k_j}}} \to {\omega ^*} $ 。由 $h$ 和 $g$ 的连续性和 $f$ 的下半连续性可知 ${L_\beta }\left( \cdot \right)$ 是下半连续的，从而可得

$ {L_\beta }\left( {{\omega ^*}} \right) \leqslant \mathop {\lim \;\inf }\limits_{j \to \infty } {L_\beta }\left( {{\omega ^{{k_j}}}} \right) $

因此，序列 $ {\left\{ {{L_\beta }\left( {{\omega ^{{k_j}}}} \right)} \right\}_{j \in N}} $ 有下界，又由式（17）可知 $ {\left\{ {{L_\beta }\left( {{\omega ^{{k_j}}}} \right)} \right\}_{j \in N}} $ 单调递减，所以， $ {\left\{ {{L_\beta }\left( {{\omega ^{{k_j}}}} \right)} \right\}_{j \in N}} $ 收敛，此外， $ {\left\{ {{L_\beta }\left( {{\omega ^k}} \right)} \right\}_{j \in N}} $ 也是收敛的，且 $ {L_\beta }\left( {{\omega ^k}} \right) \geqslant {L_\beta }\left( {{\omega ^*}} \right) $ 。由引理4可得

$\begin{aligned} \sum\limits_{k = 0}^m \delta {{\left\| {{v^{k + 1}} - {v^k}} \right\|}^2} \leqslant & \ {L_\beta }\left( {{\omega ^0}} \right) - {L_\beta }\left( {{\omega ^{m + 1}}} \right) \leqslant \\ &{L_\beta }\left( {{\omega ^0}} \right) - {L_\beta }\left( {{\omega ^*}} \right) < + \infty \end{aligned} $

由 $ \delta > 0 $ 可得

$ \sum\limits_{k = 0}^{ + \infty } {{{\left\| {{v^{k + 1}} - {v^k}} \right\|}^2}} < + \infty $

因此，

$ \sum\limits_{k = 0}^{ + \infty } {{{\left\| {{x^{k + 1}} - {x^k}} \right\|}^2}} < + \infty ,\ \ \sum\limits_{k = 0}^{ + \infty } {{{\left\| {{y^{k + 1}} - {y^k}} \right\|}^2}} < + \infty $

(20)

此外，由式（17）和式（20）可得

$ \sum\limits_{k = 0}^{ + \infty } {{{\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\|}^2}} < + \infty $

因此，

$ \sum\limits_{k = 0}^{ + \infty } {{{\left\| {{\omega ^{k + 1}} - {\omega ^k}} \right\|}^2} < + \infty } $

引理7　存在 $\xi > 0$ ，使得

$ d\left( {0,\partial {L_\beta }\left( {{\omega ^{k + 1}}} \right)} \right) \leqslant \xi \left\| {{v^{k + 1}} - {v^k}} \right\| $

(21)

证明　根据增广拉格朗日函数的定义，可得

$ \left\{ \begin{array}{l} {\partial _x}{L_\beta }\left( {{\omega ^{k + 1}}} \right) = \partial f\left( {{x^{k + 1}}} \right) + {\nabla _x}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - \\ \qquad\qquad\qquad{{\boldsymbol{A}}^{\rm T}}{\gamma ^{k + 1}} + \beta {{\boldsymbol{A}}^{\rm T}}\left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^{k + 1}}} \right) \\ {\partial _y}{L_\beta }\left( {{\omega ^{k + 1}}} \right) = \nabla h\left( {{y^{k + 1}}} \right) + {\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) -\\ \qquad\qquad\qquad{{\boldsymbol{B}}^{\rm T}}{\gamma ^{k + 1}} + \beta {{\boldsymbol{B}}^{\rm T}}\left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^{k + 1}}} \right) \\ {\partial _\gamma }{L_\beta }\left( {{\omega ^{k + 1}}} \right) = - \left( {{\boldsymbol{A}}{x^{k + 1}} + {\boldsymbol{B}}{y^{k + 1}}} \right) \end{array} \right. $

(22)

进一步结合式式（7），可得

$ \left\{ \begin{array}{l} {{\boldsymbol{A}}^{\rm T}}\left( {{\gamma ^k} - {\gamma ^{k + 1}}} \right) + \beta {{\boldsymbol{A}}^{\rm T}}{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right) +\\ \quad {\nabla _x}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right) \in {\partial _x}{L_\beta }\left( {{\omega ^{k + 1}}} \right) \\ \dfrac{1}{\alpha }{{\boldsymbol{B}}^{\rm T}}\left( {{\gamma ^k} - {\gamma ^{k + 1}}} \right) + \dfrac{{\left( {1 - \alpha } \right)\beta }}{\alpha }{\boldsymbol{B}}\left( {{y^k} - {y^{k + 1}}} \right) \in\\ \quad{\partial _y}{L_\beta }\left( {{\omega ^{k + 1}}} \right)\\ \dfrac{1}{{\alpha \beta }}\left( {{\gamma ^{k + 1}} - {\gamma ^k}} \right) + \dfrac{{1 - \alpha }}{\alpha }{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right) \in\\ \quad {\partial _\gamma }{L_\beta }\left( {{\omega ^{k + 1}}} \right) \end{array} \right. $

(23)

令

$ \begin{aligned} &x_{k + 1}^* = {{\boldsymbol{A}}^{\rm T}}\left( {{\gamma ^k} - {\gamma ^{k + 1}}} \right) + \beta {{\boldsymbol{A}}^{\rm T}}{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right) +\\ &\qquad\quad{\nabla _x}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right)\\ &y_{k + 1}^* = \frac{1}{\alpha }{{\boldsymbol{B}}^{\rm T}}\left( {{\gamma ^k} - {\gamma ^{k + 1}}} \right) + \frac{{\left( {1 - \alpha } \right)\beta }}{\alpha }{\boldsymbol{B}}\left( {{y^k} - {y^{k + 1}}} \right)\\ &\gamma _{k + 1}^* = \frac{1}{{\alpha \beta }}\left( {{\gamma ^{k + 1}} - {\gamma ^k}} \right) + \frac{{1 - \alpha }}{\alpha }{\boldsymbol{B}}\left( {{y^{k + 1}} - {y^k}} \right) \end{aligned} $

则 $\left( {x_{k + 1}^*,y_{k + 1}^*,\gamma _{k + 1}^*} \right) \in {L_\beta }\left( {{\omega ^{k + 1}}} \right)$ ，且存在 ${\xi _1},{\xi _2},{\xi _3} > 0$ ，使得

$ \begin{split} &\left\| {x_{k + 1}^*,y_{k + 1}^*,\gamma _{k + 1}^*} \right\| \leqslant {\xi _1}\left\| {{y^{k + 1}} - {y^k}} \right\| + {\xi _2}\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\| + \\ &\qquad {\xi _3}\left\| {{\nabla _x}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right)} \right\| \\[-12pt] \end{split} $

(24)

又由假设的c可得

$ \left\| {{\nabla _x}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) - {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right)} \right\| \leqslant M\left\| {{y^{k + 1}} - {y^k}} \right\| $

(25)

根据式（17）可得

$ \begin{split}\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\| \leqslant& \frac{1}{{\sqrt {{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}} }}\left( \sqrt {\left( {2L_1^2 + 2{M^2}} \right)} \left\| {{y^{k + 1}} - {y^k}} \right\| + \right.\\ &\left.\sqrt 2 M\left\| {{x^{k + 1}} - {x^k}} \right\| \right)\\[-12pt]\end{split} $

(26)

因此，由式（24）～（26）可得

$ \begin{aligned} &d\left( {0,\partial {L_\beta }\left( {{\omega ^{k + 1}}} \right)} \right) \leqslant \left\| {x_{k + 1}^*,y_{k + 1}^*,\gamma _{k + 1}^*} \right\| \leqslant\\ &\qquad\left( {{\xi _1} + \sqrt {\frac{{\left( {2L_1^2 + 2{M^2}} \right)}}{{{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} + M{\xi _3}} \right)\left\| {{y^{k + 1}} - {y^k}} \right\| + \\ &\qquad \sqrt {\frac{2}{{{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} M\left\| {{x^{k + 1}} - {x^k}} \right\| \end{aligned} $

令

$ \xi = \sqrt {{{\left( {{\xi _1} + \sqrt {\frac{{\left( {2L_1^2 + 2{M^2}} \right)}}{{{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} + M{\xi _3}} \right)}^2} + {{\left( {\sqrt {\frac{2}{{{\lambda _{{{\boldsymbol{B}}^{\rm T}}{\boldsymbol{B}}}}}}} M} \right)}^2}} $

由上式可以得到式（21）。

引理8　假设序列 ${\left\{ {{\omega ^k}} \right\}_{k \in N}}$ 为算法生成的有界序列，其所有极限点记为 $S\left( {{\omega ^0}} \right)$ ，则

a. $S\left( {{\omega ^0}} \right)$ 是一个非空紧集，并且 $d\left( {{\omega ^k},S\left( {{\omega ^0}} \right)} \right) \to 0, $ $ k \to + \infty $ ；

b. $ S\left( {{\omega ^0}} \right) \subset {\rm{crit}}\; {L_\beta } $ ；

c. ${L_\beta }\left( \cdot \right)$ 在 $S\left( {{\omega ^0}} \right)$ 上取有限值且为常数，且

$ \mathop {\inf }\limits_{k \in N} {L_\beta }\left( {{\omega ^k}} \right) = \mathop {\lim }\limits_{k \to + \infty } {L_\beta }\left( {{\omega ^k}} \right) $

证明　 a. 由 $S\left( {{\omega ^0}} \right)$ 的定义可直接得到。

b. 对于任意点 $\left( {{x^*},{y^*},{\gamma ^*}} \right) \in S\left( {{\omega ^0}} \right)$ ，存在子列

$\left\{ {\left( {{x^{{k_j}}},{y^{{k_j}}},{\gamma ^{{k_j}}}} \right)} \right\} \to \left( {{x^*},{y^*},{\gamma ^*}} \right),\;{k_j} \to + \infty $

根据增广拉格朗日函数的定义，式（5）的 $x$ 子问题等价于

$ {x^{k + 1}} \in \arg \mathop {\min }\limits_x \left\{ {{L_\beta }\left( {x,{y^k},{\gamma ^k}} \right)} \right\} $

即 ${x^{k + 1}}$ 是 ${L_\beta }\left( {x,{y^k},{\gamma ^k}} \right)$ 关于变量 $x$ 的全局最小点，由此可得

$ {L_\beta }\left( {{x^{k + 1}},{y^k},{\gamma ^k}} \right) \leqslant {L_\beta }\left( {{x^*},{y^k},{\gamma ^k}} \right) $

又因为 ${L_\beta }\left( \cdot \right)$ 关于 $y$ 和 $\gamma $ 连续，则有

$ \begin{split} &\mathop {\lim \sup }\limits_{j \to + \infty } {L_\beta }\left( {{x^{{k_j} + 1}},{y^{{k_j}}},{\gamma ^{{k_j}}}} \right) = \\ &\quad \mathop {\lim \sup }\limits_{j \to + \infty } {L_\beta }\left( {{x^{{k_j} + 1}},{y^{{k_j} + 1}},{\gamma ^{{k_j} + 1}}} \right) \leqslant{L_\beta }\left( {{x^*},{y^*},{\gamma ^*}} \right)\end{split} $

(27)

由引理6可得， $\displaystyle\sum\limits_{k = 0}^{ + \infty } {{{\left\| {{\omega ^{k + 1}} - {\omega ^k}} \right\|}^2} < + \infty } $ ，从而

$\left\{ {\left( {{x^{{k_j} + 1}},{y^{{k_j} + 1}},{\gamma ^{{k_j} + 1}}} \right)} \right\} \to \left( {{x^*},{y^*},{\gamma ^*}} \right),{k_j} \to + \infty $

由函数 ${L_\beta }\left( \cdot \right)$ 的下半连续性可得

$ \mathop {\lim \;\inf }\limits_{j \to + \infty } {L_\beta }\left( {{x^{{k_j} + 1}},{y^{{k_j} + 1}},{\gamma ^{{k_j} + 1}}} \right) \geqslant {L_\beta }\left( {{x^*},{y^*},{\gamma ^*}} \right) $

(28)

因此，结合式（27）和式（28），可得

$ \mathop {\lim }\limits_{j \to + \infty } {L_\beta }\left( {{x^{{k_j} + 1}},{y^{{k_j} + 1}},{\gamma ^{{k_j} + 1}}} \right) = {L_\beta }\left( {{x^*},{y^*},{\gamma ^*}} \right) $

由此可以推断

$ \mathop {\lim }\limits_{j \to + \infty } f\left( {{x^{{k_j} + 1}}} \right) = f\left( {{x^*}} \right) $

(29)

结合 $\nabla h,\nabla {g_x}\left( { \cdot , \cdot } \right),\nabla {g_y}\left( { \cdot , \cdot } \right)$ 的连续性，在式（6）中对序列 $\left\{ {\left( {{x^{{k_j}}},{y^{{k_j}}},{\gamma ^{{k_j}}}} \right)} \right\}$ 取极限，可得

$ \left\{ \begin{array}{l} {{\boldsymbol{A}}^{\rm T}}{\gamma ^k} - {\nabla _x}g\left( {{x^{k + 1}},{y^k}} \right) \in \partial f\left( {{x^*}} \right) \\ {{\boldsymbol{B}}^{\rm T}}{\gamma ^{k + 1}} - {\nabla _y}g\left( {{x^{k + 1}},{y^{k + 1}}} \right) = \nabla h\left( {{y^*}} \right) \\ {\boldsymbol{A}}{x^*} + {\boldsymbol{B}}{y^*} = 0 \end{array} \right. $

即 $\left( {{x^*},{y^*},{\gamma ^*}} \right) \in S\left( {{\omega ^0}} \right)$ 。

c. 对于任意点 $\left( {{x^*},{y^*},{\gamma ^*}} \right) \in S\left( {{\omega ^0}} \right)$ ，存在子列

$\left\{ {\left( {{x^{{k_j}}},{y^{{k_j}}},{\gamma ^{{k_j}}}} \right)} \right\} \to \left( {{x^*},{y^*},{\gamma ^*}} \right),\ {k_j} \to + \infty $

由于 $ {L_\beta }\left( {{\omega ^k}} \right) $ 单调递减，结合式（27）和式（28），可得

$ \mathop {\lim }\limits_{j \to + \infty } {L_\beta }\left( {{x^k},{y^k},{\gamma ^k}} \right) = {L_\beta }\left( {{x^*},{y^*},{\gamma ^*}} \right) $

因此， ${L_\beta }\left( \cdot \right)$ 在 $S\left( {{\omega ^0}} \right)$ 是常数，且

$ \mathop {\inf }\limits_{k \in N} {L_\beta }\left( {{\omega ^k}} \right) = \mathop {\lim }\limits_{k \to + \infty } {L_\beta }\left( {{\omega ^k}} \right) $

定理1　若 ${L_\beta }\left( \cdot \right)$ 满足K−L性质，则 $\displaystyle\sum\limits_{k = 0}^{ + \infty } \left\| {{\omega ^{k + 1}} - {\omega ^k}} \right\| < $ $ + \infty $ ，且序列 ${\left\{ {{\omega ^k}} \right\}_{k \in N}}$ 收敛到 ${L_\beta }\left( \cdot \right)$ 的一个稳定点。

证明　由引理8可知， $\mathop {\lim }\limits_{k \to + \infty } {L_\beta }\left( {{\omega ^k}} \right) = {L_\beta }\left( {{\omega ^*}} \right), $ $ \forall {\omega ^*} \in S\left( {{\omega ^0}} \right)$ ，因此，考虑以下2种情况：

a. 存在整数 ${k_0}$ 使得 ${L_\beta }\left( {{\omega ^{{k_0}}}} \right) = {L_\beta }\left( {{\omega ^*}} \right)$ ，由引理5可知，

$ \delta {\left\| {{v^{k + 1}} - {v^k}} \right\|^2} \leqslant {L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{k + 1}}} \right) \leqslant {L_\beta }\left( {{\omega ^{{k_0}}}} \right) - {L_\beta }\left( {{\omega ^*}} \right) = 0$

因此，对任意的 $k > {k_0}$ ，有 $ {v^{k + 1}} = {v^k} $ ，结合式（16）可知，对于任意的 $k > {k_0} + 1$ ，有 $ {\omega ^{k + 1}} = {\omega ^k} $ 成立。

b. 假设对于任意的 $k$ 都有 ${L_\beta }\left( {{\omega ^k}} \right) > {L_\beta }\left( {{\omega ^*}} \right)$ 成立，存在 $\tilde k > 0$ 使得对于所有的 $k > \tilde k$ ，有

$ \delta {\left\| {{v^{k + 1}} - {v^k}} \right\|^2} \leqslant \xi \left\| {{v^k} - {v^{k - 1}}} \right\| {\varDelta _{k,k + 1}} $

(30)

其中，

$ {\varDelta _{p,q}} = \varphi \left( {{L_\beta }\left( {{\omega ^p}} \right) - {L_\beta }\left( {{\omega ^*}} \right)} \right) - \varphi \left( {{L_\beta }\left( {{\omega ^q}} \right) - {L_\beta }\left( {{\omega ^*}} \right)} \right) $

由于 $d\left( {{\omega ^k},S\left( {{\omega ^0}} \right)} \right) \to 0$ 且 ${L_\beta }\left( {{\omega ^k}} \right) \to {L_\beta }\left( {{\omega ^*}} \right)$ ，那么，对于任意的 $\varepsilon ,\kappa > 0$ ，存在 $\tilde k > 0$ 使得对于所有的 $k > \tilde k$ ，有

$ d\left( {{\omega ^k},S\left( {{\omega ^0}} \right)} \right) < \varepsilon ,\; {L_\beta }\left( {{\omega ^*}} \right) < {L_\beta }\left( {{\omega ^k}} \right) < {L_\beta }\left( {{\omega ^*}} \right) + \kappa $

由于 $S\left( {{\omega ^0}} \right)$ 是非空紧集，且 ${L_\beta }\left( \cdot \right)$ 在 $S\left( {{\omega ^0}} \right)$ 是常数，由引理3可得，对所有的 $k > \tilde k$ ，有

$ \varphi '\left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^*}} \right)} \right)d\left( {0,\partial {L_\beta }\left( {{\omega ^k}} \right)} \right) \geqslant 1 $

由于

$\begin{aligned} {L_\beta }\left( {{\omega ^k}} \right) -\ & {L_\beta }\left( {{\omega ^{k + 1}}} \right)=\left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) -\\ &\left( {{L_\beta }\left( {{\omega ^{k + 1}}} \right) - {L_\beta }\left( {{\omega ^*}} \right)} \right) \end{aligned}$

利用函数 $\varphi $ 的凹性，可得

$\begin{aligned} & \varphi \left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) - \varphi \left( {{L_\beta }\left( {{\omega ^{k + 1}}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) \geqslant \\ &\qquad \varphi '\left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right)\left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{k + 1}}} \right)} \right)\end{aligned}$

因此，结合引理7以及 $ \varphi '\left( {{L_\beta }\left( {{\omega ^k}} \right) \ - \ {L_\beta }\left( {{\omega ^{*}}} \right)} \right) \ > \ 0 $ ，可得

$ \begin{aligned} &{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{k + 1}}} \right) \leqslant \\ &\qquad\frac{{\varphi \left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) - \varphi \left( {{L_\beta }\left( {{\omega ^{k + 1}}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right)}}{{\varphi '\left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right)}} \leqslant \\ & \qquad\xi \left\| {{v^k} - {v^{k - 1}}} \right\|\left\| \varphi \left( {{L_\beta }\left( {{\omega ^k}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) -\right.\\ &\qquad\left.\varphi \left( {{L_\beta }\left( {{\omega ^{k + 1}}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) \right\| = \xi \left\| {{v^k} - {v^{k - 1}}} \right\|{\varDelta _{k.k + 1}} \end{aligned} $

结合引理5，可得式（30）成立，且由式（30）可得

$ \left\| {{v^{k + 1}} - {v^k}} \right\| \leqslant \sqrt {\frac{\xi }{\delta }{\varDelta _{k,k + 1}}} \cdot {\left\| {{v^k} - {v^{k - 1}}} \right\|^{\frac{1}{2}}} $

利用不等式 $2\sqrt {\alpha \beta } \leqslant \alpha + \beta \left( {\forall \alpha ,\beta > 0} \right)$ ，可得

$ 2\left\| {{v^{k + 1}} - {v^k}} \right\| \leqslant \left\| {{v^k} - {v^{k - 1}}} \right\| + \frac{\xi }{\delta }{\Delta _{k,k + 1}} $

进一步，将上式从 $\tilde k + 1到 m$ 求和，得到

$ 2\sum\limits_{k = \tilde k + 1}^m {\left\| {{v^{k + 1}} - {v^k}} \right\| \leqslant \sum\limits_{k = \tilde k + 1}^m {\left\| {{v^k} - {v^{k - 1}}} \right\| + \frac{\xi }{\delta }{\Delta _{\tilde k + 1,m}}} } $

由于 $ \varphi \left( {{L_\beta }\left( {{\omega ^{m + 1}}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) > 0 $ ，令 $m \to + \infty $ ，上式变为

$ \begin{split}&\sum\limits_{k = \tilde k + 1}^{ + \infty } \left\| {{v^{k + 1}} - {v^k}} \right\| \leqslant \left\| {{v^k} - {v^{k - 1}}} \right\| +\\ &\qquad \frac{\xi }{\delta }\varphi \left( {{L_\beta }\left( {{\omega ^{\tilde k + 1}}} \right) - {L_\beta }\left( {{\omega ^{*}}} \right)} \right) \end{split} $

(31)

即 $\displaystyle\sum\limits_{k = 0}^{ + \infty } {\left\| {{v^{k + 1}} - {v^k}} \right\|} < + \infty $ ，因此，

$ \sum\limits_{k = 0}^{ + \infty } {\left\| {{x^{k + 1}} - {x^k}} \right\|} < + \infty ,\;\sum\limits_{k = 0}^{ + \infty } {\left\| {{y^{k + 1}} - {y^k}} \right\|} < + \infty $

进一步由式（17）可得

$ \sum\limits_{k = 0}^{ + \infty } {\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\|} < + \infty $

此外，由于

$ \begin{aligned} &\left\| {{\omega ^{k + 1}} - {\omega ^k}} \right\| = \left( {{\left\| {{x^{k + 1}} - {x^k}} \right\|}^2} + {{\left\| {{y^{k + 1}} - {y^k}} \right\|}^2} +\right.\\ &\qquad\quad\left.{{\left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\|}^2} \right)^{\frac{1}{2}} \leqslant \left\| {{x^{k + 1}} - {x^k}} \right\| +\\ &\qquad\quad\left\| {{y^{k + 1}} - {y^k}} \right\| + \left\| {{\gamma ^{k + 1}} - {\gamma ^k}} \right\| \end{aligned} $

因此，

$ \sum\limits_{k = 0}^{ + \infty } {\left\| {{\omega ^{k + 1}} - {\omega ^k}} \right\|} < + \infty $

且 ${\left\{ {{\omega ^k}} \right\}_{k \in N}}$ 是Cauchy序列，因此， ${\left\{ {{\omega ^k}} \right\}_{k \in N}}$ 收敛。

4 结　论

研究了非凸不可分离的线性约束优化问题，以及求解该问题的广义交替方向乘子法（GADMM），在矩阵 ${\boldsymbol{B}}$ 不是单位阵的情况下，要求其列满秩，通过假设增广拉格朗日函数满足K-L不等式，证明了当惩罚参数大于一定的阈值时，算法生成的序列收敛到增广拉格朗日函数的稳定点。