有资源网yoqq.cn
 
 
查看: 3314|回复: 0

一个可以或许办理退化二次优化题目的神经网络框架

[复制链接]

该用户从未签到

262

主题

262

帖子

31

积分

新手上路

Rank: 1

积分
31
发表于 2020-5-15 13:01:41 | 显示全部楼层 |阅读模式
思量以下DCQP题目
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(1)
此中Q∈Rn×n是对称半正定矩阵,b∈Rm, E∈Rl×n, f∈Rl, x∈Rn(优化变量),秩(A) = m (0 < m < n)。
众所周知,二次优化题目出如今各种科学和工程应用中,包罗回归分析、信号处置惩罚、模式辨认、静态图像处置惩罚、参数估计、滤波器计划、呆板人控制、组合优化。在很多及时应用中,这些优化题目具偶然变特性,因此必须及时办理。对于如许的及时应用,传统的数值优化算法大概对数字盘算机无效,由于办理方案所需的盘算时间在很大水平上取决于题目的维数、布局和所利用算法的复杂性。使用基于电路实现的人工神经网络来处置惩罚这些高维、麋集布局的优化题目是一种很有前程的方法。
神经网络优化方案的重要头脑是创建一个能量函数(非负)和一个动态体系,它是一个人工神经网络的表现。动态体系通常接纳一阶常微分方程的情势。预计对于一个初始点,动态体系将靠近其静态(或均衡点),这对应于底层优化题目的解。一个紧张的要求是,当动态体系靠近均衡点时,能量函数单调递减。神经网络优化方法的重要长处是动态求解过程本质上是并行和分布式的。因此,神经网络方法可以在运行时间上以数目级办理优化题目,比在通用数字盘算机上实行的最盛行的优化算法快得多。别的,一些神经网络在理论上和实现上都比其他神经网络有更好的性能。
用于优化题目的神经网络是在20世纪80年代由Tank和Hopfield初次引入的。今后,神经网络被研究用于各种优化题目,包罗线性规划和二次规划、非线性规划、变分不等式和线性和非线性互补题目,特殊是这些模子中的很多可以用于求解优化题目或其特别环境。
此中,Kennedy和Chua提出了一种原始神经网络,将梯度法和罚函数法联合起来求解线性规划和二次规划题目。由于Kennedy和Chua的模子包罗一个罚参数,其能量函数可以看作是一个不准确的罚函数,它只产生近似解,且在罚参数较大时存在实现题目。为了降服处罚参数,夏博波研究了求解线性和二次规划的原-对偶神经网络及其对偶题目。为了办理经济学和交通科学范畴出现的平衡模子,Friesz等人提出了一种全局投影动态体系,可以看作是一种得当于硬件实现的神经网络模子。然而,该体系在单调和对称映射下的渐近稳固性不能得到包管。因此,本体系无法办理DCQP。Tao等人提出了一种神经网络来办理这个题目:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(2)
A0m×m是一个对称半正定矩阵,D 是一个n×m矩阵,封闭的凸集。
但是,它在有限时间内也没有被证实是收敛的。之后,为了降服有限时间收敛和指数收敛,Xia等人提出了一种递归神经网络来求解严酷的凸二次优化题目。研究效果表明,该神经网络具有有限时间收敛性和指数收敛性,并具有一样平常线性束缚的严酷凸二次优化的唯一最优解。但它不能用于求解DCQP,此中Q∈Rn×n只是一个对称的半正定矩阵。薛和边思量了以下二次优化题目:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(3)
此中Q∈Rn×n是对称半正定矩阵,B∈Rm×n, b1, b2∈Rm, d0, h0∈Rn, c∈Rn。作者开辟了一个用于求解的项目神经网络(7) -(8),具有完全收敛性和有限时间收敛性。但是,该模子的布局比力复杂,可以进一步简化。Effati和Nazemi使用NCP函数和梯度法,创建了求解线性规划和二次规划题目的神经网络模子。研究表明,该模子具有李雅普诺夫稳固性、渐近稳固性和指数稳固性,但该模子神经元较多,盘算量大,收敛条件较强。Forti等人思量轨迹收敛的一类神经网络旨在办理线性和凸二次规划题目。重要效果是所研究的网络的每个轨迹在有限时间内收敛于一个属于束缚临界点集的单例。然而,二次题目仅具有仿射束缚,其可行域是一个有界闭凸多面体,且内部非空。
近来,一种投影神经网络框架被提出来办理非单调线性变分不等式及相干的非凸二次规划题目。然而,投影模子比力复杂,非凸二次题目假设有唯一的最优解,而DCQP的最优解可以是由全部最优解构成的聚集。在已往的两年中,提出了一些神经网络模子来办理DCQP题目。我们可以看到这些模子的一些缺点。比方,这些模子基于差别的投影函数。可以显着看出,这些投影具有很高的复杂性,因此盘算复杂度也很高。因此,相干模子的布局是复杂的。我们提供的模子是简朴易懂的。因此,在上述分析的底子上,提出一种布局简朴、具有精良稳固性和收敛性的求解DCQP题目的高效神经网络黑白常须要和故意义的
在上述讨论的底子上,本文研究了求解题目(1)-(2)的神经网络模子。基于鞍点定理,证明白网络模子的均衡点等价于原题目的Karush Kuhn Tucker (KKT)点。分析了该神经网络均衡点的存在性和唯一性。通过构造一个符合的李雅普诺夫函数,得到了神经网络唯一均衡点在李雅普诺夫意义下全局稳固的充实条件。由于Q是对称正定矩阵的情况在从前的很多论文中都有思量,以是我们只研究退化二次规划。与现有的求解严酷凸二次规划的神经网络相比,所提出的求解DCQP的模子具有更广阔的实现范畴。
神经网络模子
在本节中,我们利用尺度优化技能,将(1)-(2)转化为非线性动力体系。起首,我们引入了一些符号,两个紧张的定理和一个关于(1)-(2)最优性条件的引理。在本文中,Rn表现n维实列向量的空间,T表现转置。
定理2.1x∈Rn是(1)-(2)的最优解当且仅当u∈Rm和v∈Rl存在时,使得(x T,u T,vT)T满意以下KKT体系:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(4)
x被称为(1)-(2)的KKT点,(uT, vT)T被称为与x相对应的拉格朗日乘子向量。
定理2.2 x是(1)-(2)的最优解当且仅当x是一个(1)-(2)的KKT点。
引理2.3(u + Ax  b)+ = u当且仅当                                               ,此中,
证实If (u + Ax - b)+ = u,则u = 0或u > 0。我们有以下几种环境:
I)假如u = 0,则(u + Ax - b)+ = (Ax - b)+ = 0;因此,Axb≤0和uT (Axb) = 0。
II)假如u > 0,则(u+ Ax - b)+ = u+ Ax - b = u;因此,Ax - b = 0, uT (Ax - b) = 0。
设x(.) u(.) v(.)为时间因变量。目标是创建一个一连时间的动力体系,以办理题目的关键(1)-(2)。我们提出了一个神经网络
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(5)
此中:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(6)
为简朴起见,我们让τ= 1。图1给出了如安在硬件上实现神经网络(11)和(12)的指示。
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(7)
为了相识所发起的神经网络(11)和(12)应用于求解DCQP题目的结果,我们将其与现有的一些神经网络模子举行了比力。起首,让我们思量以下题目:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(8)
此中= {x∈Rn, li≤xi≤hi,对于i = 1,2,…, n},一些hi (or - l j)可以是+∞和Ax - b∈Rm。在其他文献中,求解(14)和(15)的Friesz投影神经网络为
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(9)
Rn是一个封闭的凸集和P: Rn→界说的投影算符
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(10)
众所周知,单调和对称映射的动态模子(16)和(17)的渐近稳固性不能包管。因此,Friesz等人形貌的体系不能办理Q为正半正定矩阵的题目(14)和(15)。
在Q为正定矩阵的条件下,使用拉格朗日网络模子求解(1)- (2)
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(11)
初始点(xT0, uT0,vT0) T和 uk (t0) > 0 (k = 1,…,m)。证明白神经网络(18)-(20)的全局收敛性。然而,该模子不能办理一些凸优化题目。
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(12)
此中是一个处罚参数。由于罚参数的有限性,该模子无法找到准确的最优解,且在罚参数很大的环境下难以实现。因此,对于恣意给定的有限罚参数,该网络只收敛到(1)-(2)的近似解。也可以看出,神经网络(21)并不是全局收敛于DCQP题目的准确最优解。
与上述模子相比,(11)和(12)中的神经网络全局收敛于(1)-(2)的准确最优解。
稳固性和收敛性分析
定理3.1让y= (xT, uT, vT)是神经网络(11)和(12)的均衡点。那么x就是题目(1)-(2)的KKT点。另一方面,假如x∈Rn是题目(1)-(2)的一个最优解,那么就存在u∈Rm和v表现表现y= (xT, uT, vT)T是网络(11)和(12)的一个均衡点。
证实:假设yT = (xT, uT, vT)是(11)和(12)的均衡点。然后dx/dt= 0, du/dt= 0和dv/dt= 0。很轻易得出结论:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(13)
从引理2.3,(u + Ax)+ = u当且仅当
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(14)
将(23)代入(22)得到
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(15)
从(24)-(26)可以看出y= (xT, uT, v*T)T满意KKT条件(10)。
反过来也很简朴。
引理3.2雅可比矩阵φ(y)中界说的映射φ(13)是一种半负定矩阵。
证实:不失一样平常性,假设存在如许的0 < p < m,以至于
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(16)
通过一个简朴的盘算,可以清晰地看出
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(17)
此中O表现零矩阵,
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(18)
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(19)
可以看出(Ap)T Ap是一个正半正定矩阵。矩阵Q也被假定为正半定的。而且,矩阵Wm×m是负半定的。从所述观察,我们可以推出,雅可比矩阵φ(y)是一种半负定矩阵。
假如p = m,即(u+ Ax - b)+ = (u + Ax - b)1, (u + Ax - b)2,…(u + Ax - b)m)T,那么
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(20)
雷同于前面的环境下,它很轻易证实φ(y)是一种半负定矩阵。
终极,假如
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(21)
那么我们得到:
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(22)
在这种环境下也很轻易验证φ(y)是一种半负定矩阵。这就完成了证实。
优化-免费yoqq一个可以或许办理退化二次优化题目的神经网络框架yoqq资源(23)
参考文献:
A Capable Neural Network Framework for Solving Degenerate Quadratic Optimization Problems with an Application in Image Fusion










您现在利用的是【试用版】,许多功能受到限定!!假如试用此插件之后满足,对您产生了资助,请购买正式版支持一下辛劳的开辟者,插件的连续发展离不开正式版用户的支持,良好的应用得益于您的捐助,点击下面的链接去Discuz官方应用中央购买正式版永世授权


https://addon.dismall.com/?@csdn123com_todaynews.plugin
正式版后续更新升级免费,一次购买,终身利用!

有资源网- 版权声明 1、本主题所有言论和图片纯属会员个人意见,与有资源网立场无关。
2、本站所有主题由该帖子作者发表,该帖子作者有资源网享有帖子相关版权。
3、有资源网管理员和版主有权不事先通知发贴者而删除本文。
4、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者 有资源网的同意。
有资源网是一个网络技术交流、游戏交流、娱乐休闲的温馨家园.提供网络最新it资讯、热门电影电视剧、破解软件工具下载_技术和娱乐性的综合型大论坛论资源网
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

快速回复 返回顶部 返回列表