有资源网yoqq.cn
 
 
查看: 6807|回复: 0

NeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...

[复制链接]

该用户从未签到

319

主题

319

帖子

10

积分

新手上路

Rank: 1

积分
10
发表于 2019-12-13 07:54:37 | 显示全部楼层 |阅读模式
    NeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经网络呆板之心发布

    机器之心编辑部

    克日,NeurIPS 2019 近日在加拿大温哥华召开。腾讯 AI Lab 共 14 篇论文入选,位居国内企业前线。这也是腾讯 AI Lab 第四次到场 NeurIPS,集会期间,我们选取了一篇来自腾讯 AI Lab 的良好论文举行解读。

    在这篇由腾讯 AI Lab 主导,和华南理工大学互助完成的论文中,作者使用强化学习的方法学习了一种神经网络布局转换器。它能对恣意的神经网络结构进行优化,将其转换为更紧凑、辨认精度更高的结构。以下为论文的具体解读。

    NAT: Neural Architecture Transformer for Accurate and Compact Architectures

    论文链接:https://papers.nips.cc/paper/836 ... t-architectures.pdf

    现有的深度神经网络结构要么是人工计划的,要么是通过神经网络结构搜刮 (NAS) 方法主动搜索得到的。然而,这些网络结构大概包罗很多冗余的盘算操纵,存在可优化的空间。为了实现网络结构的优化,作者提出了一个神经网络结构转换器(Neural Architecture Transformer,简称为 NAT)的方法。该方法可以用计算复杂度更低的计算操作取代网络结构中冗余的操作,从而实现性能进步的同时,包管不会引入额外的参数和计算量。

    神经网络中的计算操作可以分为三类,即 S, N, O。此中,S 表现跳跃毗连,N 表示为空连接(即两个节点之间没有连接),O 表示除了跳跃连接和空连接之外的别的操作(如:卷积、池化操作等)。显然,这三者计算量的巨细次序为:O>S>N。为了低落网络结构的计算复杂度,我们盼望所学到的 NAT 用计算量更少的操作来代替原网络结构中的冗余操作。因此,NAT 遵照以下的转换规则:OàS, OàN, SàN。由于跳跃连接每每有助于提拔模子的性能而且其引入的计算量非常少,因此 NAT 也答应 NàS。总之,NAT 的转换方案如下图所示。


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(1)

    详细来讲,对于任意一个服从分布p(·)的网络结构β,NAT 的目的为寻求找到,仅仅通过上述所允许的操作变革得到的,最优的结构α。这个优化题目可以写成:


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(2)

    其中:

    R(α│β)=R(α,w_α )-R(β,w_β ),R(α,w_α ) 表示最优参数为 w_α的网络结构α在验证聚集上的性能;c(α)≤κ 是所得到的模型的计算开销的一个束缚。

    然而,直接得到最优的结构α是很困难的。因此,NAT 起首学习一个计谋


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(3)

    ,然后从学到的策略中采样α,即α服从


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(4)

    。为了学习策略π,我们办理以下优化问题:


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(5)

    为相识决该优化问题,作者接纳了强化学习方法中的策略梯度方法。为此,必要构造一个符合的策略函数。由于网络结构β可以用 (X,A) 表示(其中 A 为毗邻矩阵,X 为节点特性),来表示,作者在这里的策略π(α|β,θ) 采用了两层的图卷积神经网络(GCN),即:


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(6)

    其中,


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(7)

    别的文章采用了参数共享的方法来制止重新练习每个结构的参数。总体看来,优化思绪就是对下面两步进行迭代优化:

    1、更新神经网络参数 w,(利用了参数共享的头脑):


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(8)

    2、更新θ,(利用最大熵鼓励探索):


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(9)

    其中第 2 步的流程表示图如下所示:


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(10)

    为了验证 NAT 的有用性,作者将 NAT 应用于人工设计的结构(如:VGG、ResNet、MobileNet)和 NAS 得到的结构(如:ENAS、DARTS、NAONet)。效果分别见表 1 和表 2 所示。


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(11)

    表 1. NAT 在人工设计的网络结构上的优化结果。


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(12)

    表 2. NAT 在 NAS 方法所得的网络结构上的优化结果。

    从表 1 和表 2,可以观察到,在 ImageNet 数据集上,颠末 NAT 优化后的模型都比原来的基准模型,在计算复杂度相近乃至更低的环境下,获得了更高的识别精度。

    下面,对 NAT 优化后的模型结构进行可视化。图 1 和图 2 分别给出了 NAT 在人工和 NAS 所设计的网络结构上的优化结果。


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(13)

    图 1. NAT 在人工设计的网络结构上的优化结果。

    如图 1 所示,对于人工设计的网络结构,NAT 引入额外的跳跃连接来提高识别精度。


优化-免费yoqqNeurIPS 2019|自动优化架构,这个算法能帮工程师设计神经...yoqq资源(14)

    图 2. NAT 在 NAS 设计的网络结构上的优化结果。

    从图 2 可以观察到,对于 NAS 方法得到的网络结构,NAT 通过利用跳跃连接更换冗余操作大概直接删除连接的方法来降低计算量。

    此外,作者还对比了差别的策略函数,发现 GCN 优于传统的 LSTM 模型。总之,这项研究对自动化机器学习、网络结构设计,深度学习模型性能优化等诸多现实机器学习问题有紧张的引导意义。


有资源网- 版权声明 1、本主题所有言论和图片纯属会员个人意见,与有资源网立场无关。
2、本站所有主题由该帖子作者发表,该帖子作者有资源网享有帖子相关版权。
3、有资源网管理员和版主有权不事先通知发贴者而删除本文。
4、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者 有资源网的同意。
有资源网是一个网络技术交流、游戏交流、娱乐休闲的温馨家园.提供网络最新it资讯、热门电影电视剧、破解软件工具下载_技术和娱乐性的综合型大论坛论资源网
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

快速回复 返回顶部 返回列表