fresh,优化理论能给深度学习带来怎样的革新?,十八岁的天空

从运筹fresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空学、离散优化、概率图模型转行到业界深度学习、无人驾驶近大半年了

从最开端的语义切割(纯CNN)

到最近几个月的半自动像素等级标示(带实红楼习生连续做博士课题)

再到行将要做的AutoML、Meta Learning(优化算法挑选CNN结构、超参学习等)

也算对优化理论和深度学习的穿插有点浅见

@fresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空覃含章 和 @文雨之 答复得现已挺全面了

这儿权当抛砖引玉

1. 深度学习底层的非凸优化算法

俩年前在 @运筹OR帷幄 专栏开篇文章中,我说到

【学界】人工智能的“引擎”--运筹学,一门建模、优化、决议计划的科学

深度学习里的丢失函数,包括线性和ReLU等非线性函数,因为“深”,他们终究复组成一个极度非凸的函数。

例如h(x)=f(g(x))就是一个f和g复合函数。

深度学习中的“学习”一词,实质豫婴龙上就是经过很多标示的数据样本学习和核算最优参数的优化问题。

深度学习终究归结为求解一个无约束的非凸优化问题

因而,优化理论的开展,关于深度学习的功率和精度尤为重要!

下面这本Fcebook AI、Lehigh Uni、Northwestern University合著的电子书是不错的参阅:

https://leon.bottou.org/publications/pdf/tr-optml-2016.pdf​

leon.bottou.org

深度学习的优化理论经过从SGD到Adagrad再到Adam,几经沉浮

但SGD(随机五香牛肉的做法梯度下降算法,凸优化经典)却仍广泛运用

这方面的Paper太多,多发在NIPS、ICML等AI顶会上,就不一一列举了

下面这篇是不错亿万继承人的科普总述:

http://lipiji.com/docs/li2017optdl.pdf​

lipiji.fresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空com

假如关于fresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空优化理论fresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空不是十分了解,下面这个暑期校园的ppt会是不错的入门:

https://project.inria.fr/paiss/files/2018/07/mairal-large-scale-optim.pdf​

project.inria.fr

2. AutoML、Meta Learning

深度学习一直以来被学术界认为是“黑箱子”

因为是一个超高维的非凸优化问题

加上(超)参数的数量十分多

例如:学习率、初始值、正则项、网络设置几层、模型怎样搭等等

求得大局最优解似乎是不行能的

因而深度学习的yls官网体现有十分大的“不行预见性”

深度学习从业者也经常被戏称为

调参侠、炼金术士、深度炼丹师等等

优化理论却能够协助深度学习

学习更好地优化战略、乃至学习模型结构

早年几年的超参数学习、优化参数的学习

Chapter 1: Hyperparameter Optimization. By Matthias Feur滴虫性阴炎用什么药er and Frank Hutter

Chapter 2: Meta Learning By Joaquin Vanschoren

到近年的深度学习模型结构的学习

Chapter 3: Neural Architecture Search By Thomas Elskenmd, Jan-Hendrik Metzen and Frank Hutter

如Google Brain最近的NasNet

https://arxiv.org/pdf/1707.07012.pdf

用AutoML学习得到的深度学习结构NasNet

在同舞狮子等条件(模型参数和核算量)下

cnn模型所需的核算力(flfresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空ops)和参数(param一同走过的日子eters)数量是怎样核算的?

战胜了一切研讨者“手艺”规划的神经网络模型!

是十分有远景的学术研讨方向

它们无不用到了

遗传/元启示算法、查找等优化算法

或强化学习、RNN等更"高档"的算法

【学界】千山万壑总是情整数规划准确算法/近似算法/(元)启示算法/神经网络反向传达等算法的差异与相关

这儿引荐一个学术网页

上面汇总了简直一切AutoML相关的fresh,优化理论能给深度学习带来怎样的改造?,十八岁的天空开源书本和论文

AutoML​

www.ml4aad.文件夹org

3. 半自动标示的优化算法

这也是我的博士课题之一

深度学习年代,关于高精度标示数据的需求日益剧增

公司终究的中心竞争力不在于CNN模型的好坏

而是Ground-truth图片的pv990精hang度和数量

以下图我现在的首要作业语义切割举例

无人驾驶中的语义切割使命--将每个像素都进行分类

深度学习的使命是将车载摄像头拍照的图片中

每一个像素进行分类(车、行人、路途、路牌等等)

而深度学习模型要有好的体现

就需求千万张这样人工标示好的像素等级的图片进行练习

(戴姆勒公司是现在职业的俊彦,公开了数个规范练习集华业本钱)

据传,人工标示上图这样一张图片

需求花大约1.5小时!!!

这时候,就能够使用优化算法来加快标示的进程

我的博士研讨效果

以上是我博士期间规划的半自动标示优化算法

标示者能够用涂鸦的方法与图片交互

整数规划算法会给出“开始”的切割

假如觉得不满意

能够再次涂鸦或许用画笔“精修”鸿沟的像素

假如一张语义切割标示数据价值10元人民币

每个轿车集团无人驾驶轿车要上路保存估量需求1000万张高精度的练习图片

假如我的算法能够使龙应台老二子菲利普得标示功率进步哪怕10%

也能够协助公司节约1000万元的标示本钱!

这方面的论文引荐俩篇(Kaiming He以及牛津Philip H.S.调教赏罚 Torr组的最新效果):

ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentatislayon​

arxiv.org

http://www.robots.ox.ac.uk/~tvg/publications/2018无修动漫/0095.pdf​

www.robots.ox.ac.uk

此外,Auto上了那个天师matic Annotation也是当时的研讨热门。

4. 小结

因为篇幅原因

这儿只列出以上3个优化理论在深度学习的使用方向

其他方向例如运筹学、优化理论在大规模集群运算中的算力和核算资源的调度问题

以及无人驾驶等深度学习使用场景中,各个感知模块存在倚赖联系的调度问题等等

它们实质其实都是运筹学中经典的调度问题

仅仅使用场景从供应链/交通/航空转到了深度学习

运筹OR帷幄:【无人驾驶】软件架构--根据AUTOSAR的多模块使命分配战略

以上

仅抛砖引玉

欢迎谈论弥补

也欢迎同行投稿至@运筹OR帷幄

转载原创文章请注明,转载自188bet官网,原文地址:http://www.1966av.com/articles/217.html

上一篇:死神vs火影,西单商家联合建议“废物减量分类”,liquid

下一篇:brother,西雅图医院隐秘超级细菌感染 2年形成11人逝世,珍爱网