创头条App
扫码下载APP
扫码下载APP

您是个人用户,您可以认领企业号

    免密码登录
  • 图形验证码
  • 获取验证码
  • 立即登录
第三方账号登录
·
·

Hello,新朋友

在发表评论的时候你至少需要一个响亮的昵称

GO
资讯 > 融资并购 > 德国普马研究所发布DEEPOBS:深度学习优化器基准套件
分享到

德国普马研究所发布DEEPOBS:深度学习优化器基准套件

时间:03-23 15:02 阅读:3952次 转载来源:将门创投

将门2019年度创新峰会

快来报名呀!

戳图了解详情~

from: ICRL2019  编译:T.R

优化方法是深度学习的重要组成部分,可以说没有好的优化器就没有今天深度学习蓬勃发展的大好局面。但和深度学习框架、模型和各领域的应用研究相比,优化方法的研究不太活跃,这主要是由于这一领域缺乏统一的评价流程的基准,研究缺乏公认的、定量的、可重复、可泛化的指标。

为了解决这一问题,来自德国马克斯·普朗克图宾根研究所的科学家们提出了一套用于评价深度学习优化器的python基准套件DEEPOBS,可自动化地定量评测深度学习优化方法,并包含了开箱即用的工具,包括了在ImageNet和字符识别等数据集上的优化问题评测。

这一工具包不仅能够为优化方法提供常用优化器的实际测试基准,保证了算法测评时的公平性,同时还能生成Latex代码直接用于学术论文的撰写,大幅提高了优化领域研究人员测试算法的效率。

目前的优化方法主要集中于SGD、动量法、Adam等方法,二阶和自动化优化方法的研究相对较少,同时目前的很多相关研究都面临着优化算法在实际中不容易复现,如果不是用流行的框架实现,很多研究没办法受到大家的关注;此外另一个重要的问题在于,这些新方法与基本的优化方法相比并没有一个公认的优化流程,人们不知道在那种情况下哪个方法是最好的选择。这一研究领域曾出现了如DAWNBench、MLPerf、Deep Learning Frameworks (Comparison)、DLBS、DLBS、Fathom、TBD等评价基准,但他们大都集中于硬件或者软件方面的指标评测、或是架构与训练过程的评测。在优化研究领域目前还没有较好的测评标准。但设计一个统一的优化方法标准并不是一件容易的事情,这一领域存在着以下几个特殊问题:泛化性,优化算法是在训练集上工作的,但很多时候研究人员在意的是测试集上的结果,甚至有时损失函数与人们期待的模型也大相径庭。那么在评价优化器的时候需要用哪个指标呢?是优化器工作的训练集损失还是测试集损失,或者人类关注的测试精度呢?随机性,优化算法在工作时面对的是数据集的子集batch,这其中引入的随机性使得单次优化过程的结果并不稳定。此外,优化算法中的超参数(像学习率、权重衰减等)也会引入随机性,那么优化器到底应不应该使用超参数呢?真实情况公平比较,研究人员们广泛认为MNIST和CIFAR-10数据集对于测试当今的大规模架构过于简单了。为新架构准备合适的数据集十分耗时耗力,也让研究人员无法专注于问题本身,即使有这样的数据集,也无法保证公平的比较各种优化算法!我们无法避免对于自己提出的算法做尽力的优化,而其他的算法只是拿过来跑分得到结果,或者我们只是尽力让算法看起来表现很好,这样的比较没有一个统一的基准。

为了解决这些优化研究领域存在的问题,研究人员们提出了本文中提出了优化基准测试工具包,在以下三个方面给出了解决方案:为基准随机优化器提出了一套测试标准:针对优化器的特点研究人员提出了最终表现、优化速度和可调性等三个表现指标,并建议在实际测量中用多次均值代替单次测量。同时,需要同时考虑训练和测试集中的损失和精度,四条曲线才能更完整的描述优化器的全貌;DEEPOBS:利用tensorflow实现了一套自动化的深度学习基准套件,提供了包括图像和语音等四个领域20个开箱即用的测试问题,每个模块都具有可拓展性研究人员可根据自身需要修改。测试的问题涵盖了随机二维函数到复杂的现代深度学习系统。只需要使用pip就可以安装。工具包含了数据集自动化下载、模型设置,测评结束后还能生成LATEX代码,方便的嵌入论文中。这一自动化过程不仅节省时间,更能帮助研究人员得到可复现、可比较和可解释的结果;常见优化器的测试基准:这一工作中还包含了四个简单和四个复杂的优化问题作为基准,研究人员可以再简单问题集上迅速设计算法,并在复杂集上检验和精调算法,基于这样的工作流程减小了过拟合的危险。工具包中包含的SGD,SGD+Momentum和Adam算法的基准表现,研究人员进行了合理的可穷尽的超参数搜索后得到了基准结果,便于各种新算法与基准算法进行比较,研究人员就无需在开发新算法的同时费力的计算基准指标了。 这一工具包主要分为五个主要部分,分别是数据载入模块、模型载入模块,核心的评测执行器模块,基准模块和最后的可视化模块。

下图展示了工具包中包含的多个测试问题,涵盖了图像分类、生成模型、NLP等方面。

最后研究人员还展示了在几个问题上不同优化器的表现学习率的敏感情况。

希望这一工具包可以为优化算法领域的研究人员提供清晰的基准,并推动优化方法的快速发展。

pic from:

https://dribbble.com/shots/4220024-Optimizing-for-Human

https://dribbble.com/shots/3259264-Speed-Optimization-Concept-Vector-illustration

-The End-

将门是一家以技术创新为切入口的早期创新发掘机构,旗下设有将门创新服务、将门技术社群以及将门投资基金。

将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。

将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。

将门投资基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在两年的时间里,将门投资基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”: bp@thejiangmen.com

    

点击右上角,把文章分享到朋友圈
 

将门创投

让创新获得认可!

微信:thejiangmen

bp@thejiangmen.com

声明:本文由将门创投企业号发布,依据企业号用户协议,该企业号为文章的真实性和准确性负责。创头条作为品牌传播平台,只为传播效果负责,在文章不存在违反法律规定的情况下,不继续承担甄别文章内容和观点的义务。

评论

未登录的游客
游客

将门创投
将门创投
关注企业号
0
分享次数
0

将门创投是一家专注于发掘、加速和投资技术驱动型创业公司的创业服务及投资机构,投资通过技术创新激活商业场景,实现商业价值的初创企业。关注领域包括机器智能、物联网、自然人机交互、企业计算。

TA的其他文章

    为您推荐
  • 推荐
  • 人物
  • 专题
  • 干货
  • 地方
  • 行业
+加载更多资讯

阅读下一篇

B站与索尼旗下Funimation达成战略合作 深化动画领域竞争力

B站与索尼旗下Funimation达成战略合作 深化动画领域竞争力

返回创头条首页

©2015 创头条版权所有ICP许可证书京ICP备15013664号RSS