关注微信公众号
下载APP

您是个人用户,您可以认领企业号

基石小伙伴 | 商汤科技研究院关于深度学习的论文已被顶级会议ICLR录用

4110
基石资本 2019-02-08 07:28 抢发第一评

近日,商汤科技研究院发表的论文《随机神经网络结构搜索》(SNAS,Stochastic Neural Architecture Search),已被深度学习顶级会议ICLR(International Conference Of Learning Representation)录用。

该论文提出了一种全新的经济、高效且自动化程度高的神经网络结构搜索NAS)方法,受到深度学习学术领域的广泛关注。

NAS是自动机器学习(AutoML)中的热点问题之一,通过设计经济高效的搜索方法,自动获得泛化能力强、硬件友好的神经网络结构,可以大量降低研发成本,解放研究员的创造力。

在经典的NAS方法中,逐层搭建神经网络的过程被建模成一个强化学习(Reinforcement Learning)智能体的马尔可夫决策过程(MDP ,Markov Decision Process)。

商汤科技研究团队通过深入分析NAS任务的MDP,回答了上述问题,并提出了一个更高效的方法——随机神经网络结构搜索,重新建模了NAS问题。与基于强化学习的方法(ENAS)相比,SNAS的搜索优化可微分,搜索效率更高。

与其他可微分的方法(DARTS)相比,SNAS直接优化NAS任务的目标函数,搜索结果偏差更小。此外,基于SNAS保持了随机性(Stochasticity)的优势,该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望,自动生成硬件友好的稀疏网络。

此外,商汤科技去年于CVPR发表Oral论文《深度增强学习自动网络结构设计》,提出了一种高效算法,通过强化学习来自动设计最优的网络结构。随着商汤科技通用基础算法的发展,在将来,SNAS可以解决更多特定数据和特殊的硬件应用场景的神经网络结构自动定制化需求。

点此阅读完整论文解读

所属栏目: 融资并购
声明:该文章版权归原作者所有,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本网联系。
喜欢这篇
评论一下
评论
登录后发表评论
×

Tel:18514777506

关注微信公众号

下载APP