揭秘深度学习成功的数学原因:从全局最优性到学习表征不变性

  • 时间:
  • 浏览:2

1. 引言

论文:Mathematics of Deep Learning

近年来,角度学习大获成功,尤其是卷积神经网络(CNN)在图像识别任务上的突出表现。然而,或者 黑箱的存在,一种成功一度让机器学习理论学家颇感不解。本文的目的正是要揭示角度学习成功的奥秘。通过围绕着角度学习的五个核心帕累托图——架构、正则化技术和优化算法,并回顾近期研究,作者为角度网络的若干属性,如全局最优性、几何稳定性、学习表征不变性,提供了一五个数学证明。

论文链接:https://arxiv.org/abs/1712.04741

摘要:近期角度架构用于表征学习和分类随后,识别系统的性能获得了巨大提升。然而,一种成功的数学意味着 依然不得而知。本文将回顾近期研究,为角度网络的若干属性,如全局最优性、几何稳定性、学习表征不变性,提供一五个数学证明。

角度网络 [1] 是在输入数据