|
AI科技评论按：深度学习领域最知名的学者之一 Yann LeCun 今日在自己facebook 上发表的一篇短文，瞬间引爆了人工智能关注者们的朋友圈。这条动态讲的是什么呢？为何会引起如此轩然大波？
LeCun的Facebook截图
我们常常提到的深度学习是全部深度学习算法的总称，卷积神经网络是深度学习算法在图像处理领域的一个应用。而 Yann LeCun 就是卷积神经网络的发明者，也被称之为「卷积神经网络之父」。卷积神经网络的出现对人工智能发展的重要性不必多说。而这次 Yann LeCun 的推文传播如此之快，是不是有比「卷积神经网络」更重大的学术成果出来了？为了使国内读者了解到推文内容，AI 科技评论对推文进行了编译。
首先开头是一句极具有标题党风格的英法混合语：
Deep Learning est mort. Vive Differentiable Programming!
翻译成中文就是：深度学习已死，可微分编程万岁！
为何突出此言？深度学习算法是人工智能多个领域的底层框架，怎么就死了呢？接着往下看发现 LeCun 说的是「深度学习」这个词已死，该有新的名词来替代它了。
LeCun 提到的新词是「可微分编程」。
他在推文中解释道
「可微分编程」不过是把现代深度学习技术重新换了个叫法，这就跟当年神经网络还只有两个以上隐藏层时就被称为「深度学习」差不多。对于现代深度学习技术，「深度学习」这个词已经不够用了。
他又写道：
但重点的是，人们现在正通过组装参数化功能模块网络，构建一种新软件，并用某种基于梯度优化的方法来训练它们。
越来越多的人正在以一种依赖于数据的方式（循环和条件）来程序化定义网络，让它们随着输入数据的动态变化而变化。这与普通的程序非常类似，除了前者是参数化的、可以自动可微分，并且可以训练和优化。动态网络变得越来越流行（尤其是对于 NLP），这要归功于 PyTorch 和 Chainer 等深度学习框架（注意：早在 1994 年，深度学习框架 Lush，就能处理一种称为 Graph Transformer Networks 的特殊动态网络，用于文本识别）。
现在人们正在积极研究开发命令式可微分编程语言编译器，这对开发基于学习的 AI（learning-based AI）来说是一条非常令人兴奋的途径。
最后，LeCun 还特别强调将「深度学习」改名为「可微分编程」还不够，还需要其他的概念，比如「预测性学习」应该改为「Imputative Learning」。他说稍后会谈更多......
让我们一起来关注 LeCun 的最新动态吧！ | 
收藏