BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

特斯拉AI主管说深度学习是软件2.0,第二天他就被人怼了

| 作者 陈利鑫 关注 1 他的粉丝 发布于 2017年11月17日. 估计阅读时间: 7 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

“有时候,我会听见有些人仅把神经网络视为机器学习的工具。但是我并不认同这个观点。“双十一”当天,特斯拉 AI 主管 Andrej Karpathy 在一篇文章中发表了他的观点。他认为深度学习是软件 2.0,然而第二天,他在文章中关于深度学习的看法就被人怼了。提出反对观点的人为 Carlos E. Perez,曾著有《Deep Learning AI Playbook》一书。

Andrej Karpathy 曾在 OpenAI 公司(计算机视觉深度学习、生成建模和强化学习研究)担任研究员,获得多伦多大学计算机科学与物理双学位,斯坦福大学计算机科学专业博士学位。博士在读期间,他曾在谷歌实习,学习 YouTube 视频大规模特征,并在 DeepMind 进行深度强化学习。他还与李飞飞合作研究卷积/回归神经网络架构及其在计算机视觉、自然语言处理以及两者重叠领域的应用,并在斯坦福大学首开深度学习课程——视觉识别的卷积神经网络 (CS231n)。此外, Andrej 还用脚本语言创办深度学习图书馆 arxiv-sanity.com,用户可在该网站查到近三年来关于深度学习的 30000 多篇论文。

软件 2.0

在他看来,神经网络不仅是一个分类器,更意味着编程基础开始发生变化。神经网络有滋生的优势和缺点,应用范围广泛,甚至有时候还能凭此赢得 Kaggle 大赛的胜利。这就是软件 2.0。

大家所熟知的 软件 1.0,是程序员通过  Python, C++ 等编程程序指令组成,每一行代码赋予程序特定的功能。

而软件 2.0 与软件 1.0 不同,前者是通过神经网络权值进行编程。

Karpathy 表示,软件 2.0 的应用范围广泛,在视觉识别、语音识别、语音合成、机器翻译、机器人、游戏中的应用,将展现其不同于软件 1.0 的优势。

例如,软件 2.0 在机器学习方面的应用。以前,视觉识别由设定程序和一些机器学习组成。此后,机器学习发展成能够发现具有更强大图像分析功能的程序,最近机器学习已经能够完成在架构内搜索了。

软件 2.0 在机器翻译方面的应用也快速发展。机器翻译通常通过以词组为基础的数据技术实现,但神经网络很快将成为主流。比如,架构可以设定为弱指导(或完全无监管)多语言,一个模型就可以搞定所有语言翻译。

软件 2.0 不会替代软件 1.0(事实上,训练和推理编辑 2.0 代码需要大量 1.0 架构),但是会逐渐蚕食软件 1.0 目前所应用的领域。

然而,Carlos E. Perez 却对他提出的软件 2.0 存在的一些优势并不认同,认为 Andrej  的文章缺乏支持性的观点,有些他提到的优势并不能判断其真实性。

同态计算在计算上等同)

神经网络的最典型特征,就是通过矩阵乘法(matrix multiplication )和线性整流函数(ReLU)进行操作,而传统软件与之相比更有异质性、更复杂。

对此,反对的观点则认为,这种观点虽然有趣,但却是不成立的。虽然神经网络看起来是均匀计算,但这是因为其仍处于早期发展阶段。多样化将朝着专业化和模块化的方向发展,这是自然发展的规律。以大脑为例,我们的大脑是非同态的,因为大脑由不同的若干部分和多种神经网络组成。

更易烧录

在 Karpathy 看来,因为神经网络的指令集更加简短,因此会更加方便地传到专用集成电路、神经形态芯片等组件上。

但 Carlos E. Perez 认为这不现实。硬件是机器学习的关键组成部分,但这个领域变化太快,这也是可编程 GPU 比专用集成电路价值更大的原因。

持续运行

典型的神经网络每一次传输都会花费等量的每秒浮点计算。基于不同的执行路径,代码可以通过一些庞大的 C++ 代码库来实现,几乎可以保证我们永远不会陷入无意的无限循环中。

然而,Carlos E. Perez 认为,这仅适用于简单的网络,但对于更复杂的条件遍历网络却是不一定正确;在运行时间有所差异的迭代组件上,这却完全有可能实现。

常量存储

因为不存在动态分配存储,存储泄露,需要在代码中搜索的可能性极小。

而反对的观点则认为,这对于不断快速写入的网络并不适用。

运算高效

由于连续的矩阵乘法序列,深度学习在任意计算机设备上运算比二进制更加简单。

而反对的观点则认为,深度学习比传统的 ML 更加便携和模块化,但是却忽略了模块化系统的固有特点。

十分敏捷

软件 2.0 能够减少计算步骤,计算速度可以加快 2 倍,但效率会略差。因此,在计算量较大和需要快速计算时,这一点有非常重要的意义。

此外,Andrej 认为软件 2.0 还具有模块融合最优化、简单易学等特点,但同时也存在数据偏差等不可忽视的缺陷。

软件 2.0 不会超越物理定律

而对于 Andrej 认为软件 2.0 的编程更加进步这一说法,Carlos E. Perez 则表示同意,并称许多伟大的发现都是通过无理论的方式得到的,深度学习或将成为“人类最近的创新”。

具有争议性的是,这个系统是否和其他普遍使用的系统有所不同。软件 2.0 所用的材料、信息处理方式与软件 1. 0 相同,不同的是核心、计算和存储。深度学习同样支持图灵机,并且可以从归纳中进行学习。这意味着,这种模块性的系统有别于一般的编程。但不同的模块性并不意味着基础的硬件特征会消失——软件 2.0 永远不会超越物理定律。因此,从物理层面为深度学习建模时(而不是数学),就会发现机器学习的缺陷。

关于软件深度学习的问题有哪些?考虑到深度学习系统本质上为“直觉机器”,它的行为会和软件 1.0 大为不同。

我们还处于深度学习开发的初始阶段,在这种具有软件 1.0 的功能,但性能优于软件 1.0 的新型计算系统得到应用的过程中,还有很多问题亟待解决。虽然谷歌和优步正致力于这一领域的研究,但还有很多问题仍然存在。

深度学习将会逐渐变成软件 2.0,但还需要一些时间。


感谢杜小芳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT