BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

大数据与机器学习 2016年大事记

| 作者 丁涛 关注 0 他的粉丝 发布于 2017年2月3日. 估计阅读时间: 10 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

前言

不知不觉间,2016年已然过去,2017年已经到来。蓦然回首,我们发现在过去的一年,大数据和人工智能领域的发展让我们眼花缭乱,应接不暇,待我为大家梳理一番。

标志性大事件

  • Apache Hadoop at 10:Hadoop诞生10年了。2006年1月28日,Doug Cutting和Mike Cafarella从他们的开源网络爬虫项目(Apache Nutch)中分离出分布式文件系统以及MapReduce设施,把它当作一个子项目,并称其为Hadoop。Cutting发表了他动情地回顾了自己与Hadoop故事,并提出了对未来的展望

  • 人工智能再显身手,谷歌AlphaGo战胜李世石:Google旗下DeepMind出品的AlphaGo连胜三局(五局三胜制)战胜韩国职业棋手围棋九段李世石。这将是人工智能领域的又一里程碑事件。另外,2016年底,神秘的Master给我们带来了精彩续集:60胜0负!谷歌承认Master是AlphaGO

大数据技术继续蓬勃发展

以Hadoop和Spark为代表的大数据技术生态系统继续发展壮大。

  • Hadoop 3.0新特性预览:Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等

  • Apache Spark 2.0.0 发布,APIs 更新:Apache Spark 2.0.0发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载

  • Apache Beam将统一大数据平台的开发:一直以来,大数据开发涉及到各种框架,比如,Hadoop、Storm、Spark和Flink等,基于这些框架的开发要求的技术栈都各不同,这对开发者来说开发成本比较高,在Beam的统一下可以实现写一个程序既能在Hadoop中运行又可在Spark中运行

巨头相继开源机器学习框架

  • Facebook开源深度学习框架 Torchnet,相比其他巨头自己搭建的深度学习框架,Torchnet 更加开放,也将大幅推进深度学习的应用普及

  • LinkedIn开源机器学习库Photon:Photon机器学习支持Apache Spark,通过结合Spark快速处理海量数据的能力和强大的模型训练和诊断工具,Photon机器学习提供给研究型工程师更多的信息来决策使用哪类推荐系统算法

  • Microsoft开源其深度学习工具包CNTK:CNTK是一个统一的深度学习工具包,它通过一个有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,边表示输入之上的矩阵运算。CNTK使得实现和组合前馈型神经网络DNN、卷积神经网络(CNN)和循环神经网络(RNNs/LSTMs)变得非常容易。实现了支持跨多个GPU和服务器自动分化和并行化的随机梯度下降(SGD)学习

  • 亚马逊AWS推出人工智能服务:与微软谷歌竞争:亚马逊举行发布会宣布,旗下云服务Amazon Web Services(以下简称“AWS”)增加人工智能服务,可以让开发者在应用中增加预测和分析功能

  • Google已经于2015年底开源TensorFlow,并于2016年继续完善

巨头竞相收购人工智能公司

Google,Facebook,Microsoft相继表示,未来将更加重视AI,除了开源了以上的机器学习框架,还分别投入巨资收购了一些人工智能公司和人才。

国内的发展

大数据技术

以华为,百度,阿里为代表的巨头在开源领域纷纷取得巨大进展。

人工智能

2016年可以说是人工智能真正成为主流的元年,人工智能成为了非常热门的概念。AlphaGo大战李世石等事件,甚至引发了一些机器人取代人、危害人等消极观点。

其他的进展

  • 2016是无人驾驶转折年:科技巨头纷纷入场:2016年,无人驾驶逐渐成为“风口”,各大车企和创投都将目光投向这一领域。无人驾驶,让科幻片中才有的黑科技似乎一下子离大众或许只有几步之遥

  • 现在Google制造自己的芯片,Intel要发疯:Google的目标始终未变:空前的高效。为了让AI技术跃上一个新高度,他们需要一种能在更低能耗前提下,用更短时间完成更多任务的芯片。但这个芯片所产生的效果已经超越了Google帝国本身,甚至让Intel和nViaia这样的商业化芯片制造商的未来受到威胁,尤其是考虑到Google对于未来的愿景

  • 英伟达20亿美元豪赌人工智能:20亿美元是什么概念?英伟达去年全年的营业收入也才50亿美元出头,所以英伟达用了几乎一半的全年收入投入到这一款芯片的研发中,这背后的原因是,英伟达看中了人工智能领域未来的发展

推荐阅读

作者简介

丁涛是一名软件工程师,目前就职于京东商城。专注于后端/服务端开发、架构设计,关注架构设计、大数据、人工智能领域的发展


感谢杜小芳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

总结的好 by Ivan zhang

收着

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

1 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT