BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Spark Summit EU重头戏:TensorFlow、结构化的流和GPU硬件加速

| 作者 Alexandre Rodrigues 关注 0 他的粉丝 ,译者 冬雨 关注 4 他的粉丝 发布于 2016年11月23日. 估计阅读时间: 3 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

Spark Summit EU 2016 上星期在布鲁塞尔召开,其中大会中的重头戏是Apache Spark 集成深度学习库 TensorFlow、使用结构化的流进行在线学习和GPU硬件加速。

大会第一日最具特色的是预览了由Spark 2.0引入的一个创新。该API是针对DataFrames和Datasets简化了的接口,使其更容易去开发大数据应用。这个第二代的 Tungsten 引擎通过把MPP数据库的理念应用到数据处理查询使处理更接近于硬件了:针对中间数据和以节省空间的面向列方式保存在内存中的数据,生成的字节码充分利用CPU寄存器的能力。

不管API是否使用过,数据操作图都是通过Catalyst Optimizer优化过的,它针对所有集群上的计算指令生成执行计划,并针对每个操作进行优化。

结构化的流,这是作为阿尔法版针对流发布的一个新的高层API,在本次大会中也做了推介。该API集成了Spark的Dataset和DataFrame,使开发人员可以以类似于Spark批量API的方式描述从(到)外部系统的数据读写。它通过以批处理指令的方式编译流处理指令提供了很强的一致性,并使事务型系统可以与存储系统集成在一起(比如HDFS和AWS S3)。

在大会第二天,Databricks的CEO Ali Ghodsi将Spark描绘成了将AI大众化的一款工具,它简化了机器语言算法的数据准备和计算指令的管理。今年早些时候,深度学习类库TensorFlow通过一个称为 TensorFrames的类库集成运行于Spark之上。这个类库允许在DataFrames和TensorFlow之间在运行期传递数据。

数据科学专题召开了一个会议,主要围绕的主题是如何结构化流使机器学习具有弹性,并使其可以做到在线学习,这就有可能做到根据到达的数据去更新一些机器学习模型了,而不是采用一批离线任务去执行模型训练。

最后一个重头戏是在Databricks平台支持GPU和更多深度学习类库集成的公告。GPU的支持是通过像CUDA这样的硬件类库完成的,并可以在Databricks中预先构建它,据说这样集群设置成本就会有更低了。

查看英文原文:Spark Summit EU Highlights: TensorFlow, Structured Streaming and GPU Hardware Acceleration

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT