BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Flink发布0.8.0,公布2015年规划

| 作者 Mikio Braun 关注 0 他的粉丝 ,译者 丛一 关注 2 他的粉丝 发布于 2015年1月28日. 估计阅读时间: 2 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

Apache Flink发布了该项目的0.8.0版本。除了常规的性能、兼容性和稳定性方面的改进之外,这一版本增加了一个流式数据的Scala API,填补目前为止仍然缺乏的流式数据处理的能力。在大概9个月之前加入孵化器后,Apache Flink最近被升级为顶级的Apache项目。

Apache Flink是一个与Apache Spark有着相似目标的开源项目。它运行在Hadoop stack之上,通过提供比原有Hadoop系统的map和reduce操作更加强大的数据操作能力,让开发者可以更容易地编写可扩展的数据处理系统。

Kostas Tzoumas最近发布了一个关于Flink介绍和Flink2015年计划概览的演示文稿,他是Flink的代码提交者和一个位于柏林的Apache Flink相关的初创企业data Artisans的合伙人。

Flink的关键点之一,是它使用了一种类似于SQL数据库查询优化的方法,这也是它与当前版本的Apache Spark的主要区别。它可以将全局优化方案应用于某个查询之上以获得更佳的性能。例如,Flink可以重新排序操作以提升性能,或者根据相关数据集的属性,选择不同的实现方式来执行给定的操作符。

正如演示文稿中所提到的,这让Flink可以以流水线的方式执行一个操作序列,而Spark则需要一个接一个地执行不同的步骤。

Flink还提供类似迭代器的操作符以获得更多全局优化方面的潜能。利用这种操作符,Flink允许用户将迭代公式化,作为查询语句的一部分,而不需要在for循环中执行查询语句。

2015年规划的特性包括更好的内存管理和容错机制,交互使用的支持,统一的批处理和流处理,机器学习库Mahout的集成以及其他若干改进。

Flink最初源自于正在进行中的研究性项目Stratosphere的一部分。Flink还是柏林大数据中心的主平台,该数据中心是由德国政府资助的研究性项目,其目的是将机器学习研究者和可扩展的数据处理研究者汇集一处。

查看英文原文:Apache Flink 0.8.0 Released, Roadmap for 2015 Published

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT