BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Flink 1.2对外发布

| 作者 Alexandre Rodrigues 关注 0 他的粉丝 ,译者 麦克周 关注 21 他的粉丝 发布于 2017年2月28日. 估计阅读时间: 3 分钟 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义

Apache Flink 1.2已经宣布发布,新增特性包括动态缩放功能、安全性、可查询状态等等。本次发布解决了650个问题,维持了与所有公开API的兼容性,以及针对Apache Kafka 0.10和Apache Mesos的支持。

Flink的动态缩放允许更改流式作业的并行度或者工作操作符。此功能能够从带有不同并行度的保存点恢复作业并且相应地通过上下缩放方式提升流式管道的操作管理能力,最小化停机时间到几秒钟。当前Flink支持类似于Kafka消费者、窗口操作以及自定义用户状态这样的操作符。

针对安全性,添加了对外部服务使用Kerberos进行身份认证支持。Flink支持验证ZooKeeper、kafka、HDFS以及YARN。实验基于SSL协议的通信线也被新增用于Flink执行者之间传输加密信息。

可查询状态实验特征通过API暴露了操作符的关键状态。这种方式是很有意义的,这样就在不需要向一个数据存储器写入状态数据的情况下,就可以提供流式管道的心跳状态。这种状态可以使用一个线程安全的异步QueryableStateClient查询,并且也提供了一些工具用于处理操作符实现和客户端两者的序列化状态。

Apache kafka 0.10也支持作为数据源和数据池。Kafka 0.10连接器可以随着Flink内部事件时间消费和生产消息。Kafka消费者可以以Kafka消息时间戳作为事件时间发出数据,但是不会通过发出watermark(一种衡量事件时间进展方式)方式增加时间。

Apache Mesos此次也被作为部署选项增加进来。Flink也支持DC/OS部署,并且Marathon业务流程平台可以被提升运行高可用的Flink集群-Marathon将所有的Flink组件作为Mesos任务,在整个集群运行,无论什么时候Flink主节点失败了,其他的节点就会启动。状态(运行任务)被保存在ZooKeeper并从中恢复。

Table API此次也得到了提升。Window aggregations被三种不同的模式支持:tumbling windows、sliding windows以及session (gap) windows。所有的模式支持事件时间和处理时间windowing。Tumbling和sliding模式也支持行计数windowing。Flink的Table API和SQL提供了针对POJO字段访问的试验访问方式,并且扩展了内置函数的支持队列。

查看英文原文Apache Flink 1.2 Released with Dynamic Rescaling, Security and Queryable State


感谢刘志勇对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT