BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Flink实现的数据流体系结构

| 作者 Srini Penchikala 关注 34 他的粉丝 ,译者 大愚若智 关注 9 他的粉丝 发布于 2016年6月13日. 估计阅读时间: 2 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

data Artisans应用程序工程总监Jamie Grier最近在OSCON 2016 Conference大会发言谈到了使用Apache Flink构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。

数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据,这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库,数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括:

  • 降低从信号到决策的过程延迟
  • 通过统一的方式处理实时和历史数据
  • Time travel查询

Apache Flink是一种开源的分布式流化和批量化数据处理平台。Flink的诞生受到了Google Data Flow模型的启发,可支持Java和Scala语言开发的Stream Processing API。相比其他流式数据处理框架,Flink中不存在微批量(Micro batching)数据,而是使用了一种“一次一条消息”的流处理技术。

Jamie介绍了状态流处理并展示了Flink应用程序的代码范例,以及使用开源时序数据库和Graphana可视化工具Influxdb进行监控的方法。

同时他还介绍了流处理过程中窗口(Windowing)的概念以及处理时间(Processing Time)和事件时间(Event Time)的窗口概念。处理时间的窗口会对流数据的分析产生影响,并会导致数据处理过程中出现某些错误。在事件时间方法中,窗口来自于数据,而非时钟时间。对于事件时间,可通过数据嵌入的时间戳对数据进行处理,这样即可获得更精确的结果。

Jamie还介绍了在应用程序中使用Flink时的错误处理和容错机制。Flink中的Savepoints功能可在不丢失任何状态的情况下对程序和Flink集群进行更新。如果要对实时数据进行流处理,此时Savepoints数据快照会显得非常重要。

如果你想详细了解Apache Flink,可访问他们的网站。此外Flink Forward 2016 Conference活动将于九月在柏林召开,提交提案的截止日期为2016年6月30日。

查看英文原文Data Streaming Architecture with Apache Flink

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

深度内容

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT