BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

谷歌开源Cloud Dataflow Java SDK

| 作者 Abel Avram 关注 7 他的粉丝 ,译者 谢丽 关注 9 他的粉丝 发布于 2014年12月22日. 估计阅读时间: 2 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

今年早些时候,谷歌宣布了Cloud Dataflow,一个批量或实时处理海量数据的服务和SDK。现在,他们开源了Dataflow Java SDK,使开发人员可以看到它的实现方式,并合理使用该SDK开发运行在本地或其它云上的服务。

Dataflow是一项云服务,使用了由FlumeJavaMillWheel演变而来的技术,前者是一个用于创建数据并行管道的Java库,后者是一个用于构建容错流处理应用的框架,在谷歌内部有数百名开发人员在使用它们。Dataflow是语言无关的,但谷歌提供了一个Java SDK,使开发人员为它创建应用更简单。

管道是Dataflow使用的一个关键概念,它由一组“读取输入数据源、转换数据、输出结果的操作”组成。数据组织在大小有限或无限的集合中,并提交给多个“转换(transformations)”,由它们执行计算,即操作输入集合、生成输出集合。“管道执行器(pipeline runner)”是管道的执行环境。该SDK提供了三种类型的执行器:用于本地计算机的DirectPipelineRunner,用于谷歌云平台的DataflowPipelineRunner,还有同样用于谷歌云的BlockingDataflowPipelineRunner,但它会在执行状态中打印日志消息。

管道可以很简单,转换一个接一个地线性执行,或者也可以是一个复杂的有向图,转换路径先分支后合并。一个管道不能与另一个管道共享数据或转换。管道异步执行,而且为了优化整个处理过程的效率,数据流服务可以决定部分转换的执行顺序。

Dataflow应用可以部署在谷歌云平台上,后者可以提供所需的所有基础设施,其中包括提供运行代码的虚拟机、数据存储或者用于数据处理的BigQuery机制。但开发人员也可以将这些应用部署在不同的执行环境中,既可以在本地,也可以在其它云上,只要创建了相同的服务即可。

Dataflow SDK中包含了示例。谷歌已经创建了一个Stack Overflow标签来回答开发人员的问题。

查看英文原文:Google Open Sources Cloud Dataflow Java SDK

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT