BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Cascading——针对Hadoop MapReduce的数据处理API

| 作者 R.J. Lorimer 关注 0 他的粉丝 ,译者 张龙 关注 12 他的粉丝 发布于 2008年10月13日. 估计阅读时间: 2 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。

该处理API使开发者可以快速装配复杂的分布式流程,而无需“考虑”MapReduce。同时还可以基于流程之间的依赖及其它元数据信息来有效地进行调度。

Cascading API的核心概念是管道和流。所谓管道,就是一系列处理步骤(解析、循环、过滤等等),这些步骤定义了将要进行的数据处理,而流就是带有数据源与数据接收器(data-sink)的管道的联合。换句话说,流就是有数据通过的管道。再进一步,cascade就是多个流的链接、分支和分组。
该API提供了很多关键特性:

  • 基于依赖的“拓扑调度(Toplogical Scheduler)”及MapReduce规划——这是cascading API的两个关键组件,它们可以基于依赖对流的调用进行调度;因为其执行顺序独立于构造顺序,这样就可以对部分流和cascades进行并发调用。此外,各种流的步骤被智能地转换成对应于hadoop cluster的map-reduce调用。
  • 事件通知——流的各种步骤可以通过回调进行通知,以此告诉主机应用去报告和响应数据处理的过程。
  • 脚本化——Cascading API有针对Jython、Groovy和JRuby的脚本化接口——这使其适合于常见的动态JVM语言

有很多文档可用来学习cascading API的概念和实现。这儿有一篇PDF格式的介绍性概览,从高层展示了cascading API的核心概念。还有一个“介绍性示例”展示了如何创建一个简单的Apache日志解析器。最后,这儿还有一个完整的Cascading API的Javadoc文档

查看英文原文:Cascading - Data Processing API for Hadoop MapReduce

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT