BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Falcon升级为Apache顶级项目

| 作者 谢丽 关注 9 他的粉丝 发布于 2015年1月30日. 估计阅读时间: 3 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Apache Falcon是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载(onboard)”到Hadoop集群。近日,Apache基金会宣布Falcon升级为顶级项目。

Apache Falcon项目副主管Srikanth Sundarrajan说:

Apache Falcon解决了大数据领域中一个非常重要和关键的问题。升级为顶级项目是该项目的一个重大进展。Apache Falcon有一个完善的路线图,可以减少应用程序开发和管理人员编写和管理复杂数据管理和处理应用程序的痛苦。

用户会发现,在Apache Falcon中,“基础设施端点(infrastructure endpoint)”、数据集(也称Feed)、处理规则均是声明式的。这种声明式配置显式定义了实体之间的依赖关系。这也是该平台的一个特点,它本身只维护依赖关系,而并不做任何繁重的工作。所有的功能和工作流状态管理需求都委托给工作流调度程序来完成。下面是Falcon的架构图:

从上图可以看出,Apache Falcon:

  • 在Hadoop环境中各种数据和“处理元素(processing element)”之间建立了联系;
  • 可以与Hive/HCatalog集成;
  • 根据可用的Feed组向最终用户发送通知。

而按照开发人员Michael Miklavcic的说法,Apache Falcon使他们的团队逐步构建起一个复杂的管道。该管道包含超过90个Process和200个Feed。如果单独使用Apache Oozie,这会是一项重大挑战。Hortonworks工程部门副总裁Greg Pavlik则表示,Apache Falcon是用于“数据湖(Data lake)”建模、管理和操作的最好的、最成熟的构建模块。Hortonworks官方网站上提供了一个在Hadoop中使用Apache Falcon的示例

另外,在升级成为顶级项目之前,Apache Falcon已经在多个行业中获得了广泛的应用,包括广告、医疗、移动应用等。InMobi是该平台的最大用户之一。该公司的联合创始人兼首席技术官Mohit Saxena表示:

对于社区而言,Apache Falcon项目毕业是一个令人自豪的时刻。他们一起解决了Hadoop生态系统中一个非常重大的数据处理和管理问题。

Apache Falcon遵循Apache许可协议2.0。要了解更多信息,请点击这里


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT