BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

谷歌发布可在Hadoop中运行原生代码的C语言版本MapReduce开源框架

| 作者 Srini Penchikala 关注 34 他的粉丝 ,译者 丛一 关注 2 他的粉丝 发布于 2015年3月1日. 估计阅读时间: 2 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

谷歌上周宣布发布C语言版本的MapReduce开源框架MR4C,利用该框架开发者可以在Hadoop框架中运行原生代码。

MR4C框架将原生开发算法的性能和灵活性与Hadoop执行框架的可扩展性和生产力相结合。该项目的目标是抽象化MapReduce框架的细节,让用户将精力集中在开发定制化算法之上。

该框架最初由Skybox团队开发,用于卫星图像处理和地理空间数据科学的用例。该团队希望既能利用用C和C++语言开发的图像处理库又能利用适于可扩展数据处理的Hadoop框架的作业跟踪和集群管理能力。

在MR4C中,算法存储在原生共享对象中,这些对象通过本地文件或统一资源标识符(URI)访问数据。输入/输出数据集、运行时参数和外部函数库都通过JavaScript对象表示法(JSON)文件进行配置。映射器分裂和资源分配可以用基于Apache YARN(适用于Hadoop v2)的工具配置或在集群层级配置(适用于MapReduce v1(MRv1))。多个算法的工作流可以通过自动生成的配置连接在一起。该框架还支持用Hadoop JobTracker接口浏览日志回调和过程报告。而且还可以用与目标Hadoop集群所用的相同接口在本地机器上对工作流进行测试。关于这个框架更多详细信息,可以从MR4C GitHub网站上检出该框架的相关文档和源码。如果有兴趣参与到项目中,MR4C团队已经创建了一个网页来帮助项目贡献者。

查看英文原文:Google Open Sources MapReduce Framework for C to Run Native Code in Hadoop

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT