BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Hadoop的快速发展带动了对数据迁移工具的需求

| 作者 张天雷 关注 4 他的粉丝 发布于 2014年11月20日. 估计阅读时间: 4 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Hadoop是由Apache基金会所开发的分布式处理平台。其最核心的设计就是:HDFS分布式文件系统和分布式计算框架Map/Reduce。HDFS具有高容错性、高吞吐量的特点,为海量数据提供存储;Map/Reduce则为大数据数据计算提供支持。目前,Hadoop以其低成本、高扩展性、靠可靠性以及靠容错性等优点,成为新一代的大数据处理平台。很多公司也开始提供基于Hadoop的商业软件、支持、服务以及培训。据估计,每年Hadoop的销售额会增长近60%,到2020年会达到500亿左右。随着越来越多的公司开始使用Hadoop产品,大量的数据迁移工作由此产生。

理论上讲,Hadoop平台数据的迁移(包括迁入和迁出)是相关软件以及用户就可以完成的工作。例如,Apache的Sqoop就是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。它可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。然而,大数据时代是的数据迁移需要耗费大量的人力。于是,Hadoop相关的数据迁移工具和服务的需求相应增加。

为了能够方便数据迁移,无论是原有的数据迁移或者数据备份工具相关的公司,还是Hadoop厂商都开始提供相应的产品和服务。例如,Attunity公司推出的数据复制产品——Attunity Replicate。该产品针对EMC Greenplum多款产品进行了性能优化。除了Hadoop,它所支持的数据复制/迁移平台还包括Oracle、DB2、SQL Server、Greenplum以及Teradata等。此外,Diyotta DataMover也同样支持Hadoop平台中多种格式的数据迁入和迁出。大型机数据集成厂商Syncsort已经与 Hadoop厂商Cloudera宣布合作,准备将大型机数据与Hadoop集群更紧密地联系起来,从而进行大数据分析。据Syncsort总裁Josh Rogers预测,将大型机负载逐渐迁移到Hadoop集群将是未来Hadoop在企业中的一个主要应用场景。

可以看出,基本上所有的数据迁移工具和服务都能够支持多数平台间的数据迁移。那么,方便性和整体服务就成为了提高产品竞争力的重要方面。像Hortonworks这样的Hadoop厂商充分利用自身的优势,已经开始推出自己的迁移支持和服务。这样,Hadoop厂商就可以在数据迁移工具和服务方面占据自己的市场,避免让Sqoop这样的产品成为Hadoop平台数据迁移中必须的第三方工具。

在Hadoop相关的数据迁移工具和服务激烈的竞争中,寻求更好的设计理念,并能够把产品设计的目光放得更加长远就十分关键。在现在的设计中,能够为未来可能的变化预留接口。例如,提供对未来的Hadoop数据安全框架Apache Argus的支持就是十分重要的一方面。总的来讲,最好的Hadoop数据迁移方面的长期投资还在于理解目前已经存在的工具,然后结合其中的优点创造出更能满足用户需求产品。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT