BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

利用IPython Notebook配合Amazon EMR实现数据分析

| 作者 Manjeet Chayel 关注 0 他的粉丝 发布于 2015年6月20日. 估计阅读时间: 7 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

IPython Notebook是一套基于Web的交互环境,允许大家将代码、代码执行、数学函数、富文档、绘图以及其它元素整合为单一文件。从后端层面看,IPython Notebook会将此类信息保存为一个JSON文件。

相较于传统REPL或者传统写入/上传/测试任务流程,Notebook的突出优势在于允许大家将交互式内容与图片及绘图相结合。在数据分析类任务领域,Notebook能够出色地完成探索性测绘工作、快速筹备原型方案并将其与同事进行分享。而这也正是IPython的闪光点所在:当大家分享Notebook内容时,我们可以通过有组织的方式提供相关背景,并允许同事们就此进行效果体验。IPython官方网站上提供了丰富的说明文档与示例资料,旨在帮助大家快速上手IPython。而在将Notebook运行在Amazon EMR上时,我们则能够通过运行Hadoop任务并将结果绘制成视图的方式快速实现数据集分析。

在今天的博文中,我们将共同了解如何启动一套运行有IPython Notebook的EMR集群,通过自己的浏览器与目标Notebook相对接、利用Hadoop Straming进行分析并以图形化方式显示分析结果。通过EMR bootstrap操作,我们能够将IPython Notebook以及关联性安装在主节点之上,并同时获得用于实现基础性科学计算的工具包。

大家可以利用以下命令启动一套EMR集群:

aws emr create-cluster --name iPythonNotebookEMR \ --ami-version 3.2.3 
--instance-type m3.xlarge --instance-count 3 \ --ec2-attributes 
KeyName=<> \ --bootstrap-actions 
Path=s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-
ipython-notebook,Name=Install_iPython_NB \ --termination-protected 

大家也可以使用EMR控制台并选定以下bootstrap操作:

s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook

在集群开始运行之后,Notebook服务器将运行在端口8192上。我们可以通过打开由本地设备到目标EMR主节点间通道的方式实现接入。以下示例介绍了如何打开一条通往主节点的通道:

ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L
 8192:<<master-public-dns-name>>:8192 hadoop@<<master-
public-dns-name>> 

顺利打开通道之后,开启我们的浏览器并通过以下URL访问该Notebook:

http://localhost:8192

现在页面已经顺利开启,接下来选择New Notebook

下载字数统计代码

首先,大家需要将字数统计代码下载到自己的设备上。我们可以使用与IPython功能相契合的wget命令运行shell命令行,命令开头需要以!作为前缀:

!wget https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py 

在字数统计代码下载完成后,大家可以将对待其它Hadoop任务一样将其付诸执行。该程序的输入结果读取自Amazon S3,而输出结果则写入至HDFS。

运行MapReduce程序

!hadoop  jar /home/hadoop/contrib/streaming/hadoop-*streaming*.jar
 -files wordSplitter.py -mapper wordSplitter.py -reducer aggregate -input 
s3://elasticmapreduce/samples/wordcount/input -output /output

在该Hadoop任务运行完毕后,大家可以在EMR集群上的本地HDFS中检查输出文件内容。接下来,我们要做的是利用该结果绘制出一份条状图。大家可以点击此处从AWS大数据博客GitHub库中下载示例代码。(请记住,如果大家打算复制并粘贴这部分代码,请预留足够的空间!)

以下截图所示为运行示例代码后的显示结果。

清理

在体验过了IPython Notebook的使用流程之后,大家可以通过控制台或者AWS命令行关闭自己的集群,以免其闲置带来额外使用成本。

总结

在今天的文章中,大家了解了如何启动一套运行有IPython Notebook的EMR集群、通过浏览器接入Notebook、使用Hadoop Streaming实现数据分析外加以图形化方式显示分析结果。现在大家可以利用IPython的强大能力组织自己的代码并加以分享,这样其他人就能轻松了解我们项目的背景信息与实验效果了。

如果您有任何问题或者建议,请在评论栏中与我们交流。

原文链接:https://blogs.aws.amazon.com/bigdata/post/TxX4BY5T1PQ7BQ/Using-IPython-Notebook-to-Analyze-Data-with-Amazon-EMR

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT