BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

征服延迟:Map Reduce数据分析案例研讨
录制于:

| 作者 陶隽 关注 0 他的粉丝 发布于 2013年2月16日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
41:10

概要
演讲将以Case Study的形式,介绍多个MapReduce数据分析系统和研究项目在系统的高并发,可扩展,高性能等特点之外, 为了获得各自面对的应用领域所需要的低延迟,采取的不同技术方式。而来自于Google的基于MapReduce的查询引擎Tenzing通过在Worker Pool, 数据传输和查询优化等方面的工作大大降低了系统延迟。对应于Batch模式,来自 Yahoo!的S4和Twitter的Storm属于流式计算模式的系统,流式系统的特点是输入数据并不是存贮在可随机访问的存储中,而以数据流的形式以不确定的速率到达,对系统的负载,容错等方面提出了不同的设计需求。此外演讲还结合Bolt MR项目,分享了EMC中国研究院大数据实验室在MapReduce数据处理的性能提升方面的研究工作。

个人简介

陶隽,EMC中国研究院资深研究员。2008年加入EMC, 曾参与多个存储管理系统的构架参考实现。现为EMC 中国研究院大数据实验室资深研究员,负责MapReduce相关的研究和开发工作。2002年复旦大学计算机系硕士毕业,加入EMC之前,就职于Intel,先后参与BIOS网络协议栈,Java虚拟机及Web Services管理协议方向的项目研发。

本次ArchSummit峰会的议题以实践为导向,大部分议题都能让参会者看到同行 在不同场景中遇到什么样的问题,以及如何解决这些问题;同时还提供具备理 论高度的演讲,让架构师们可以从更高的角度思考自己的日常架构设计工作。 本次峰会包括7场主题演讲,4场圆桌讨论和9个分论坛。 本次架构师峰会讲师阵容强大,国际讲师层面,我们会从Facebook、IBM、 VMWare等国际知名公司邀请,国内讲师则既有来自腾讯、新浪、百度、淘 宝等一线互联网企业,也有花瓣、又拍、雪球财经等创业公司的架构师, 还有一些讲师来自金融、电信领域。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT