BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

优化多核服务器集群中MapReduce的性能和可扩展性
录制于:

| 作者 陈海波 关注 0 他的粉丝 发布于 2012年2月28日 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。
35:50

概要
本演讲介绍的框架,可以改进MapReduce在多核服务器或集群中的性能和可扩展性。为了达到优化目的,我们设计并实现了Ostrich,它特别为多核系统优化。我们将Ostrich与Hadoop进一步整合,形成了一个层次化的MapReduce系统,称为Chadoop。Chadoop的层次化MapReduce模型,让MapReduce应用能够在集群层面和单节点层面享有本地化和并行化的好处。同时,它还集成了内存缓存机制,可以重用只读数据。由于上述优化,在小规模的多核集群中,在多个性能测试指标的表现上,Chadoop比Hadoop的性能超出1.3倍到3.5倍。

个人简介

陈海波/CHEN Haibo,博士,复旦大学并行处理研究所讲师, 2009年1月于复旦大学获得计算机系统结构专业博士,主要研究方向为系统结构,操作系统与系统虚拟化。博士论文获得2009年CCF优秀博士论文与上海市优秀博士论文。 担任APSys’2011的共同主席与USENIX ATC’12等会议的程序委员会委员。在主要国际会议与期刊如SOSP, USENIX, Eurosys, ISCA, MICRO, ICSE, OSDI, PACT, DSN, VEE与IEEE TSE等接受或发表20余篇研究论文,并获得第36届国际并行处理大会(ICPP’07)唯一的最佳论文奖。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT