BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Apache Tez: 下一代Hadoop上的执行引擎
录制于:

| 作者 章剑锋 关注 0 他的粉丝 发布于 2014年12月24日 | QCon北京2018全面起航:开启与Netflix、微软、ThoughtWorks等公司的技术创新之路!

亲爱的读者:我们最近添加了一些个人消息定制功能,您只需选择感兴趣的技术主题,即可获取重要资讯的邮件和网页通知

43:28

概要
MapReduce已经开始显现老化的迹象,局限性越来越明显。Tez作为下一代hadoop的执行引擎与传统的MapReduce相比做了很大的改进和优化,将计算模型直接建立在DAG上面,比传统的MapReduce更加直接,灵活,在性能上有很大的提升。同时由于Tez从项目开始就集成了Yarn,从而对于整个计算资源的Context了解的更加清楚,这也有助于性能的优化。本次演讲将主要对Tez做一个Overview的介绍。

个人简介

章剑锋,Hortonworks Member of Technical Staff,微博: @章剑锋_Jeff,很幸运很早的接触到了hadoop,从2009年开始使用pig,然后一步步延伸到hadoop,nosql,statisitcal data anlytics 等大数据领域。可以说一路走来都是在和data打交道,不管是从底层的infrastructure,还是更上层的统计数据分析,Machine Learning。和data打交道有一件很有趣,很有挑战,也能给人带来快乐的事情。喜欢技术,喜欢桌球,喜欢K歌,喜欢和人brainstorming:)

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT