BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

超越Hadoop的大数据技术:用Spark 软件栈进行实时大数据分析
录制于:

| 作者 夏俊鸾 关注 0 他的粉丝 发布于 2014年2月2日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
33:22

概要
这个演讲书要集中在Spark大数据处理框架的介绍,包括回答了以下几个问题 目前Hadoop在各大互联网公司已经被广泛地使用,那么我们为什么还需要Spark这个大数据处理框架? Spark利用什么样的构架来实现基于内存的数据处理,其容错机制又是怎么样的? 围绕Spark这个核心所构建起来的整个软件栈是什么?其又是怎么将批处理,交互查询和流计算有机统一 在一个平台上的? 目前Apache Spark社区的基本状况,什么样的公司和企业在贡献代码,国内又有哪些公司来用Spark构建应用呢?

个人简介

夏俊鸾,英特尔大数据部门构架师,微博: @Andrew-Xia,开源软件爱好者,11年加入英特尔亚太研发有限公司,8年软件开发管理经验,曾在Palm Source, Trend Micro公司参与Linux内核和安全的开发工作。 目前专注于大数据领域,是国内最早一批关注Spark大数据处理框架的开发者,现为Apache Spark project的Initial Committer, 另外也关注和参与Hadoop,Mesos,Yarn等大数据处理和调度框架的开发。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT