BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Spark on Mesos详解
录制于:

| 作者 Timothy Chen 关注 0 他的粉丝 发布于 2016年3月10日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
44:42

概要
Apache Spark有三种分布式部署方式,包括Spark On Mesos模式、Spark On YARN模式和独立模式(standalone)。本次演讲会详细描述如何集成Spark和Mesos,以支持Spark作业的集群化,我们将介绍在典型的Spark作业生命周期间出现的事件序列。我们还将探讨一些优化性能和资源利用的建议,以及如何避免已知的一些问题。此外,我们还将探讨Spark on Mesos未来可能的一些工作。再次过程中,我们会了解Spark为支持集群化暴露处的抽象。

个人简介

Timothy Chen就职于Mesosphere,是一位分布式系统专家,专注于容器化和大数据框架。他还是Apache Drill和Apache Mesos项目的PMC/贡献者,对Spark、Kafka和Docker等开源项目亦有贡献。在加入Mesosphere之前,Tim还从事过Halo上的大数据服务、CloudFoundry (PaaS)和搜索引擎方面的经验。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。自2007年3月份首次举办以来,已经有超万名高级技术人员参加过QCon大会。QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上的技术团队负责人、架构师、工程总监、高级开发人员分享技术创新和最佳实践。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT