BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Spark应用的GC调优
录制于:

| 作者 王道远 关注 1 他的粉丝 发布于 2015年12月7日 | ArchSummit北京2018 共同探讨机器学习、信息安全、微服务治理的关键点
44:09

概要
Spark是时下非常热门的大数据计算框架,以其卓越的性能优势独特的架构、易用的用户接口和丰富的分析计算库,正在工业界获得越来越广泛的应用。与Hadoop、HBase生态圈的众多项目等一样,Spark的运行离不开JVM的支持。由于Spark立足于内存计算,常常需要在内存中存放大量数据,对于JVM垃圾回收机制(GC)的依赖更加突出。同时,它也兼容批处理和流式处理,对于程序吞吐量和延迟都有较高要求。因此,GC参数的调优在Spark应用实践中显得尤为重要。本次演讲主要讲述如何针对Spark应用程序配置JVM的垃圾回收器,并从实际案例出发,剖析如何进行GC调优,进一步提升Spark应用的性能。

个人简介

王道远,英特尔亚太研发有限公司大数据团队软件工程师,毕业于浙江大学计算机科学与技术学院,在大数据领域具有丰富的经验。他是Hive/Spark开源项目的资深贡献者,目前专注于Spark SQL模块开发,拓展Spark SQL的兼容性,同时根据性能测试的结果对Spark SQL进行性能优化。在进入Spark社区前,他主要负责为IDH(Intel Distribution of Apache Hadoop)中的Hive开发SQL92支持。同时他还是《Spark快速大数据分析》(人民邮电出版社)中文版的译者。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT