BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Wing - 新一代百度大数据查询引擎
录制于:

| 作者 刘成 关注 0 他的粉丝 发布于 2015年6月28日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
32:28

概要
查询引擎(QueryEngine)是大数据处理的利器,极低的学习成本和高效的查询实现极大提高了数据分析的效率,将数据分析领入大数据时代。 Wing是百度自研的查询引擎,提供SQL-Like的HQL接口和以关系操作为API的C++接口。目前业界广泛使用的查询引擎Hive模块耦合较高,不易移植到其他计算框架,限制了二次开发的效率。开源界后续涌现的adhoc场景查询引擎如Impala、Spark SQL等,不得不重复实现查询处理逻辑。为满足不同场景而引入多个系统将会是很大的运维负担。 Wing目前已经在百度内部推广使用,在常见的查询场景下即展现出优越性能,成为大数据处理的核心组件。

个人简介

刘成,毕业于北京大学计算机系,2013年加入百度,现任百度大数据部资深研发工程师。在硕士期间我一直在做大数据处理、云计算方向的研究。2011年利用在腾讯实习机会,我参与了台风系统MapReduce框架的开发,此后就对大数据领域保持浓厚兴趣,后来还参与了key-value存储系统、网络通信框架研发工作。 来到百度后,我在百度biglog平台做QueryEngine服务的研发。QueryEngine服务是百度SQL类离线数据处理的基础,此前一直使用Hive作为查询引擎。在QueryEngine服务长期的运营和开发期间,我积累了许多宝贵的数据处理经验。在这里我作为核心人员参与开发了百度新一代查询引擎——Wing。通过一年的开发,Wing项目已经能够基于MR框架完成替换现有Hive框架的能力,并保证了足够的灵活性来适配其他框架以满足不同场景的查询需求。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT