BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

SQL-on-Hadoop方案在FreeWheel的实践
录制于:

| 作者 林明 关注 0 他的粉丝 发布于 2016年1月28日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
36:06

概要
FreeWheel是一家主要服务于北美和欧洲客户的视频广告技术公司,为大型电视媒体和优质内容供应商提供企业级的视频广告解决方案,每天完成近10亿次视频广告投放,积累了大量的视频观看和广告投放数据。 如何从海量数据中挖掘有价值的信息,帮助客户分析并改进其广告业务,是FreeWheel数据平台需要解决的主要问题之一。为此,我们引入了基于Presto查询引擎的SQL-on-Hadoop解决方案,为客户提供一种在秒到分钟的时间级别上灵活分析PB量级数据的能力。 根据业务需要,我们对数据存储、分片以及查询速度等方面做了诸多优化,并提供了对半结构化数据的查询接口。同时我们还把Presto集群与YARN集成,提高了Hadoop集群资源利用率,实现了集群资源的统一管理以及Presto集群的动态伸缩。本次分享主要介绍我们在以上方面的一些经验。

个人简介

林明,2008年毕业于清华大学,获计算机硕士学位,曾供职于IBM、SUN和美团等公司。技术涉猎广泛,对分布式系统、大数据平台、消息队列和中间件等领域有深入的理解和丰富的经验。现任FreeWheel主任工程师,全面负责大数据平台的架构和研发工作。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT