BT

您是否属于早期采用者或者创新人士?InfoQ正在努力为您设计更多新功能。了解更多

您现在处于全屏预览
关闭全屏预览

FreeWheel 大数据实时处理系统的实践
录制于:

| 作者 姜冰,孙炎 关注 0 他的粉丝 发布于 2017年5月18日 | ArchSummit社交架构图谱:Facebook、Snapchat、Tumblr等背后的核心技术
38:46

概要
FreeWheel 是一家主要服务于北美和欧洲客户的视频广告技术公司,为大型电视媒体和优质内容供应商提供企业级的视频广告解决方案,每天完成近 10 亿次视频广告投放,积累了大量的视频观看和广告投放数据。如何基于业务逻辑快速迭代开发出一套高性能可扩展的流计算框架,满足业务实时性需求成为了我们数据处理面临的最大挑战。 为此,根据视频广告数据的特点,我们引入了一套基于 Lambda 的数据处理架构,借助 Kafka 和 HBase 实现数据缓存、配对和系统模块集成,使用 Slider 实现业务逻辑任务的动态调度和部署,并通过 Presto 开发实现了数据的低延迟实时查询服务。业务模块的开发、部署和测试环境实现 Docker 化,进一步提升了我们在分布式环境下持续集成交付的能力。本次分享主要介绍我们在以上方面的一些经验。

个人简介

姜冰,毕业于中科院计算所,获计算机硕士学位,曾供职于 Yahoo Hadoop Team,拥有超过 7 年的大数据系统的研究和实战经验,技术涉猎广泛,对分布式系统、大数据存储、消息队列等领域有深入的理解和实战经验,并擅长排查解决分布式系统的疑难问题。现任 FreeWheel 主任工程师,全面负责大数据平台的架构和研发工作。 孙炎,毕业于北京航空航天大学,现任 FreeWheel 数据平台组高级软件工程师,目前负责 FreeWheel 日志数据的处理与查询服务,对 Presto 查询引擎有丰富的实战经验。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT