BT
您现在处于全屏预览
关闭全屏预览

HBase上搭建广告实时数据处理平台
录制于:

作者 李锐 发布于 2015年3月19日 | 欲知区块链、VR、TensorFlow等潮流技术和框架,请锁定QCon北京站!
36:29

概要
腾讯广点通承接了每天200多亿的广告流量,算法模型训练对数据的准确性、实时性和完整性都提出了很高的要求。 我们利用HBase+Storm构建了广告日志实时处理平台,解决了实时数据回流和统计的问题。 这次主要分享的内容有: 1. 如何通过HBase实现数据流实时关联 2. 如何保证重要的计费数据不重不丢 3. HBase实战经验,优化负载均衡、读写缓存、批量读写等性能问题

个人简介

李锐,2008年毕业于北京大学电子系,然后进入微软STC工作,参与开发了分布式存储系统KirinStore,以及其上的分布式计算引擎Kida。2011年加入腾讯从事后台分布式文件系统xfs的开发,对分布式系统的认识和理解比较深。2012年开始做广告后台播放系统的开发,目前致力于在Hadoop上面构建广告日志数据处理平台。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

提供反馈
错误报告
商务合作
内容合作
Marketing
InfoQ.com及所有内容,版权所有 © 2006-2016 C4Media Inc. InfoQ.com 服务器由 Contegix提供, 我们最信赖的ISP伙伴。
北京创新网媒广告有限公司 京ICP备09022563号-7 隐私政策
BT

我们发现您在使用ad blocker。

我们理解您使用ad blocker的初衷,但为了保证InfoQ能够继续以免费方式为您服务,我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单,感谢您的理解与支持。