BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

腾讯的广告数据平台架构
录制于:

| 受访者 李锐 关注 1 他的粉丝 作者 包研 关注 0 他的粉丝 发布于 2015年4月8日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
09:24

个人简介 李锐,2008年毕业于北京大学电子系,然后进入微软STC工作,参与开发了分布式存储系统KirinStore,以及其上的分布式计算引擎Kida。2011年加入腾讯从事后台分布式文件系统xfs的开发,对分布式系统的认识和理解比较深。2012年开始做广告后台播放系统的开发,目前致力于在Hadoop上面构建广告日志数据处理平台。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

   

1. 各位infoQ的网友大家好,我们现在是在ArchSummit的北京2014大会的现场,我们邀请到来自腾讯的李锐。李锐你好,跟我们的网友打个招呼吧。

李锐:大家好,我叫李锐,来自于腾讯的效果广告平台部,简称就是广点通,我们是一个做广告的平台。主要是为了广告组做效果的优化,并且为腾讯里面各种各样丰富的流量,与他们需要推广的商品,做一个资源最优化配置的方案。

   

2. 可不可以跟我们网友介绍一下你的工作经历和目前工作的主要内容?

李锐:我毕业之后第一份工作应该是在微软。在那边是做bing的基础架构的储存方面的事情。当时是做分布式的一个KV系统,是为了线上的搜索构建索引,提供这样的一个支持。这系统应该现在还在线上运行着,后来腾讯这边也在做搜索了,就跳到腾讯这边来,然后也是做下层的基础架构,做了一个分布式系统架构台风,做了其中的一个分布式文件系统,叫XFS,模仿谷歌GFS做的一个解决方案。因为谷歌里面搜索的结构在不停的演化,为了跟紧它演化的步伐,就做了一个类似于GFS和BigTable的以及上面的这样的计算引擎的一个系统。后来换了一下方向,改到了广告平台部,做了一段时间后端的服务,广告的解锁服务。现在是在做广告的后台的大数据处理,正好把以前在大数据平台方面的知识运用上,现在就是在构建这种广告的数据平台。

   

3. 与搜索的基础架构比广告的平台实时性反馈要求更高,这部分你们是怎么做的?

李锐:对,广告这一点,它优化之后是直接跟钱有关系的,所以这方面的要求,会对可靠性稳定性以及实时性要求更加高。这部分的话我们的平台,最开始的是通过MapReduce或者是hive或者pig来进行离线计算,一般是以天或者小时为单位,但这样是远远不够的。后来我们基本就架构在storm以及spark上面。基本上我们的模型训练是用spark这样的方式,而报表的统计是用storm来进行。spark算出来的数据,还要依靠过后一段时间的MapReduce的计算去做离线覆盖,就是这样一个解决方案。

   

4. 谈谈你们整个广告平台演进的过程吧,包括未来你们打算做那些优化和功能。

李锐:如果说到下一步的话,就要说到现在可能还存在的问题。在storm的话,是没有保证transaction和数据储存的系统,数据是很有可能丢失的,所以必然需要离线的计算再来做覆盖和验证。现在用像spark stream这样的mini-batch方式来做统计是能够更加有效保证数据存储的,现在正在考虑这种方式。并且报表的储存以及模型的训练的话也可以在HBase上进行。当在HBase上把的新的问题解决得比较好了之后,就可以来用HBase去实现这样的方式,尽可能来一条就处理一条,或者尽可能少的出现延迟。另外一个目标就是数据一定要正确,对于关键的数据不能重复,也不能丢掉,必须要保证transaction的机制,就是有extensive once的这样的语义保证。

   

5. 这次在架构师峰会上,你分享的这个话题也正好是跟HBase密切相关的,能不能介绍一下这个议题的情况?

李锐:我要分享的话题是关于我们要去收集各种各样的数据拿来给后端的storm或者spark这些作为这些模型训练的事情。这些数据是有要求信息的完整性的,而信息的传输在广告的系统里面是一个比较困难的事情,我们的解决方案是做了一个数据流的join,就是stream join这样的方式。关于我们为什么要选用HBase来做这件事情,以及做这件事情的时候具体的解决方案,等一会我会做更加详细的介绍。

   

6. 能不能介绍一下,在广告平台、广告主、用户三方上,你们是怎么平衡三方的利益,让广告平台能够不断地壮大,良性地循环?

李锐:这个问题问的很好,其实我们整个广告平台的话不仅仅是赚广告费这样一个目标,我们其实是作为腾讯的生态链中的一环。腾讯有很多各种各样的流量,比如说像QQ,像微信,像QQ空间,它们可以带动其他的新产品,做一些推广。比如说游戏,或者电商,可以做这样的推广。那么怎么在做这样一个推广的过程中让资源的配置最大化,这是我们广告平台所要考虑的。因此我们的目的不仅仅只是为了我这边尽可能的挣钱最多,而是让大家都能够得到好处。比如说我们的广告组,客户肯定会关心广告效果,尤其是客户在腾讯的开放平台上面投放一个很有价值的广告,但时间比较少,那么我们会针对这样的一个广告,着重效果的优化,而使他能够更加精准地定位到目标用户,在用户不管是下载还是激活,还是付费的情况下,比例的转换能够达到很好。在我们的开放平台,数据的回收方面是比较方便的,这样就解决了很大一部分广告所面临的问题,对于这样的效果数据,其他平台会难以追踪,而我们在这一点上就很方便,这要感谢腾讯在整个业界建立了这么多的同盟。同样我们对于流量方以及用户方的利益也是能够保证得很好。对一些不适用的广告,我们会有很强制的措施,比如说不能向18岁以下的用户推广酒类,类似这种是我们对流量方以及用户方的保护。

InfoQ:谢谢李锐,谢谢你接受我们的采访,也祝你待会的演讲能够顺利成功,谢谢。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT