BT

您是否属于早期采用者或者创新人士?InfoQ正在努力为您设计更多新功能。了解更多

架构师特刊:大数据平台架构

| 作者 InfoQ中文站 关注 1 他的粉丝 发布于 2016年8月24日 智能化运维、Serverless、DevOps......2017年有哪些最新运维技术趋势?CNUTCon即将为你揭秘!

目录

酷狗音乐的大数据平台重构

Airbnb的大数据平台架构

美团大数据平台架构实践

电商卷皮BI的实践演进和架构体系

解密IFTTT的数据架构

面对百亿用户数据,日均亿次请求,携程应用架构如何涅槃

序言

当笔者一开始就将大数据技术和金钱庸俗地扯上关系时,相信不少开发者和读者是不屑的,然而这里仅仅谈笔者在全球架构师峰会深圳站记录的两笔足以惊讶的账:

Twitter机器学习平台组负责人郭晓江:我们上了大规模的在线学习的东西之后,把整个Twitter的营收提高了大概30%左右,这对于Twitter是几十亿美金的business,30%是一个非常非常可观的数字,而且超越了所有算法工程师这么多年加起来的努力。

阿里巴巴速卖通技术部总监郭东白:(基于大数据的全球电商系统性能优化)我们把订单增加了10.5%,这一年白花花的银子相当于白来的(例如一年的GMV是10亿美金,现在变成了11亿),直接回报是非常大的,这个项目给整个AliExpress每年带来了数亿美金的回报。

对于体量已经非常庞大的企业,大数据技术依旧能给它们带来可观的利润提升,这也许是我们可见的最直观的大数据价值。

相信在这个大数据引领变革的时代,不少开发者和企业都眼红大数据技术能给自身带来怎样的利益。大数据听起来似乎深奥遥远,然而以机器学习和广告为例,广告优化所需要的大数据机器学习算法等知识只需要上过Andrew N的机器学习课就已经足够,但无论是Twitter还是Google、 Facebook都投入了无数的人才和资源,就是要把机器学习做到系统规模化和服务规模化,而支撑起系统规模化和服务规模化关键就是各互联网企业所努力搭建的大数据平台。

回到大数据本身,虽然企业推动自身大数据技术发展的动机不同,但实践起来无非以下三步:

  1. 依托企业资源获取海量的用户行为,归纳提炼为数据;
  2. 凭借现有的大数据技术对数据全量挖掘分析;
  3. 根据企业的不同需求开发对应的应用。

作为用户的我们也许只关心企业在第3步中为我们提供了怎样的服务,例如个性化推荐音乐、与人工智能对弈等等;但作为大数据开发者应当了解大数据平台的建设是贯穿每一个环节的,唯有认真学习与实践才能在开发的每一步中提高效率和降低成本。

因此在本期技术特刊中我们总结了酷狗、美团、Airbnb的大数据平台架构实践范例,以及携程、IFTTT、卷皮等公司业务结合大数据平台的架构分析,希望读者能通过不同的角度从中收获到搭建大数据平台知识。

最后,互联网天生为大数据提供了极易获取数据的平台,我们正处于大数据技术爆炸疯狂的最好时代,也处于处处被记录牺牲隐私的最差时代,我们唯有顺势而为沉淀技术,才不至于被这个充满机遇和挑战的新时代提前淘汰。

ArchSummit组委会

请选择

如想获取本eMag 请回答如下问题:


在您下载此书之前……

InfoQ推出最新一期《架构师》电子书,下载该迷你书即可参加InfoQ & AWS读者回馈活动,并有机会免费获得大奖。 活动细则: 1、参与读者回馈活动首先需要下载本期《架构师》电子书 2、在下载迷你书时同意AWS进行电话回访调查,以便进一步提升用户服务体验

参与活动就有机会获得奖品

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT