BT
您现在处于全屏预览
关闭全屏预览

大数据时代的feed流架构
录制于:

作者 杨卫华 发布于 2015年1月13日 | 欲知区块链、VR、TensorFlow等潮流技术和框架,请锁定QCon北京站!
44:21

概要
在移动时代,我们无时不刻的通过各种应用及渠道来获取信息。feed流是其中非常简单高效一种方式,从最早的聚合好友应用内的各种动态,逐渐到用户形成在各平台生产内容的习惯,feed流的信息量得以爆发式的发展。到了大数据时代,系统需要实时从海量信息中聚合及筛选大量内容,进行个性化的计算,访问的数据规模及计算量也是逐年呈数量级的上升。本主题通过在微博历年feed流架构的演进的经历来探讨feed在大数据时代的架构设计思路,探讨适合目前用户需要的信息流架构,主要内容提纲如下。典型的feed流模型,介绍典型feed设计的模型及重点考虑因素; feed扩展性演进,功能、体验及性能的平衡。通过数次大的功能的改变的案例,来介绍如何达到架构的平衡; 大数据时代的feed流架构,主要从如下两个方面展开; 数据规模问题,分级缓存解决存储容量与访问效率; 计算模型与框架:实时计算框架与计算模型设计。

个人简介

杨卫华,新浪微博技术总监,微博: @TimYang,,个人主页: http://timyang.net/,多年软件及互联网行业开发经验,2008年加入新浪,曾负责通讯服务等多个大型后端系统研发。2009年起参与新浪微博的技术架构工作,在海量及峰值访问、大数据、NoSQL存储、异地机房分布式架构及开放平台等方面参与并推动多次技术架构改进,经历新浪微博从起步到成为数亿用户的大型互联网系统的技术演进过程,目前担任新浪微博技术总监。工作之余喜欢各种技术交流,曾多次公开分享新浪微博的技术架构演进,也经常通过微博发表技术观点。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。,这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

提供反馈
错误报告
商务合作
内容合作
Marketing
InfoQ.com及所有内容,版权所有 © 2006-2016 C4Media Inc. InfoQ.com 服务器由 Contegix提供, 我们最信赖的ISP伙伴。
北京创新网媒广告有限公司 京ICP备09022563号-7 隐私政策
BT

我们发现您在使用ad blocker。

我们理解您使用ad blocker的初衷,但为了保证InfoQ能够继续以免费方式为您服务,我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单,感谢您的理解与支持。