InfoQ

InfoQ

技术演讲

我的书签

登录注册 以永久保存书签。

该内容已经被标记书签!

标记书签错误,请重试!

录制于:
Recorded at

Web请求异步处理和海量数据即时分析的淘宝实践

演讲人 岑文初 发布于 2011年11月17日 长度 01:01:14     下载 MP3
     幻灯片
领域
架构 & 设计
主题
QCon ,
互联网 ,
社区 ,
会议 ,
淘宝
 

您喜欢以何种方式显示该演讲?

如果您在观看视频的过程中出现故障,请根据下面的提示帮助我们查找问题所在:
1. 在视频播放器上点击右键,选择复制日志(Copy Log);
2. 将复制后的内容通过邮件video-issue@infoq.com发送给我们(直接点击该邮件链接可以启动默认邮件客户端);
注意:如果您的邮件客户端没有自动填充邮件标题,请在邮件中包含该视频的URL链接。
3. 完成。
我们将第一时间调查您遇到的问题,并给您反馈。感谢您帮助优化我们的站点!
概要
淘宝开放平台当前每天处理15亿的服务调用,后端开放近500个服务,为了保证服务的稳定性和效率,采用了Web请求异步化隔离对后端服务提供者系统稳定性的强依赖,在单个或者部分服务不稳定情况下依旧保证平台整体高效,稳定的处理海量请求。另一方面出于安全,稳定性,业务趋势分析的要求,每2分钟的周期需要对所有流过系统的数据做业务和系统数据的分析,作为告警,监控,统计分析的基础,利用分布式计算模式和统计模型抽象来满足海量数据下各种分析灵活变化和即时产出。本次分享主要涉及到架构设计和代码优化细节两部分,同时也希望能够有更多的碰撞和改进。

个人简介
岑文初,06年3月加入阿里巴巴CRM团队,07年初参加阿里软件创业团队,主要负责阿里软件基础平台(SAAS平台),08年初与淘宝合作开发阿里巴巴最早的开放平台。09年离开阿里云基础团队转入淘宝,主要负责开放平台整体架构的设计和核心框架的实现,为开放平台在安全,性能,可用性上实现了一系列的框架和工具:分布式数据统计分析集群框架,异步化Web请求处理PipeComet框架等等。对开放平台的授权,服务接入,访问控制都有一些技术创新。在阿里巴巴的5年工作中已经被受理了10多项专利,主要分布在开放平台架构,开放服务安全算法,系统并发处理优化设计。

关于会议
QCon全球企业开发大会(QCon Enterprise Software Development Conference)是由InfoQ网站主办的全球顶级技术盛会,每年在伦敦、北京、东京、圣保罗、旧金山等城市召开,今年是第一次在中国杭州举办。自2007年3月份在伦敦召开首次举办以来,已经有包括金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。
学习学习 发表人 Xingchang Jiang 发表于
接着看 发表人 易 鸿伟 发表于
视频太差 发表人 tian don 发表于
Re: 视频太差 发表人 tian don 发表于
Re: 视频太差 发表人 jacky sun 发表于
Re: 视频太差 发表人 jacky sun 发表于
不错 发表人 eagle Flyingpig 发表于
受益匪浅 发表人 song allan 发表于
。。。 发表人 Lee Morris 发表于
不只是这个视频,几乎全站的视频都很卡,admin 大侠,帮我们解决一下吧 发表人 辉 林 发表于
我花了一天时间也没有看到这个视频的资料.我非常失望 发表人 王 夏斌 发表于
Re: ppt下不了啊 发表人 田 美嘉 发表于
Re: ppt下不了啊 发表人 田 美嘉 发表于
Re: ppt下不了啊 发表人 田 美嘉 发表于
好多没说完好可惜啊 发表人 王 夏斌 发表于
ppt,mp3都下载不了 发表人 wang sheng 发表于
  1. 返回顶部

    学习学习

    发表人 Xingchang Jiang

    学习学习,这次坐前排啦,好好研究研究

  2. 返回顶部

    接着看

    发表人 易 鸿伟

    昨天没看完,今天继续看

  3. 返回顶部

    视频太差

    发表人 tian don

    视频太差,断断续续

  4. 返回顶部

    Re: 视频太差

    发表人 tian don

    我建议直接和优酷或者其他视频平台合作,提供视频播放,提高体验!

  5. 返回顶部

    Re: 视频太差

    发表人 jacky sun

    支持,根本无法看!!!

  6. 返回顶部

    Re: 视频太差

    发表人 jacky sun

    infoq应该尽快解决视频播放问题!

  7. 返回顶部

    不错

    发表人 eagle Flyingpig

    非常不错,有些干货,不过视频为啥突然结束了?
    比较关注其中的一些细节点。

  8. 返回顶部

    受益匪浅

    发表人 song allan

    请求异步化和管道的思想很有参考价值。我在做一个Open Social APIs的项目,以标准Rest API的方式来开放公司后端的多个服务,而这些服务也是异构的。目前在比较初步的阶段,所以还没有出现太复杂的问题。

  9. 返回顶部

    。。。

    发表人 Lee Morris

    。。。前半部一直在扫盲

  10. 返回顶部

    不只是这个视频,几乎全站的视频都很卡,admin 大侠,帮我们解决一下吧

    发表人 辉 林

    不只是这个视频,几乎全站的视频都很卡,admin 大侠,帮我们解决一下吧

  11. 返回顶部

    我花了一天时间也没有看到这个视频的资料.我非常失望

    发表人 王 夏斌

    我花了一天时间也没有看到这个视频的资料.我非常失望

  12. 返回顶部

    Re: ppt下不了啊

    发表人 田 美嘉

    点进去是空白页

  13. 返回顶部

    Re: ppt下不了啊

    发表人 田 美嘉

    谁有?帮忙发一下呗
    我的邮件flyforheart@gmail.com

  14. 返回顶部

    Re: ppt下不了啊

    发表人 田 美嘉

    不用了 我在google上找到了ppt资源

  15. 返回顶部

    好多没说完好可惜啊

    发表人 王 夏斌

    后面好多东西.视频里面都没说完.可能是被剪掉了.太可惜了.希望以后可以有机会看到完整的

  16. 返回顶部

    ppt,mp3都下载不了

    发表人 wang sheng

    ppt下载进行到一大半之后就停了。

深度内容

书摘和访谈:ActiveMQ in Action

在这篇文章中,InfoQ对《ActiveMQ in Action》一书的合著者Bruce Snyder进行了采访,向他了解编写这本书的主要动机、ActiveMQ容器里的事务管理和消息安全,还有消息服务领域的发展趋势。

Hadoop in 360——专访360系统部总监唐会军

在前不久的Hadoop in China 2011大会上,360系统部总监唐会军接受了InfoQ的专访,谈到360公司内部对Hadoop的使用,并对Hadoop项目和HBase面临的挑战提出了自己的看法。以下是采访实录。

富交互应用前端架构

如何使用 HTML5 加速产品界面的迭代;如何使用 MVC 模式降低前端业务逻辑耦合度,来实现"前端业务逻辑和开发效率的提升"。

前端开发中的自动化构建系统

在前端开发工作中,受语言和架构所限,我们通常会开发类库或工具来解决一些常见的问题。但是这些工具往往不能很好地与系统集成,增加了工程师学习和使用的成本。针对这些问题,百度实现了一个完整的自动化构建系统。此次演讲将与大家分享这套自动化构建系统的思路和实践。

深入分析Volatile的实现原理

在Java多线程并发编程中,synchronized和Volatile都扮演着重要的角色,Volatile是轻量级的synchronized,它在多处理器开发中保证了共享变量的“可见性”。本文将深入分析在硬件层面上Inter处理器是如何实现Volatile的,通过深入分析能帮助我们正确的使用Volatile变量。

大规模SNS中兴趣圈子的自动挖掘

随着国外的facebook、twitter以及国内的人人、新浪微博等SNS及内容分享平台的逐步流行,如何从上亿的海量用户中自动挖掘兴趣圈子成为了一个有趣也非常必要的工作。本文讲述了在SNS平台下,如何对海量数据自动进行兴趣圈子挖掘。

MongoDB在盛大大数据量项目中的应用

当你为MongoDB schema-free的特性欢欣鼓舞时,却苦于无人运维;当你看到网上MongoDB性能评测相当优越,却在应用中不尽人意;当你使用MongoDB顺风顺水,心里正在窃喜不已,却被一场事故把数据搞的一塌糊涂。希望本次的分享能够解决你的一些后顾之忧。
本次演讲视频录制于QCon杭州2011

飞信开放平台的资源分配与控制策略

飞信开放平台是一个内容合作型业务,核心是通过OPEN API开放汇聚内容服务的Feed,包括微博、SNS,视频,电商等等。在一个多合作伙伴并存的开放环境中,飞信开放平台采取了多样性的资源控制策略为合作伙伴提供可控范围的服务,并优化用户体验。
本次演讲视频录制于QCon杭州2011