BT
您现在处于全屏预览
关闭全屏预览

Twitter Heron: Streaming at Scale
录制于:

| 作者 符茂松 发布于 2016年1月21日 | 欲知区块链、VR、TensorFlow等潮流技术和框架,请锁定QCon北京站!
47:28

概要
数据规模的增长,人们对运行响应速度的要求比你我想象得还要快,还要快。我会从大数据时代对实时分析的需求出发,对需求进行分析,以及如何设计实时处理框架,现存的实时处理框架是如何满足这些需求的。我会着重分析Twitter的两代实时分析框架,Storm 和 Heron。作为Twitter Heron的作者之一,我从无到有地对实时分析框架进行了分析,设计和实现。但分布式领域水深, 我也是初窥门径,很希望可以和大家多多交流。

个人简介

符茂松,摩尔定律逐渐失效,系统设计者再也无法简单地通过硬件升级来获得巨大的性能提升;但人们需要处理的数据规模和对结果的响应速度需求,增长得越来越快。这时候,我们希望可以把过去的单机任务分割给许多计算机进行并行处理。我们需要分布式系统,从资源的分布式管理,分布式消息分发,分布式计算,到分布式存储等等。我目前在Twitter 工作,关注分布式系统领域,包括分布式实时分析,分布式消息分发和分布式存储。 另一方面,我致力于将理论研究工业化,和团队成员一起设计实现了 Storm/Heron等实时处理框架。我们很乐意分享工业化成果,在多个学术会议,大数据相关峰会,以及学校做过专题演讲。此外,我们在 2011年开源了Storm,后者成为目前业界最流行的分布式实时分析框架。分布式领域水深, 我也是初窥门径,目前也在编写实时分析相关技术书籍,很希望可以和大家多多交流,合作。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。自2007年3月份首次举办以来,已经有超万名高级技术人员参加过QCon大会。QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上的技术团队负责人、架构师、工程总监、高级开发人员分享技术创新和最佳实践。

BT