BT
您现在处于全屏预览
关闭全屏预览

基于Storm利用空闲资源构建实时计算平台
录制于:

作者 肖康 发布于 2014年12月10日 | 欲知区块链、VR、TensorFlow等潮流技术和框架,请锁定QCon北京站!
41:35

概要
Storm是一个分布式实时流式计算系统,与Hadoop相比在实时、流式数据的处理方面具有天然的优势,在很多互联网公司有成功的应用。本演讲将介绍在360基于Storm构建大规模分布式实时计算平台,如何利用已有的空闲资源来满足业务的需求,在构建这个平台的过程中遇到了哪些问题以及如何解决的,特别是对于实时计算系统Storm,遇到过很多问题,做了很多改进和解决方案,包括平台稳定性、易用性、高可用等方面。

个人简介

肖康,奇虎360技术经理,微博: @肖康康康,2009年至2012年在百度从事Hadoop平台研究与建设,2012年至今在360负责大数据计算平台包括Hadoop、Storm、Spark等,熟悉Hadoop核心代码,经历了Hadoop集群从几十台到上万台规模的扩张和其中遇到的各种问题与解决方案,参与设计实现基于HBase的搜索网页库。2012年开始研究分布式实时计算平台Storm,推动Storm在奇虎360的大规模应用与改进,目前在360负责大数据计算平台的改进与应用与新技术研发。热衷于开源技术,积极参与Hadoop、Storm等开源社区并贡献代码,曾在Hadoop In China、中国大数据技术大会上担任演讲嘉宾。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

提供反馈
错误报告
商务合作
内容合作
Marketing
InfoQ.com及所有内容,版权所有 © 2006-2016 C4Media Inc. InfoQ.com 服务器由 Contegix提供, 我们最信赖的ISP伙伴。
北京创新网媒广告有限公司 京ICP备09022563号-7 隐私政策
BT

我们发现您在使用ad blocker。

我们理解您使用ad blocker的初衷,但为了保证InfoQ能够继续以免费方式为您服务,我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单,感谢您的理解与支持。