BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

实时流系统Heron的异常检测和恢复
录制于:

| 作者 吴惠君 关注 0 他的粉丝 发布于 2018年2月20日 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。
40:55

概要
应近年来大规模实时分析的需求,很多流处理系统被开发出来。Twitter Heron开源系统就是其中的代表项目之一。这类系统要求在软件或者硬件失败的极端情况下能有较好的服务水平。为了达到这种要求,Twitter Heron系统添加了Dhalion异常检测和恢复框架来保障Heron系统的服务水平。 Dhalion异常检测和恢复框架使用polocy(策略)来整合detector(检测器)和resolver(执行器)模块。整个系统非常灵活。通过替换policy或者detector或者resolver能进行各种检测和恢复任务,包括检测back pressure(反压)指标并进行扩容,和检测负载指标并重新调度容器等等。Dhalion框架的应用给Heron系统带来了初步的自行规范调整机制。

个人简介

吴惠君博士,现任Twitter工程师,致力于实时流处理引擎Heron的研究和开发,Apache Heron committer。毕业于Arizona State University,专攻大数据处理和移动云计算,曾在国际顶级期刊和会议发表多篇学术论文,著有《Mobile Cloud Computing: Foundations and Service Models》,并有多项专利。

全球架构师峰会(International-Architect--Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT