BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Secret Kung Fu of Massive Scale Stream Processing with Apache Samza
录制于:

| 作者 刘新宇 关注 0 他的粉丝 发布于 2018年2月24日 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。
41:00

概要
事件处理是场争分夺秒的比赛,需要在秒级甚至毫秒级内提供更好的关联性和精确性。 为了赢得这场比赛,在过去领英5年的生产环境中,我们已经稳定地运行了400+Samza 应用程序,每天处理超过万亿事件,在这一切背后,领英拥有怎样的秘籍呢? 在这次分享中,我们将观察 Samza 的以下特性: a)一个流处理API,允许用户专注于处理逻辑,而不用担心执行细节; b)灵活的部署模式,我们能够在Yarn集群或AWS'EC2集群中运行Samza应用; c)在本地持久化中间状态,从而轻松应对大规模的有状态应用的扩展 d)支持异步处理,因此能够允许远程数据I/O支持整个事件消费产生的吞吐量。 e)最后,我们还会探索Samza作为一个平台如何兼容流处理和批处理两种模式。

个人简介

刘新宇, LinkedIn Staff Software Engineer, Staff software engineer at LinkedIn Data Infra team, and Apache Samza committer. Experienced in large-scale distributed systems, real-time stream processing, massive messaging platform, web services and RESTful middleware. Graduated with Master degree in Computer Science at the University of Virginia.

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT