BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Gearpump:基于Akka的新一代流处理引擎
录制于:

| 作者 钟翔 关注 0 他的粉丝 发布于 2015年6月24日 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。
45:02

概要
Gearpump是一个基于Akka Actor的轻量级的实时流计算引擎。今天的流平台需要能处理来自各种移动端和物联网设备的海量数据,系统要能不间断的提供服务,对数据的处理要能做到不丢失不重复,对各种软硬件错误能平滑处理,对用户的输入要能实时响应。除了这些系统层面的需求外,用户层面的接口还要能做到丰富而灵活,一方面,平台要提供足够丰富的基础设施,能最简化应用程序的编写;另一方面,这个平台应提供具有表现力的编程API,让用户能灵活表达各种计算,并且整个系统可以定制,允许用户选择调度策略和部署环境,允许用户在不同的指标间做折中取舍,满足特定的需求。Akka Actor提供了通信、并发、隔离、容错的基础设施, Gearpump通过把抽象层次提升到Actor这一层,屏蔽了底层的细节,专注于流处理需求的本身,能更简单而又高效的解决上述问题.

个人简介

钟翔,Intel大数据技术部工程师, Storm PMC Member。2011年加入Intel,2014年前是Intel大数据发行版开发(IDH)的核心力量,开发了IDH的几个核心功能,比如MapReduce NativeTask,HBase 大对象存储, Storm streaming等。现在主要关注实时流处理,创办了基于akka的新流处理引擎Gearpump(https://github.com/intel-hadoop/gearpump)。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT