InfoQ

InfoQ

新闻

我的书签

登录注册 以永久保存书签。

该内容已经被标记书签!

标记书签错误,请重试!

Esper近况:事件流处理框架

作者 Floyd Marinescu,Thomas Bernhardt 译者 陈俊 发布于 2007年10月15日

领域
架构 & 设计,
企业架构,
语言 & 开发
主题
Java ,
消息传送
标签
事件流处理 ,
Esper

Esper(InfoQ曾在一年前报道其1.0版本的发布消息)是一个事件流处理(Event Stream Processing,ESP)和复杂事件处理(Complex Event Processing,CEP)的系统,它可以监测事件流并当特定事件发生时触发某些行动——可看作是把数据库反过来,语句是固定的,而数据流进进出出。事件处理是软件行业的一个发展趋势,已有数家大厂商以及许多初创企业加入到该市场中。其常有的应用例子包括系统自动交易、BAM、RFID、高级监测系统、欺诈检测,甚至直接集成进SOA。InfoQ恰遇Esper的创始人,向他了解了项目的近况,以及最近的基准测试问题。

如Esper开发小组所说,Esper现在是仅有的纯Java开源ESP/CEP引擎,由EsperTech公司提供商业支持服务,而这个公司也在维护一个同样的.Net项目。

BEA得到了Esper授权,将在修改后在加入到六月发布的WebLogic Event Server中。根据多方面的反馈,Thomas跟InfoQ谈道:

我相信Esper在BEA的产品中占一席位的事实,在多个方面都有助于Esper的发展。首先,我们所获得的反馈的声音对于Esper的改进有很重要的作用。其次,BEA的产品从总体上提高了CEP/ESP技术的知名度,并且因此扩大了市场的共识。第三,这是Esper技术的开放性,可扩展性,适应企业级应用的最好的证明。Esper社区和用户群都真的为此而感到自豪。

随着市场空间的扩大,多种实现之间出现的竞争,标准化能给该行业带来一定的好处。Thomas对CEP语言标准化的潜力和背景作了评价:

CEP社区显然把CEP和ESP看作是互补的,并且认为其他手段(如贝叶斯网络或神经网络)也可应用于CEP的问题。由于存在各种实现技术,各厂商又各执己见,ANSI SQL标准化委员会在扩展SQL基础上所提供的“行序列的模式匹配”似乎成为最重要的曙光。

对于这个初步的课题当然会有进一步的研究,并且标准化很可能会超出ESP/CEP语言标准化的范围。

Esper近期最突出的消息是在八月中旬发布了一个性能基准测试工具及公布了性能测试结果

Esper在双2GHz CPU的Intel系统测试环境下,处理超过500 000个事件/秒;在VWAP基准测试中在有1000语句的情况下,引擎延时平均小于3微妙(在10us时超过99%的预测准确率)——最高时有70 Mbit/s流量并占用85%的CPU资源。

虽然这个基准测试是基于一个相当简单的用例,其发表的目的是震动整个行业,因为它提供了完整的工具集来重现测试结果。Esper事件服务器监听远端客户端通过网络传送过来的股票市场事件信息。Esper引擎是通过一个滑动的时间窗口或事件窗口,来实时计算输入信息的成交量加权平均价。当被问及该基准测试的必要性时,Esper回应道:

整个CEP市场已被含糊不清的信息所包围,每个厂商都在各自的宣传单上做文章,避开详细地交待实际性能和延时。在这个领域中还没有对它们作比较的基准测试。

在这个行业中含糊的性能信息已经受到Progress Apama其他人的批评。以下是来自于Apama的博客中的抱怨的声音:

……Skyler处理速度高达200,000条/秒……主要特征:Coral8每秒处理从数千到百万计的事件……StreamBase性能领先,每秒处理超过1百万个事件,反应时间接近零……Aleri Labs打破了亚毫秒反应时间的障碍……
Apama自己也说过“一个能处理数千事件每秒的高性能、可伸缩的引擎”这种话。同样的措词在BEA也能找到,WebLogic Event Server公告了似乎较差但较为精确的指标“当我们的产品准备好,它将提供50,000复杂事件/秒的处理速度”。

那些测试结果似乎确定了在这个领域里“数十万”事件每秒是普遍的,毫无例外。同时也正显示了Esper在特定场景中的性能表现。它同样给了用户群有价值的工具来更好地得知实际性能,而不是听信厂商任意的令人充满疑惑的宣传,对有价值的开源软件普遍怀有的偏见。

Esper小组已经在其wiki上发布了所有运行的详情,并且已更新了网页的性能部分和性能最佳实践部分。另一个基准测试的来源是最近成立的STAC基准测试委员会,该委员会的目的是为技术的交易而提供由客户推动的基准测试标准。

请点击这里获取InfoQ之前有关Esper和CEP背景的相关报道:http://infoq.com/esper

查看英文原文:Catching up with Esper: Event Stream Processing Framework
ESP,PSE主要的应用在那些方面? 发表人 Jing Logan 发表于
  1. 返回顶部

    ESP,PSE主要的应用在那些方面?

    发表人 Jing Logan

    ESP,PSE主要的应用在那些方面?

深度内容

大规模视频网站的计费与流量管理

本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011

专访Jeffrey Richter:Windows 8是微软的重中之重

Jeffrey Richter以其多本Windows核心技术的经典著作而闻名,同时,他深入掌握微软的.NET等一系列核心技术,2012年1月,Jeffrey Richter在北京接受了InfoQ中文站的专访,谈到Windows 8和WinRT编程,并就异步编程、Windows编程中的可扩展性、性能和安全性方面给出自己的建议。

应用云平台的可用性——从新浪SAE看云平台设计

云计算平台的可用性,相比传统互联网服务而言,更加复杂和困难,也更具有挑战性。本文借助新浪SAE云平台为读者讲述了云平台可用性的定义、如何打造高可用的平台,以及对云计算的用户提出了建议。

JVM定制改进 @ 淘宝

淘宝高度重视Java平台的健康发展,组建了一个团队专注于Java平台的底层部分的性能、功能与稳定性改进;工作主要基于OpenJDK中的HotSpot VM开展,其中一些通用的功能随后也会逐渐反馈给OpenJDK社区。希望能与使用Java平台开发应用的大家交流经验。
本次演讲视频录制于QCon杭州2011

"伤得起"的云计算应用——对云端应用之架构的思考

2011年4月21日至22日是值得云计算从业者纪念的日子。Amazon的IaaS服务出现故障,导致许多商业网站的服务中断,影响非常严重。作为云计算用户,我们需要思考的是,如何保证即便在云服务不可用的情况,我们的应用架构仍然能够屹立不倒?本文正是站在云计算用户的角度试图探讨这一问题。

让交付的速度跟上思考的速度

12人的技术团队,4组刀片服务器,每月20亿的访问量,每日1次准时部署,99.9%的可用性。这可能吗?当然。想知道如何做的吗?百姓网将与您分享他们在DevOps实践过程中的经验和技巧。
本次演讲视频录制于QCon杭州2011

架构之路——穿行在产品和业务之间

篱笆作为一家起源于社区的电子商务公司,反映到技术层面就是同时要面对产品和业务,以及经营战略的变化调整。如何在产品和业务的夹缝之间完成技术架构的抽象与平衡,寻找更有效的价值定位,这当中有些经验教训和个人感悟愿与众人分享。
本次演讲视频录制于QCon杭州2011

特性注入:成功三部曲

本文将对特性注入以及相关方法做一个扫盲性的介绍。我们会解释这个框架的关键要素,并附上实例来证实它们。为了让文章保持相对较短,我们不会深入到某个工具或方法中,而是会给出一些参考资料,以便大家做进一步的研究。