BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Ruby基准评测套件初探

| 作者 Mirko Stocker 关注 0 他的粉丝 ,译者 李明(nasi) 关注 0 他的粉丝 发布于 2008年7月3日. 估计阅读时间: 5 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

随着Ruby实现数目的增长,人们的兴趣已经不仅仅是通过测试集合比较兼容性了(参阅RubySpec项目),而且还包括对不同实现进行基准评测。

Antonio Cangiano启动了Ruby基准评测套件项目。我们对Antonio进行了访问,了解到关于基准评测套件、套件中计划的代码类型以及其他开发者如何参与等信息。

我们询问了Antonio关于Ruby基准评测套件的计划:

Ruby 基准评测套件的主意来源于我们目前缺乏一个标准集合来衡量各个Ruby实现的性能。在我的上一次评比中,我使用的评测集合是我从Ruby 1.9的代码仓库中获取的,因为比较方便。仅凭这些测试显然不适合测量出真实的性能来。一台空转的虚拟机比另外一台快,并不意味着它们在运行系统管理脚本 或者Rails应用的时候具有同样的可比性。

因此标准基准评测的目标是通用化,以便能代表Ruby应用真实环境的诸多方面。目前我们将基准评测分为以下部分:
  • 核心特性:严格执行语言特性的基准评测,除了基本算术以外几乎不需求库中类型。
  • 核心库:专门执行Ruby的核心库中类和方法的评测。
  • 标准库:专门执行Ruby的标准库中类和方法的评测。
  • 小型评测:远离真实环境的小型通用评测。例如,对于从计算机语言评测游戏中引入的评测或者是一些经典算法。
  • 真实环境:可能是最有趣的分类了,它包括了从真实环境的程序中提取的大型评测。例如,一个优秀的日志处理脚本是很适合这个分类的。
从目前收集到的反馈和一些可选Ruby实现的开发者们(包括GemStone、Microsoft、Engine Yard和Sun的开发者们)的兴趣程度来看,我相信这个项目成功很可能会成功。

我们也询问了关于他如何组织评测的,Antonio回答到:

目前他们还都是单独的基准评测,不过我计划编写一个脚本来运行它们并报告一些测试值,包括CPU时间和内存使用。很大可能下一次评测仅仅分析执行时间,但是从长远来看内存消耗是不可忽视的,这也是服务器的一个特别重要的方面。

Tim Bray已经重新启动他的RX Ruby分词器并贡献到评测套件当中。Antonio也号召其他人来为套装做贡献:

这个项目是开源项目,基于MIT证书发布,所以欢迎任何人来贡献。我们目前托管在GitHub之上,普通贡献者可以对代码仓库进行写操作。那些对于GitHub或者Git不熟悉的贡献者们,也可以将基准点通过email发送给我(acangiano at gmail dot com)或者直接通过我们的Google群组

最佳的基准测试往往是你自己的程序,所以最有价值的贡献莫过于从真实程序中抽取的那些了,最好是来自于不同的类型(文本处理、XML处理和数字运算等 等)。刚刚提到的log处理器只是其中一个想法。例如在真实环境评测的部分,我们引入了Borasky先生的矩阵基准评测,因为其代码来自实际的数字计算 (如果不是的话就不会有那么对针对C库的优化了)。

经典算法和其他的小型评测也欢迎提交,然而正如刚才所提到的,我们需要那些能够反应虚拟机在真实环境中的性能的评测点,这样才没有争议。例如,Yarv比Ruby 1.8.6快上三倍,然而在跑真实的应用时平均只快了50%左右。另外要说的是,标准库部分也需要贡献,因为我们需要提升标准库中对类和方法的覆盖率。

我们还有兴趣知道究竟套件是仅专注于Ruby核心和标准库,还是对扩展库也进行基准评测:

我 计划如此,至少是一部分特定扩展,我们不像把套件弄得巨大。我们需要意识到许多Ruby程序员依赖于例如ActiveRecord或者 ActiveSupport这样的库,并希望看到在不同的虚拟机上这些库的表现如何。事实上,在将来的评测中,测试诸如Rails或者Merb这样的流行 框架可不是个坏主意。不成熟的虚拟机尚不能运行它们,但是这也是对评估可选Ruby实现感兴趣的用户来说很重要的信息。

最近的一次Ruby评测是在2007年的12月份,我们询问了下一次的时间安排:

我计划在6月24日运行评测并于30日以前将结果公布在我的blog上。这些天我的大部分时间都用于为Wrox出版社编写图书Ruby on Rails for Microsoft Developers了。 因此24日并不是一个随意的日子。那天这是我第三章的截止日期。如果你关注的话,我将会在Mac OS X、Linux(包括32位和64位)以及Windows Vista上测试Ruby 1.8.x、Ruby 1.9、JRuby、Rubinius、IronRuby、MacRuby、Ruby Enterprise Edition和MagLev(如果支持的话)。你需要为测试用上数天,不过我将在30日来做这件事情。

查看英文原文:Introducing the Ruby Benchmark Suite

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT