Google、Octane JavaScriptベンチマークから手を引く

Googleは、現実世界におけるメリットがないと判断して、Octane JavaScriptベンチマークのサポートから手を引くことを発表した。また、Chromeの開発に大きな変化の兆しもある。

Googleはブログで、ベンチマークは初期の段階では有益だったが、今や現在のWebページの構築方法を反映しておらず、時代遅れになっていると書いている。

Octaneはエンジン開発者の最適化に貢献してきました。C++やJavaの代わりになるくらいにJavaScriptを高速化して、計算量の多いアプリケーションを実現可能にしました。

ところが、ほとんどのJavaScript実装は2015年までに、Octaneで高スコアを得るために必要なコンパイラ最適化を実装してしまいました。それに加えて、私たちは、Octaneで高スコアを達成するためのJavaScript最適化が、現実世界のシナリオに悪影響を及ぼすことが多々あるあることに気づきました。

このニュースには皮肉な見方もある。Googleは自らのベンチマークで競合他社に負けているのだ。Microsoftはマーケティングページで、Octane 2.0のスコアによると、EdgeはChromeよりも高速だと主張している。彼らははっきりと書いている。「Googleのパフォーマンスベンチマークによると、Microsoft Edgeは、ChromeやFirefoxよりも高速です」

とはいえ、Microsoftも、人工的なベンチマークが現実世界を反映していないことには同意しているようだ。

いまだにJavaScriptのベンチマークパフォーマンスについてよく聞かれます。それは必ずしも現実世界のパフォーマンスを直接反映しているわけではありませんが、ハイレベルな意味で、また時間とともに改善されているのを見せるためには、有益かもしれません。

MicrosoftのChakra JavaScriptエンジンのプログラムマネージャーであるBrian Terlson氏は、Hacker Newsに次のようなコメントを書いた。「Octaneはベンチマークとしてはよかったのですが、もっといろいろなベンチマークとバランスをとって、常にあなたの作業を現実世界のシナリオ（私たちが最初から重視していたもの）に置く必要があります（たとえば、インタープリタを持つことは多くの現実世界のアプリケーションの起動に有益ですが、Octaneスコアにはそれほど効果がないとわかったときに）」

ブラウザベンダーは明らかに、JavaScriptパフォーマンスチェックリストの大項目のほとんどに取り組んだと感じている。WebAssemblyのような機能を利用することで、ここ数年間とは違ったパフォーマンス改善がもたらされるかもしれない。いま重要なのは、ユーザーが実際に体験していることを改善することだ。それには新しいクラスのベンチマーキングツールが必要になる。

今のところ、複数の観点からSpeedometerがよい選択肢のようだ。Jeff Atwood氏も支持しており、Chromiumチームのブログ記事も同じように言っている。SpeedometerはよくあるTodoMVCサンプルでブラウザを動かし、そのパフォーマンスを計測する。Browser Benchには、ブラウザのグラフィックステスト（Motion Mark）とJavaScriptベンチマーク（JetStream）もある。

Chromiumのブログ投稿では、現代のJavaScriptパターンに基づいてJavaScriptパフォーマンスを改善する計画について言及しており、何か大きなことが行われていることをほのめかしている。

現実世界のパフォーマンスのために設計された、新エンジンのアーキテクチャに関するアップデートを期待してほしい。

Octaneは今もGitHubから入手可能で、引き続き開発者は利用することができる。