Cloudflare社の年次総括：AIボットの過剰クロールと耐量子暗号50％到達、Goが倍増

原文リンク(2025-12-31)

Cloudflare社は最近、Radar Year in Reviewの第6版を公開した。結果は、世界のインターネットトラフィックが前年比19％成長したこと、Googlebotの支配的地位、クロール対リファラ比率の上昇、耐量子暗号の広範な採用を明らかにしている。自動化されたAPIリクエストの20％超はGoベースのクライアントによるもので、前年からほぼ倍増した。

1.1.1.1のパブリックDNSリゾルバへのトラフィックに関する匿名化クエリデータを含む、広範なCloudflare社のインフラから得られたデータを活用し、本年次レポートは2025年のインターネットを特徴づけた混乱、進展、指標を分析している。レビューはトラフィック、AI、採用と利用、接続性、セキュリティ、メールセキュリティといった各セクションで構成され、過去と同一の手法を用いている。

年間で世界のトラフィックが19％成長し、GoogleとFacebookが依然としてもっとも人気の高いサービスである一方、Starlinkは前年比2.3倍という顕著な成長を示した。

IPv4アドレスの連続を、近接するIPアドレス同士が近くに配置される二次元パターンで可視化するヒルベルト曲線を用いた分析により、GooglebotのWebクローラがもっとも人気であることが判明した。Cloudflare社でデータインサイト責任者を務めるDavid Belson氏は次のように述べている。

Googlebotは2025年においても、検索インデックス作成やAI学習のために数百万のCloudflare顧客サイトをクロールし、Cloudflareへのリクエストトラフィック量で最大の割合を占めました。

さらに、Googlebotは検証済みボット由来トラフィックの28％超を占め、Google AdsBot（Google広告が配信されるサイトを監視するために使用される）、Google Image Proxy（電子メールメッセージに埋め込まれた画像を取得しキャッシュするために使用される）、GoogleOtherが検索企業としての優位性を一段と高めた。OpenAI社のGPTBotとMicrosoft社のBingbotが、それぞれ7.5％、6％で続く。

レポートは、AIプラットフォームがソースサイトへ十分なトラフィックを返さずに、積極的にコンテンツをクロールしている実態を示しており、クロール対リファラ比率は2024年から上昇した。Anthropic社は最大500000対1に達し、OpenAI社は3,700対1に達した。Perplexityは主要AIプラットフォームの中でもっとも低いクロール対リファラ比率を示した。

CloudZero社でリサーチディレクターを務めるJeremy Daly氏は、ニュースレターで次のように要約している。

コンテンツに飢えたAIボットに満ちた1年を総括するCloudflare社の優れた年次レビューです。（Googlebotだけで全HTMLリクエストの4.5％を占め、『ユーザーアクション』型クロールは15倍に跳ね上がりました。）人間によるWebトラフィックの半数超が耐量子暗号化され、主要なインターネット障害は174件に達しました。

レポートによると、ハイパースケーラーであるCloudflare社は、ネットワークエッジでAIモデルを直接実行するプラットフォームWorkers AI上で、Meta社のllama-3-8b-instructモデルがもっとも人気であり、タスク種別ではテキスト生成が最多であると認めている。

2025年にはHTTP/3とHTTP/2を用いたリクエストはいずれもわずかに増加した。一方で、人間が生成したWebトラフィックの半数が耐量子暗号を使用しており、「今収集して後で復号する」攻撃から保護している。この比率は年初の29％からほぼ倍増した。

出典: Cloudflare blog

例年同様、チームはCloudflare RadarのURL Scannerを用いて、上位5000ドメインにおけるもっとも人気の技術とサービスを特定した。その結果、JavaScriptベースのライブラリとフレームワークがWebサイト構築に不可欠なツールであり続けていることが分かった。Belson氏は次のように付け加えている。

jQueryは高速で小規模、かつ多機能なJavaScriptライブラリであると自称していますが、当社のスキャンでは、画像カルーセル表示に使われるSlickよりも8倍多くのサイトで確認されました。ReactはWebインターフェース構築に使われるJavaScriptフレームワークとして首位を維持し、Vue.jsの2倍のサイトで見つかりました。

PHP、Node.js、Javaは引き続きもっとも一般的に使用されるプログラミング技術であり、Ruby、Python、Perl、Cといった代替技術に対して明確な優位を保っている。Hacker Newsでの人気ディスカッションでは、ASP.NETとC#の相対的なシェアに疑問が呈され、ユーザーの nic547 氏は次のように書いている。

ASP.NETは多くのプログラミング言語を意味し得るし、ASP.NETサーバーがそれを開示しているとは思えない。大半がC#だと推測するのは安全だろうが、それには別の指標が必要だ。

API関連リクエストを分析した結果、Cloudflare社はAPIクライアント構築に使われる主要言語を特定した。自動化APIリクエストの20％はGoベースのクライアントによるもので、2024年の12％から大幅に増加した。Python、Java、Node.jsがこれに続く。

出典: Cloudflare blog

実務者はクラウド障害に注目しがちだが、2025年に観測された障害の約半数は「学術試験での不正防止」を目的とした計画停止によるものであった。その他は抗議活動や社会不安、海底および国内の光ファイバーインフラに影響を与えるケーブル切断に関連していた。

例年と同様、ハイパースケーラーは、レイヤー3および4で動作し、毎秒1テラビット超または毎秒10億パケット超に達する攻撃として定義される、超大規模ネットワーク層攻撃の頻度と規模が増大している点を強調した。Cybernara社創業者のChirag Goswami氏は次のようにコメントしている。

インターネットは曲がり角を迎えています。ボットは新たな常態です。DDoS攻撃は記録を更新しました。そしてBGPの一度のミスで、今でもWebの半分が停止し得ます。Cloudflare社のRadar Year in Reviewは単なる統計ではなく、いかにインターネットが脆弱で、高速で、ボットに侵食されているかを示すストレステスト報告書です。

Cloudflare Radar 2025 Year in Reviewのマイクロサイトでは、国別およびリージョン別の動向を含む、より詳細なデータが提供されている。