BT

InfoQ ホームページ ニュース GoBGPとOpen vSwitchを使用したスケーラブルなネットワーキングモデルへのDigitalOceanの道のり

GoBGPとOpen vSwitchを使用したスケーラブルなネットワーキングモデルへのDigitalOceanの道のり

ブックマーク

原文(投稿日:2020/06/07)へのリンク

DigitalOceanのネットワークエンジニアリングチームは、Open vSwitch(OVS)やその他のツールを使用して、クラウド内の仮想マシンへのトラフィックをレイヤー2からレイヤー3ベースのルーティングモデルに切り替える取り組みについて書いた

インフラストラクチャが世界中に広がっているDigitalOceanは、パブリックインターネットトラフィックを仮想マシンに転送するためのレイヤー2(L2)ベースのルーティングメカニズムに対して、パフォーマンス、信頼性、スケーラビリティの課題に直面した。彼らは、ラベルスイッチングとボーダーゲートウェイプロトコル(BGP)を利用してこれらを軽減し、レイヤー3(L3)ベースのClosデータセンタートポロジに切り替えた。

各仮想マシン(VM)(DigitalOceanの用語ではDropletとも呼ばれる)には、パブリックインターネットからルーティング可能なパブリックIPv4アドレスがある。ネットワークパケットは、Open vSwitchを介してVMにルーティングされる。Open vSwitchは仮想ネットワークスイッチの実装である。利用可能なIPv4アドレスの範囲が数年前に不足し始めたため、IPを再利用できることが重要であるとCarl BaldwinとJacob CooperはOVSとOVN2019会議の講演で述べている。DigitalOceanでの初期設定では、デプロイが簡単なため、L2ルーティングを使用していた。データセンター内のほとんどのコンポーネントは、箱から出すとすぐに通信できる。VMはL2ネットワーク上で直接ブリッジされた。この主な課題は、インフラストラクチャの成長に伴うスケーラビリティであった。L2を介したルーティングとは、アドレス解決プロトコル(ARP)を使用して他のマシンを見つけることである。ARPはブロードキャストプロトコルであるため、ネットワークを溢れされる可能性のある大量のトラフィックを生成する。また、チームはルーティングが変更されるたびにハードウェア構成が更新されるのを避け、障害による影響を最小限に抑えたいと考えていた。これらは両方とも、古いL2ベースのセットアップでは問題であった。

これに対する解決策は、OVSを使用したL3ルーティングを使用することであった。InfoQは、DigitalOceanのネットワーキングスタッフエンジニアであるArmando Migliaccioに連絡を取り、移行について詳しく調べた。

Dropletsのゲートウェイはコアスイッチ上にある。このような問題に対する一般的な答えは、「ネットワークを仮想化する」ことであると、とMigliaccioは言っている。つまり、ソフトウェア定義ネットワーク(SDN)ソリューションを使用することである。また、彼はターンキーソリューションは彼らの要件に適合しなかったであろうと付け加えた。トンネリングなどの一般的なソリューションには高いパフォーマンスオーバーヘッドがあり、すでにデプロイされているほとんどのネットワークインターフェイスカードにハードウェアサポートがないため、VXLANは現実的ではなかった。


画像提供:DigitalOcean(許可を得て使用)

チームは最終的に、ラベルスイッチング(ネクストホップアドレスではなくショートパスラベルに基づくルーティング技術)とBGP(インターネット全体で広く使用されているL3ルーティングプロトコル)の組み合わせに落ち着いた。新しいトポロジはClosネットワークであり、他の組織も過去に同様の変更を行っている。会議の講演によると、チームは大規模なデータセンターでBGPを使用して課題を回避するための自動化を開発する必要があった。Migliaccio氏は、「ネットワークの自動化については、とりわけAnsibleとSaltに大きく依存している」と述べている。GoBGPBIRD、OVSが主要コンポーネントを形成した。Migliaccioは、OpenBGPDのような類似のソフトウェアと比較してGoBGPを選択する背景にある考慮事項について説明している。

GoBGPを選択したのは、主に、dropletsイベント(つまり、作成、破棄など)を追跡するHVで実行される特注のコンポーネントにサービス/ライブラリを埋め込む必要があるためです。このコンポーネントはGolangで記述されています。事前に知識を持っていたため、Golangライブラリを選択することは理にかなっています。これにより、インテグレーション作業が簡素化されます。

スイッチで既存のラベルスイッチング機能を活用するために、彼らは「各ハイパーバイザーに対してラベルスイッチパス」を作成し、「ピュアIPの代わりにそれらを介してパブリックトラフィックをルーティングした」。古いルーティングメカニズムから新しいルーティングメカニズムへの移行は、顧客のダウンタイムなしにシームレスである必要があった。これを解決するために、L2とL3の両方でOVSを使用してパラレルデータパスを追加し、「ハイパーバイザーからDropletsを退避」することなくトラフィックを再ルーティングできるようにした。また、さまざまなチーム(エンジニアリングと非エンジニアリングの両方)に「かなりの量の部門横断的なコミュニケーション」が必要であるとMigliaccioは主張し、移行について技術的ではない詳細を説明している。

その大部分は、TPMチーム(技術プロジェクト管理)の助けを借りて対処された。顧客とのコミュニケーションについては、ロールバックなどによる予期しない障害に対処するために、各地域でのデプロイプロセスを複数のステップに分割しました。そして、各ステップで、ワークロードに影響を与える可能性のある顧客に自動のコミュニケーションを送信しました。デプロイした各地域で、いくつかの問題が発生し、一部の顧客に対して一時的なネットワークのダウンタイムがありました。しかし、全体として、取り組みの規模と複雑さを考えると、結果について圧倒的にポジティブに感じています。

残りのデータセンターにおけるL3への移行は進行中であり、2020年まで続くであろう。

この記事に星をつける

おすすめ度
スタイル

特集コンテンツ一覧

.NETエコシステムの紹介

David Pine 2019年11月7日 午後7時48分

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。