BT

ウェブクローリングサービス 80legs

| 作者: Abel Avram フォローする 10 人のフォロワー , 翻訳者 大田 緑 - (株)チェンジビジョン フォローする 1 人のフォロワー 投稿日 2010年1月11日. 推定読書時間: 2 分 |

原文(投稿日:2009/12/30)へのリンク

 

80legsは、1日に20億ページ以上をクロールするために、5万台を超えるコンピュータにPluraのグリッドを利用する。80legsのCEO、Shion Deysarkar氏によると、80legsのクローリングサービスをリクエストするのは、大体、大規模なグリッドを持つ余裕のない小さなサーチエンジン、市場調査を行う会社、著作権の侵害を監視する組織、競合相手が何をしているか探っている広告会社などだ。

このサービスは、ジョブを設定して実行することで、オンデマンド式でアクセスできる。クローリングプロセスとして、ジョブは1ギガまでのテキストファイルに含まれるシードの一覧が必要だ。その他のジョブパラメタは以下の通りだ。

  • 出力リンク – シードからリンクをたどってクロールするとき、リンクを特定するのに使われる。
  • 深さのレベル – シードからのURLのレベル
  • クローリングタイプ – 同時に様々な深さ、または、一度に1つだけの深さ
  • URLの数 – クロールするURLの最大数を指定する
  • MIMEタイプ – クロールするページタイプを指定する
  • 分析オプション – キーワードマッチング、正規表現、カスタムコードの実行などいくつかの分析オプションがある

ジョブが実行されると、クローラーは出力リンクオプションを考慮しつつ、シードからウェブページを読み始め、ページの内容を分析する。簡単な分析は、マッチするキーワードを指定するか、正規表現に基づいて情報を選択することで可能だが、複雑な分析は、カスタマイズされたアプリケーションや事前に構築された80legsアプリケーションを使うことで、データ上で実行できる。この分析アプリケーションはJavaで書かれている必要がある。80legsは、開発者が自分のアプリケーションを好きな値段で売って、その収入をすべて回収できるアプリケーションストアを開くことを計画している。80legsは開発者を引き寄せるコンテストを始めた。

有料の購読では、クローリングエンジンと情報のやり取りをするPython APIにアクセスできる。Perl APIの計画もある。無料購読者は80legs Portalを通してジョブを作成してコントロールできる。

制限のある無料プランがある。一度に1ジョブで、最大100KBのページが10万ページ、10MBの分析アプリケーション (Java JAR)、APIなし、ドメインの検索は1秒に1ヒット。有料購読は2種類ある。一番いいプランは、5つ同時に繰り返し可能なジョブを提供する。1ジョブにつき1000万ページ、1ページにつき10MB、10MBのJAR、1ドメインで1秒間に10ヒット、100万ページのクローリングは2ドル、CPUの1時間あたりの使用料は3セントだ。

 

この記事に星をつける

おすすめ度
スタイル

こんにちは

コメントするには InfoQアカウントの登録 または が必要です。InfoQ に登録するとさまざまなことができます。

アカウント登録をしてInfoQをお楽しみください。

あなたの意見をお聞かせください。

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする
コミュニティコメント

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

HTML: a,b,br,blockquote,i,li,pre,u,ul,p

このスレッドのメッセージについてEmailでリプライする

ディスカッション

InfoQにログインし新機能を利用する


パスワードを忘れた方はこちらへ

Follow

お気に入りのトピックや著者をフォローする

業界やサイト内で一番重要な見出しを閲覧する

Like

より多いシグナル、より少ないノイズ

お気に入りのトピックと著者を選択して自分のフィードを作る

Notifications

最新情報をすぐ手に入れるようにしよう

通知設定をして、お気に入りコンテンツを見逃さないようにしよう!

BT