BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

网络爬虫服务80legs介绍

| 作者 Abel Avram 关注 7 他的粉丝 ,译者 马国耀 关注 1 他的粉丝 发布于 2010年1月1日. 估计阅读时间: 2 分钟 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

80legs在由5万台计算机构成的Plura网格 上每天抓取200万网页。80legs的CEO,Shion Deysarkar,他们的爬虫服务的服务对象是:无能力架设大型网格系统的搜索引擎、做市场调研的公司、监控版权侵权活动的组织和监听竞争对手动向的广告公司等。

通过创建一个任务(job)并让其执行的方式可以实现对该服务的按需访问。像所有的爬虫进程一样,该任务需要一个存放在本文中的种子(seed)列表,文件大小不能超过1G。它的其他参数有:

  • 发出链接—— 用于从一个种子的抓取结果指定需进一步抓取的链接。
  • 深度—— 为种子(seed)限定的URL深度。
  • 抓取类型—— 同时多种深度或者一次一种深度
  • URL数量—— 指定最大可抓取的URL数量。
  • MIME类型—— 指定抓取的页面类型
  • 分析选项—— 有多种分析类型供选择,如关键字匹配,正则表达式匹配,运行客户程序进行分析等。

运行任务时,爬虫从起初提供的种子开始抓取Web页面,参考发出链接的设置,对抓取的内容进行分析。它提供了简单的分析,如指定匹配关键字 或基于正则表达式筛选信息。但是,在抓取的数据之上进行复杂分析需要由客户应用程序或预生成的80legs应用程序完成。分析程序只能用Java编写。80legs计划设立一个应用商店,在这里开发人员可以以合理的价格出售他们的应用程序并赚得收入。80legs还发起了一项竞赛来吸引开发者。

付费订阅提供了与爬虫引擎的Python API方式的访问。Perl API正在计划之中。免费订阅者只能通过80legs门户创建并控制任务。

80legs提供了一项有少许限制的免费计划:一次一个任务,100k个网页且每个网页不大小超过100KB,10MB上限的分析程序(Java Jar),无API,每秒种可在搜索域中执行一次搜索。此外,它还提供了两项付费订阅方案,最好的方案提供5个可重复的并 发任务,10M个网页/任务,10MB/页,10M Jar,10次搜索/秒/搜索域,价格是$2/百万网页及3美分/每CPU小时。


查看英文原文:80legs Is a Web Crawling Service
 

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

哦?还有这样的服务啊? by Ma Karl

哦?还有这样的服务啊?

Re: 哦?还有这样的服务啊? by 冯 希顺

难道还有人对云计算表示怀疑吗?

看上去很便宜的样子啊 by Jeffrey Zhao

难道不是吗?不过还有个关键好像是,如何把抓取下来的内容传输到本地……

Re: 看上去很便宜的样子啊 by 晁 晓娟

难道不是吗?不过还有个关键好像是,如何把抓取下来的内容传输到本地……

远程web界面访问不够吗?

哈哈 80legs貌似很好玩····玩了下 没玩明白 by yang yang

哈哈 80legs貌似很好玩····玩了下 没玩明白

网络信息的分类与卒取会成为主流 by maoquan xu

问题是,当互联网上的提取爬虫变多的时候,当前的带宽能否承受?会类似BT时间一样,遭到电信企业封锁么?

应该类似GAE的Url fetcher吧 by Tan Benjamin

应该类似GAE的Url fetcher吧,另外,有个明显的错误错误:“每天抓取200万网页”,应该是"每天抓取20亿网页"

其他爬虫服务 by data chong

chongdata.com 也是类似的爬虫服务

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

8 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT