BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

百度技术沙龙第5期回顾:现代搜索核心技术(含资料下载)

| 作者 霍泰稳 关注 1 他的粉丝 发布于 2010年8月20日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

在上周六举行的百度技术沙龙活动上,来自百度搜索技术部的研究员殷庆轩和去哪儿网站的搜索技术负责人何伟平,分享了如何提高搜索引擎的时效性,以及数据库在现代搜索技术中的应用。本文对这次活动的内容做简要总结,并提供了演讲用幻灯片下载

殷庆轩在题为“搜索引擎的时效性需求满足”演讲中,主要介绍了时效性问题的定义、需求分析,以及包括收录、排序和系统等相关的技术点。比如结合当前的热点事件对突发时效性的难点进行了分析,在目前每天全球新增或者修改的网页数量以数十亿为量级的海量数据下,要在几秒或者几分钟内提供准确而详细的信息,是非常困难的。这也就要求搜索引擎具备“全、准、快、新”的特点,其中“全”即对数据的收录详细程度,”准“为对相关数据进行排序,而”快“则是确保系统能够以最快的速度响应用户的需求。现场参会者周志奇对这个话题也做了简单总结:

百度索引中提供检索的数据只有百亿条,而现在每天增加的数据量已是2-3亿条,现在每一天增加的数据量是2003年一年数据的增长量。对于如此强势的增长,要对数据进行全部索引并在200-300个毫秒级返回检索结果几乎是不可能的,所以就要对数据进行优化。

数据是有时效性的,索引可以为分最新最常使用的、不常使用的、很少使用的和很老又不用的等。所以可以多几个索引库,并对数据进行整理,对于时效性不强的可以向后面的索引里转移,检索时对这几个索引并发检索,最后将结果合并后返回用户。对于不用的数据只是一个保存,而不提供检索,或是在检索结果很少的情况下,再多增加一个链接"点击查看更多",点击后就去查找老而全的库。虽然返回时间可能会很长,但是用户体验的感受是不会降低的。

来自去哪儿的工程师和搜索技术负责人何伟平,在活动现场分享了”数据库在现代搜索技术中的应用“。在加入去哪儿之前,何伟平在雅虎中国研发中心从事网页搜索相关工作,并且是PostgreSQL数据库研究人员和中文文档维护人员,在数据库技术领域有自己的见解。在他的演讲中,他先是介绍了数据库的演变史,而后重点介绍了数据库和现代搜索的关系,比如SQL数据库并没有过时,SQL数据库也有强大的扩展能力,用好了也可以拥有很好的性能。他也提到对于中等业务规模,访问量也不是非常巨大,而对需求要求灵活的网站,选择SQL数据库是比较理想的。在谈到使用SQL数据库来做搜索的优缺点时,他提到:

简而言之,用SQL数据库来做搜索,其有点是简单、方便、通用,而且易于维护;不足之处是需要比较强的专业知识,而且可能需要额外的编码等。

最后他以下拉提示、相关推荐、站内搜索和垂直引擎等几个案例分享了他对现代搜索技术的看法。在提问环节,有参会者问道”去哪儿网站在抓取航班数据的时候如何确保时效性“,何伟平解释说:

这个问题和刚才百度朋友提到的时效性挺像的,我们最头疼的地方也是时效和Cache(缓存)之间的关系,我们采取的是比较短的时间Cache策略,这是(系统)比较长时间运行出来的经验,一般也就几秒钟就足够了。比如热门的航线,比如京沪,我们几乎是实时地去抓,但也不是真的实时,因为用户的使用习惯是一旦查到一个结果后都会再刷好几次,它刷的这几次就需要坚决地不去影响后面的网站或者航信系统。我们一般是这样考虑的!

也有参会者在会后记录了自己参会的一些感触,比如来自凤凰网的孙立,在他的”实时搜索之微博“博客中提到”这也是我第一次参加InfoQ的聚会,感觉非常不错,不但免费,而且内容质量非常高,活动形式也非常的好,不幸的是回来后感冒发烧了。“他还记录了在现场活动的OpenSpace“每一个人都是讲师”环节自己小组所讨论的主要内容,如果构建一个基于微博的实时搜索系统。网上的一些图文报道见“图文大亮相~~百度技术沙龙第5期”。

关于两位演讲嘉宾的更多细节内容,请下载他们的演讲幻灯片,随后InfoQ中文站还会发布他们的演讲视频,敬请期待。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

小编也是用搜狗拼音啊 by dyk phinecos

“来自百度搜索技术部的研究院”。。。。,研究员吧,看来小编也是用搜狗拼音啊

Re: 小编也是用搜狗拼音啊 by 霍 泰稳

嘿嘿,这也让你发现了,谢谢指正,只是我用的是QQ拼音 :) 估计他们词库是一样的。

下来后听到很多朋友说讲得不深入 by 孙 立

个人觉得主要是时间关系,对于搜索技术要深入,可能不是一下午能讲的,百度的朋友殷庆轩主要的介绍了实时处理的一些方向,对于正做类似项目的,相信很有参考意义。
哪儿网站的何伟平分享的用数据库做搜索也给中小型的网站提供了快速搭建搜索的方案,不过个人觉得很多人还是宁愿选择lucene或者sphinx这种方案。感谢infoq把我博客也列入文中。

Re: 下来后听到很多朋友说讲得不深入 by 霍 泰稳

谢谢孙立的支持,我活动后搜索相关博客的时候,发现你总结的很好,就引用在新闻中了。你现场介绍的也很好呢,也为你们小组争光啊,争取下次也能参加我们的活动。

Re: 下来后听到很多朋友说讲得不深入 by 孙 立

争取尽量参加

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

5 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT