InfoQ

新闻

Lucene 2.3:大幅提升索引性能,新增机器学习项目

作者 Ryan Slobojan 译者 郭晓刚 发布于 2008年1月24日 下午10时0分

社区
Java
主题
开放源代码,
搜索
标签
Lucene,
Hadoop

Apache Lucene项目是一个完全用Java编写的高性能、全功能的文本搜索引擎库,今天它发布了2.3版。InfoQ采访了项目管理委员会(PMC)成员以及提交者,Grant Ingersoll,以深入了解这次发布的版本以及Lucene未来的计划。

Ingersoll认为这次的版本中最大的变化是新的索引算法,它使用了新的in-memory模型来达到大幅的速度提升。据Ingersoll说,单单是把Lucene 2.2 JAR换成Lucene 2.3 JAR就能在某些测试中把索引性能提速500%。其他改变还包括:

  • 改进的索引管理——以前在索引过程中,当合并内部索引文件时偶尔会出现长时间的停顿,现在已经消灭了这种现象。另外现在也更容易实现其他途径去管理索引过程。
  • 对象池——DocumentFieldToken的实例现在可在索引分析中重用,因此不但提升了分析的速度,还减少了索引过程中的内存分配次数。
  • 重新打开IndexReader ——重新打开一个IndexReader去捕捉索引中最新的变化,这个操作的速度现在也更快了,新的reopen()方法只会加载那些变更过的索引片断,而不是重新加载完整的索引。
  • 更简易的IndexWriter微调——setMaxBufferedDocs已被更直观的setRAMBufferSizeMB所取代。

另外,2.3的目标是只需通过文件替换就能换下2.2,完全不需要重新编译。这里是完整的更新说明

Ingersoll还谈论了Lucene未来的计划,他说下一版将会是2.9。2.9版是相对改动较小的版本,有些部分会被标为废弃,还会为了给Lucene 3.0做准备而进行一些清理。3.0版是一个重大的版本,包括把代码库迁移到JDK5,以之作为最低要求。3.0的其他主要特性还有待决定。

采访中还讨论了Lucene社区的总体情况。Ingersoll表示Lucene和Solr结合得很紧密,而与NutchTika以及Hadoop也有相当良好的相互沟通。Ingersoll还谈论了一个名为Mahout的项目,他正在启动该项目:

这是一个单独的项目,但对Lucene用户也会有好处。JIRA中已经有一些Lucene的补丁实现了ML算法。这个项目的目标是提供商业质量的大规模机器学习(machine learning,ML)算法。它以Hadoop为基础建立,遵循Apache许可证。我已经观察到不少人对这个项目感兴趣,希望在接下来这个月能把项目启动起来。

Ingersoll说,通过建立Mahout项目,他希望能够“进一步揭开Google这类公司提供的类似功能的秘密,并刺激在这个领域中的创新”。如果对这个新项目感兴趣,可以阅读一下它的项目计划孵化提案

查看英文原文:Lucene 2.3: Large indexing performance improvements, new machine-learning project
2.3的目标是只需通过文件替换就能换下2.2,完全不需要重新编译 发表人 Andy Yao 发表于 2008年1月25日 上午2时18分
Re: 2.3的目标是只需通过文件替换就能换下2.2,完全不需要重新编译 发表人 柳 轻眉 发表于 2008年1月25日 上午4时5分
来自Grant Ingersoll的两点补充 发表人 Xiaogang Guo 发表于 2008年1月25日 下午10时9分
very cool 发表人 yanger . 发表于 2008年2月20日 上午4时42分
  1. 这是最好的,不用改动太多,就可以获得性能的提升。

  2. 介就素好滴框架呀,兼容性升级~~

  3. 返回顶部

    来自Grant Ingersoll的两点补充

    2008年1月25日 下午10时9分 发表人 Xiaogang Guo

    1、2.9版之前会有一个2.4版。


    2、Mahout本周已成为Apache Lucene子项目(lucene.apache.org/mahout/)

  4. 返回顶部

    very cool

    2008年2月20日 上午4时42分 发表人 yanger .

    new reopen IndexReader will be very useful but ML looks very strange w/ lucene/Hadoop.

深度内容

模块化Java:声明式模块化

本文是模块化Java系列文章的第4篇,介绍的是声明式模块化。文中描述了组件如何以声明的方式来定义并组织在一起,而无需让代码依赖于OSGI API。

Ian Robinson和Jim Webber谈论基于Web的整合

本采访是在伦敦举行的QCon2009上记录的,Ian Robinson和Jim Webber探讨了如何将Web作为整合平台以及REST在理论上和实践中的好处。

项目管理修炼之道(精选版)

项目管理对于项目成败至关重要,但实践中每个项目都有自己的独特性,没有现成的解决方案可以套用。书中从应对实际风险的角度出发,讲述了从项目启动、项目规划到项目结束的整个管理流程,展示了作者的思考过程。本迷你书从原书中精选出5个章节。

那是鸟,还是飞机?不,那是超人!

在这个演讲中,Fred将会揭示敏捷的一些外在因素,并会重点关注敏捷获得成功的内在原因。从案例研究和真实的项目经验来看,Fred认为:工具、管理体系都不能让你变得敏捷。敏捷的成功,植根于士气高涨、充分授权的工作者身上,他们能够以不同以往的方式思考问题。

访谈和书摘:Eben Hewitt的新书《Java SOA Cookbook》

Java SOA Cookbook

Eben Hewitt的新书《Java SOA Cookbook》从Java实现的角度讨论了面向服务架构。Eben在书中讨论了SOA基础、工具、最佳实践和SOA治理等主题。

Mark Richard的《Java消息服务》第二版

Mark Richards的新书《Java消息服务》第二版覆盖了JMS的许多主题, 包括发布和订阅模式以及点对点模式,消息过滤和事务等。InfoQ与Mark谈论了跟他的新作。

模块化Java:动态模块化

本文是“模块化Java”系列文章的第三篇,讨论动态模块化,内容涉及如何解析bundle类、bundle如何变化、以及bundle之间如何通信。

让测试也敏捷起来

对于测试组织来说,敏捷方法带来的快速迭代却让测试本身变得困难起来:缺乏“足够详细的文档”,缺乏“仔细设计用例的时间”等等。在本演讲中,段念将与大家探讨如何在敏捷过程中进行测试。