BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Lucene 2.3:大幅提升索引性能,新增机器学习项目

| 作者 Ryan Slobojan 关注 0 他的粉丝 ,译者 郭晓刚 关注 0 他的粉丝 发布于 2008年1月26日. 估计阅读时间: 3 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

Apache Lucene项目是一个完全用Java编写的高性能、全功能的文本搜索引擎库,今天它发布了2.3版。InfoQ采访了项目管理委员会(PMC)成员以及提交者,Grant Ingersoll,以深入了解这次发布的版本以及Lucene未来的计划。

Ingersoll认为这次的版本中最大的变化是新的索引算法,它使用了新的in-memory模型来达到大幅的速度提升。据Ingersoll说,单单是把Lucene 2.2 JAR换成Lucene 2.3 JAR就能在某些测试中把索引性能提速500%。其他改变还包括:

  • 改进的索引管理——以前在索引过程中,当合并内部索引文件时偶尔会出现长时间的停顿,现在已经消灭了这种现象。另外现在也更容易实现其他途径去管理索引过程。
  • 对象池——DocumentFieldToken的实例现在可在索引分析中重用,因此不但提升了分析的速度,还减少了索引过程中的内存分配次数。
  • 重新打开IndexReader ——重新打开一个IndexReader去捕捉索引中最新的变化,这个操作的速度现在也更快了,新的reopen()方法只会加载那些变更过的索引片断,而不是重新加载完整的索引。
  • 更简易的IndexWriter微调——setMaxBufferedDocs已被更直观的setRAMBufferSizeMB所取代。

另外,2.3的目标是只需通过文件替换就能换下2.2,完全不需要重新编译。这里是完整的更新说明

Ingersoll还谈论了Lucene未来的计划,他说下一版将会是2.9。2.9版是相对改动较小的版本,有些部分会被标为废弃,还会为了给Lucene 3.0做准备而进行一些清理。3.0版是一个重大的版本,包括把代码库迁移到JDK5,以之作为最低要求。3.0的其他主要特性还有待决定。

采访中还讨论了Lucene社区的总体情况。Ingersoll表示Lucene和Solr结合得很紧密,而与NutchTika以及Hadoop也有相当良好的相互沟通。Ingersoll还谈论了一个名为Mahout的项目,他正在启动该项目:

这是一个单独的项目,但对Lucene用户也会有好处。JIRA中已经有一些Lucene的补丁实现了ML算法。这个项目的目标是提供商业质量的大规模机器学习(machine learning,ML)算法。它以Hadoop为基础建立,遵循Apache许可证。我已经观察到不少人对这个项目感兴趣,希望在接下来这个月能把项目启动起来。

Ingersoll说,通过建立Mahout项目,他希望能够“进一步揭开Google这类公司提供的类似功能的秘密,并刺激在这个领域中的创新”。如果对这个新项目感兴趣,可以阅读一下它的项目计划孵化提案

查看英文原文:Lucene 2.3: Large indexing performance improvements, new machine-learning project

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

2.3的目标是只需通过文件替换就能换下2.2,完全不需要重新编译 by Andy Yao

这是最好的,不用改动太多,就可以获得性能的提升。

Re: 2.3的目标是只需通过文件替换就能换下2.2,完全不需要重新编译 by 轻眉 柳

介就素好滴框架呀,兼容性升级~~

来自Grant Ingersoll的两点补充 by Guo Xiaogang

1、2.9版之前会有一个2.4版。


2、Mahout本周已成为Apache Lucene子项目(lucene.apache.org/mahout/)

very cool by . yanger

new reopen IndexReader will be very useful but ML looks very strange w/ lucene/Hadoop.

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

4 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT