InfoQ

新闻

排序应该在数据库还是在应用程序中进行?

作者 冯大辉 发布于 2008年9月15日 下午10时36分

社区
Architecture
主题
数据访问,
数据库设计,
性能和可伸缩性
标签
专家解惑,
开源软件,
MySQL,
数据库

在网站开发中,究竟是在数据库(DB)中排序好,还是在应用程序中排序更优,这一直是个很有趣的话题。DBANotes.net博主,在数据库方面比较有研究的冯大辉就这一问题日前和读者明灵(Dragon)做了探讨,本文是关于该问题的总结。

问:请列出在PHP中执行排序要优于在MySQL中排序的原因?

答:通常来说,执行效率需要考虑CPU、内存和硬盘等的负载情况,假定MySQL服务器和PHP的服务器都已经按照最适合的方式来配置,那么系统的可伸缩性(Scalability)和用户感知性能(User-perceived Performance)是我们追求的主要目标。在实际运行中,MySQL中数据往往以HASHtables、BTREE等方式存贮于内存,操作速度很快;同时INDEX已经进行了一些预排序;很多应用中,MySQL排序是首选。而在应用层(PHP)中排序,也必然在内存中进行,与MySQL相比具有如下优势:

  1. 考虑整个网站的可伸缩性和整体性能,在应用层(PHP)中排序明显会降低数据库的负载,从而提升整个网站的扩展能力。而数据库的排序,实际上成本是非常高的,消耗内存、CPU,如果并发的排序很多,DB很容易到瓶颈。
  2. 如果在应用层(PHP)和MySQL之间还存在数据中间层,合理利用的话,PHP会有更好的收益。
  3. PHP在内存中的数据结构专门针对具体应用来设计,比数据库更为简洁、高效;
  4. PHP不用考虑数据灾难恢复问题,可以减少这部分的操作损耗;
  5. PHP不存在表的锁定问题;
  6. MySQL中排序,请求和结果返回还需要通过网络连接来进行,而PHP中排序之后就可以直接返回了,减少了网络IO。

至于执行速度,差异应该不会很大,除非应用设计有问题,造成大量不必要的网络IO。另外,应用层要注意PHP的Cache设置,如果超出会报告内部错误;此时要根据应用做好评估,或者调整Cache。具体选择,将取决于具体的应用。

问:请提供一些必须在MySQL中排序的实例?

答:在PHP中执行排序更优的情况举例如下:

  1. 数据源不在MySQL中,存在硬盘、内存或者来自网络的请求等;
  2. 数据存在MySQL中,量不大,而且没有相应的索引,此时把数据取出来用PHP排序更快;
  3. 数据源来自于多个MySQL服务器,此时从多个MySQL中取出数据,然后在PHP中排序更快;
  4. 除了MySQL之外,存在其他数据源,比如硬盘、内存或者来自网络的请求等,此时不适合把这些数据存入MySQL后再排序。

必须在MySQL中排序的实例如下:

  1. MySQL中已经存在这个排序的索引;
  2. MySQL中数据量较大,而结果集需要其中很小的一个子集,比如1000000行数据,取TOP10;
  3. 对于一次排序、多次调用的情况,比如统计聚合的情形,可以提供给不同的服务使用,那么在MySQL中排序是首选的。另外,对于数据深度挖掘,通常做法是在应用层做完排序等复杂操作,把结果存入MySQL即可,便于多次使用。
  4. 不论数据源来自哪里,当数据量大到一定的规模后,由于占用内存/Cache的关系,不再适合PHP中排序了;此时把数据复制、导入或者存在MySQL,并用INDEX优化,是优于PHP的。不过,用Java,甚至C++来处理这类操作会更好。

从网站整体考虑,就必须加入人力和成本的考虑。假如网站规模和负载较小,而人力有限(人数和能力都可能有限),此时在应用层(PHP)做排序要做不少开发和调试工作,耗费时间,得不偿失;不如在DB中处理,简单快速。对于大规模的网站,电力、服务器的费用很高,在系统架构上精打细算,可以节约大量的费用,是公司持续发展之必要;此时如果能在应用层(PHP)进行排序并满足业务需求,尽量在应用层进行。

例子有点极端吧? 发表人 Colder Eliza 发表于 2008年9月16日 上午3时23分
Re: 例子有点极端吧? 发表人 Fenng David 发表于 2008年9月16日 上午4时2分
Re: 例子有点极端吧? 发表人 sobizz sasumi 发表于 2008年9月16日 上午4时58分
这篇就是传说中的标题党么 发表人 德翔 高 发表于 2008年9月16日 上午7时25分
Re: 这篇就是传说中的标题党么 发表人 Fenng David 发表于 2008年9月16日 上午9时7分
Re: 这篇就是传说中的标题党么 发表人 firefly sen 发表于 2008年9月18日 上午8时18分
Re: 这篇就是传说中的标题党么 发表人 德翔 高 发表于 2008年9月20日 上午4时56分
Re: 这篇就是传说中的标题党么 发表人 liu chenghui 发表于 2008年11月22日 上午11时33分
Re: 这篇就是传说中的标题党么 发表人 德翔 高 发表于 2008年9月20日 上午4时54分
无厘头 发表人 陈 老 发表于 2008年12月24日 上午4时50分
  1. 返回顶部

    例子有点极端吧?

    2008年9月16日 上午3时23分 发表人 Colder Eliza

    恕我直言

    下面的4V4的例子 也太极端了吧
    貌似完全说明不了问题

  2. 返回顶部

    Re: 例子有点极端吧?

    2008年9月16日 上午4时2分 发表人 Fenng David

    # 不论数据源来自哪里,当数据量大到一定的规模后,由于占用内存/Cache的关系,不再适合PHP中排序了;此时把数据复制、导入或者存在MySQL,并用INDEX优化,是优于PHP的。不过,用Java,甚至C++来处理这类操作会更好。

    是说这个么? 这个的确有点偏颇。作者原意应该是客户端排序溢出的情况。因为一次 DB-->App(PHP) 会产生过多的 IO ,且 PHP 排序应付不了过多数据(PHP Cache满了)的情况

  3. 返回顶部

    Re: 例子有点极端吧?

    2008年9月16日 上午4时58分 发表人 sobizz sasumi

    覺得確實有點極端。。

  4. 返回顶部

    这篇就是传说中的标题党么

    2008年9月16日 上午7时25分 发表人 德翔 高

    顺便问问"不过,用Java,甚至C++来处理这类操作会更好。"...这句何指呢?

  5. 返回顶部

    Re: 这篇就是传说中的标题党么

    2008年9月16日 上午9时7分 发表人 Fenng David

    这个其实是指类似Build 到搜索引擎中的事儿

    其中这个事情总体上说来,还是个 I/O 经济性的事儿

  6. 返回顶部

    Re: 这篇就是传说中的标题党么

    2008年9月18日 上午8时18分 发表人 firefly sen

    请不要怀疑~~如果大家真的理解PHP的话会发现PHP是太快了。一般的MIS系统的原则是越靠近数据库越快,而PHP是相反的,PHP中70%的时间是在等待数据库。

  7. 返回顶部

    Re: 这篇就是传说中的标题党么

    2008年9月20日 上午4时54分 发表人 德翔 高

    ?? 难道是说lucene?

  8. 返回顶部

    Re: 这篇就是传说中的标题党么

    2008年9月20日 上午4时56分 发表人 德翔 高

    这个说法没有说服力。数据量大的时候,甚至不是那么大的时候,很多情况都是等数据库。但这不能说明前台的这些脚本处理数据更快

  9. 返回顶部

    Re: 这篇就是传说中的标题党么

    2008年11月22日 上午11时33分 发表人 liu chenghui

    系统优化是万物平衡的道理,是消耗数据库资源还是消耗应用服务器资源,这篇文章说地是如何去打造衡量标准尺子的方法,而不是给你这把尺子。

  10. 返回顶部

    无厘头

    2008年12月24日 上午4时50分 发表人 陈 老

    “MySQL中数据量较大,而结果集需要其中很小的一个子集,比如1000000行数据,取TOP10”
    貌似没关系吧,如果结果集需要很大一个集合比如100000行呢?难道就在PHP里(假设没有超出内存的问题)排了?

    “数据存在MySQL中,量不大,而且没有相应的索引,此时把数据取出来用PHP排序更快”
    量不大的话,在库里排能增加库的多少压力呢?何况排序并非简单,如果在代码里实现数据库的ORDER BY field1, field2, field3一致的效果,而且字段顺序是动态的,DESC/ASC也是动态的,只怕也得相当的人力成本

    “除了MySQL之外,存在其他数据源,比如硬盘、内存或者来自网络的请求等,此时不适合把这些数据存入MySQL后再排序”貌似个很大的话题。
    总不能没检索一次就从硬盘、内存里把这些数据往库里全部重写一次,得考虑哪些更新了哪些没更新等等策略,是个数据整合的很大的话题

深度内容

模块化Java:声明式模块化

本文是模块化Java系列文章的第4篇,介绍的是声明式模块化。文中描述了组件如何以声明的方式来定义并组织在一起,而无需让代码依赖于OSGI API。

Ian Robinson和Jim Webber谈论基于Web的整合

本采访是在伦敦举行的QCon2009上记录的,Ian Robinson和Jim Webber探讨了如何将Web作为整合平台以及REST在理论上和实践中的好处。

项目管理修炼之道(精选版)

项目管理对于项目成败至关重要,但实践中每个项目都有自己的独特性,没有现成的解决方案可以套用。书中从应对实际风险的角度出发,讲述了从项目启动、项目规划到项目结束的整个管理流程,展示了作者的思考过程。本迷你书从原书中精选出5个章节。

那是鸟,还是飞机?不,那是超人!

在这个演讲中,Fred将会揭示敏捷的一些外在因素,并会重点关注敏捷获得成功的内在原因。从案例研究和真实的项目经验来看,Fred认为:工具、管理体系都不能让你变得敏捷。敏捷的成功,植根于士气高涨、充分授权的工作者身上,他们能够以不同以往的方式思考问题。

访谈和书摘:Eben Hewitt的新书《Java SOA Cookbook》

Java SOA Cookbook

Eben Hewitt的新书《Java SOA Cookbook》从Java实现的角度讨论了面向服务架构。Eben在书中讨论了SOA基础、工具、最佳实践和SOA治理等主题。

Mark Richard的《Java消息服务》第二版

Mark Richards的新书《Java消息服务》第二版覆盖了JMS的许多主题, 包括发布和订阅模式以及点对点模式,消息过滤和事务等。InfoQ与Mark谈论了跟他的新作。

模块化Java:动态模块化

本文是“模块化Java”系列文章的第三篇,讨论动态模块化,内容涉及如何解析bundle类、bundle如何变化、以及bundle之间如何通信。

让测试也敏捷起来

对于测试组织来说,敏捷方法带来的快速迭代却让测试本身变得困难起来:缺乏“足够详细的文档”,缺乏“仔细设计用例的时间”等等。在本演讲中,段念将与大家探讨如何在敏捷过程中进行测试。