领导力大挑战
在实施Scrum项目的过程中，Scrum Master的角色是相当关键的，因为他是团队的推动者。本文围绕什么是仆人式领导、仆人式领导的起源、如何将领导力传达给团队、Scrum Master作为仆人式领导者的角色展开叙述，同时重点阐述仆人式领导者应有的基本内外特征。
新闻
该内容已经被标记书签！
标记书签错误，请重试！
NoSQL开篇——为什么要使用NoSQL
作者 孙立 发布于 2011年1月13日
【编者按】NoSQL在2010年风生水起，大大小小的Web站点在追求高性能高可靠性方面，不由自主都选择了NoSQL技术作为优先考虑的方面。今年伊始，InfoQ中文站有幸邀请到凤凰网的孙立先生，为大家分享他之于NoSQL方面的经验和体会。
非常荣幸能受邀在InfoQ开辟这样一个关于NoSQL的专栏，InfoQ是我非常尊重的一家技术媒体，同时我也希望借助InfoQ，在国内推动NoSQL的发展，希望跟我一样有兴趣的朋友加入进来。这次的NoSQL专栏系列将先整体介绍NoSQL，然后介绍如何把NoSQL运用到自己的项目中合适的场景中，还会适当地分析一些成功案例，希望有成功使用NoSQL经验的朋友给我提供一些线索和信息。
NoSQL概念
随着web2.0的快速发展，非关系型、分布式数据存储得到了快速的发展，它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”，“Not Only SQL”也被很多人接受。（“NoSQL”一词最早于1998年被用于一个轻量级的关系数据库的名字。）
NoSQL被我们用得最多的当数key-value存储，当然还有其他的文档型的、列存储、图型数据库、xml数据库等。在NoSQL概念提出之前，这些数据库就被用于各种系统当中，但是却很少用于web互联网应用。比如cdb、qdbm、bdb数据库。
传统关系数据库的瓶颈
传统的关系数据库具有不错的性能，高稳定型，久经历史考验，而且使用简单，功能强大，同时也积累了大量的成功案例。在互联网领域，MySQL成为了绝对靠前的王者，毫不夸张的说，MySQL为互联网的发展做出了卓越的贡献。
在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。
到了最近10年，网站开始快速发展。火爆的论坛、博客、sns、微博逐渐引领web领域的潮流。在初期，论坛的流量其实也不大，如果你接触网络比较早，你可能还记得那个时候还有文本型存储的论坛程序，可以想象一般的论坛的流量有多大。
Memcached+MySQL
后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。
Memcached作为一个独立的分布式的缓存服务器，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展，然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。当时，如果你去面试，你说你有Memcached经验，肯定会加分的。
Mysql主从读写分离
由于数据库的写入压力增加，Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。
分表分库
随着web2.0的继续高速发展，在Memcached的高速缓存，MySQL的主从复制，读写分离的基础之上，这时MySQL主库的写压力开始出现瓶颈，而数据量的持续猛增，由于MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。同时，开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候，分表分库成了一个热门技术，是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候，MySQL推出了还不太稳定的表分区，这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群，但是由于在互联网几乎没有成功案例，性能也不能满足互联网的要求，只是在高可靠性上提供了非常大的保证。
MySQL的扩展性瓶颈
在互联网，大部分的MySQL都应该是IO密集型的，事实上，如果你的MySQL是个CPU密集型的话，那么很可能你的MySQL设计得有性能问题，需要优化了。大数据量高并发环境下的MySQL应用开发越来越复杂，也越来越具有技术挑战性。分表分库的规则把握都是需要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来屏蔽开发者的复杂性，但是避免不了整个架构的复杂性。分库分表的子库到一定阶段又面临扩展问题。还有就是需求的变更，可能又需要一种新的分库方式。
MySQL数据库也经常存储一些大文本字段，导致数据库表非常的大，在做数据库恢复的时候就导致非常的慢，不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小，如果能把这些数据从MySQL省去，MySQL将变得非常的小。
关系数据库很强大，但是它并不能很好的应付所有的应用场景。MySQL的扩展性差（需要复杂的技术来实现），大数据下IO压力大，表结构更改困难，正是当前使用MySQL的开发人员面临的问题。
NOSQL的优势
易扩展
NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。
大数据量，高性能
NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。
灵活的数据模型
NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。
高可用
NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。
总结
NoSQL数据库的出现，弥补了关系数据（比如MySQL）在某些方面的不足，在某些方面能极大的节省开发成本和维护成本。
MySQL和NoSQL都有各自的特点和使用的应用场景，两者的紧密结合将会给web2.0的数据库发展带来新的思路。让关系数据库关注在关系上，NoSQL关注在存储上。
参考阅读
- NoSQL：http://nosql-database.org/
- NoSQL在wiki上的介绍：http://en.wikipedia.org/wiki/NoSQL
- NoSQL相关博客：http://nosql.mypopescu.com/
- NoSQL相关博客：http://blog.nosqlfan.com/
- 新浪微博NoSQL微群：http://q.t.sina.com.cn/127870
关于作者
孙立，目前在凤凰网负责底层组的研发工作。曾就职于搜狐和ku6。多年互联网从业经验和程序开发，对分布式搜索引擎的开发，高并发，大数据量网站系统架构优化，高可用性，可伸缩性，分布式系统缓存,数据库分表分库（sharding）等有丰富的经验，并且对运维监控和自动化运维控制有经验。开源项目phplock，phpbuffer的作者。近期开发了一个NOSQL数据库存储INetDB,是NoSQL数据库爱好者。他的新浪微博是：http://t.sina.com.cn/sunli1223
感谢张凯峰对本文的策划及审校。
今天的帖错字真多
发表人
x w
发表于
Re: 今天的帖错字真多
发表人
张 凯峰
发表于
Re: 今天的帖错字真多
发表人
Chen Gary
发表于
Mysql主从问题和分表分库的问题
发表人
E. H.
发表于
Re: Mysql主从问题和分表分库的问题
发表人
孙 立
发表于
Re: Mysql主从问题和分表分库的问题
发表人
tong james
发表于
Re: Mysql主从问题和分表分库的问题
发表人
yongji zhang
发表于
Re: Mysql主从问题和分表分库的问题
发表人
付 乐华
发表于
为什么就没有人考虑用Oracle
发表人
Zhou Fan
发表于
Re: 为什么就没有人考虑用Oracle
发表人
強 周
发表于
Re: 为什么就没有人考虑用Oracle
发表人
付 乐华
发表于
Re: 为什么就没有人考虑用Oracle
发表人
xiao min
发表于
-
追求高性能稿可靠性
-
已经修正。谢谢！
-
1.MySQL的主从的确很流行，但是不知你们是否遇到过在高并发和大数据的场景下同步数据中间数据脱节，缺失的现象，最后我们查明是因为高并发而导致在一段时间内数据同步脱节，主从节点的复制时间间隔从业调整过，问题依然存在，BTW：我们最高一秒6个数据写入的并发而导致。
2.对于4-5T的数据量在MySQL中除了查询瓶颈的问题不说，如果从节点from主节点要恢复的话，在中间的过程中如何提高数据同步的能力？如何降低主节点复制数据带来的负载。
3.分表分库是不错的，就不说什么跨库关连查询的事儿，对于超大数据量的时候全局唯一id的生成和分布式事务的问题，你们有什么好的解决方案？ -
这个可以到微群去讨论。后续的文章会提到怎么用NoSQL来缓解这些问题。
-
1. NoSQL 的这些优势只是部分NoSQL方案的特性,需要注意点.
2. 先有数据之间的去耦合,才能有NoSQL,而不是反过来.
3. 使用NoSQL要先考虑好数据本身的特性,,也就是数据对于CAP的要求. -
目前的,nosql方案主要解决的是伸缩性问题.io能力对比传统数据库只是快了一点,而不是快很多,想靠nosql产品来减少io瓶颈是不现实的,这受制于物理部署和硬件发展;
高性能和高可靠只是理论上环境才可以实现的的,还需要一些商业公司来加入稳定性和灾难恢复等支持.目前我对社区,个人开发者这方面的能力持怀疑态度;
和语言一样,要靠工业来驱动,海量的分布式的nosql产品会是未来的一个方向,传统数据库也会吸收nosql的一些思想;
脱离架构来谈nosql产品不靠谱,看看google,facebook等公司就知道,大量采用mysql,而nosql产品只是其中很小的个别应用,且不是核心的; -
为什么就没有人考虑用Oracle呢？可靠性、可扩展性、I/O性能等问题在Oracle这边都要好得多
-
Money~~
-
可以将所有用到的大表全都按用户来分表，小表各个库全部复制一份，单用户自己的表作join。将join限制在单库之内。
-
全局唯一id是否可用GUID啊
-
同意
-
参考《淘宝数据库架构演进历程》
Oracle...5000个连接以后相当吃力。
12 条回复
关注此讨论 回复