InfoQ

新闻

用MySQL-Proxy实现读写分离

作者 Gavin Terrill 译者 郭晓刚 发布于 2007年10月17日 下午1时6分

社区
Architecture
主题
性能和可伸缩性,
集群与缓存
标签
LAMP,
MySQL

MySQL-Proxy, 6月份发布的MySQL-Proxy是处在你的MySQL数据库客户和服务端之间的程序,它还支持嵌入性脚本语言Lua。这个代理可以用来分析、监控和变换(transform)通信数据,它支持非常广泛的使用场景:

  • 负载平衡和故障转移处理
  • 查询分析和日志
  • SQL宏(SQL macros)
  • 查询重写(query rewriting)
  • 执行shell命令

MySQL Proxy更强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。

Jan Kneschke在《MySQL Proxy learns R/W Splitting》中介绍了这种技巧,他还谈到了连接池的问题:

为了实现读写分离我们需要连接池。我们仅在已打开了到一个后端的一条经过认证的连接的情况下,才切换到该后端。MySQL协议首先进行握手。当进入到查询/返回结果的阶段再认证新连接就太晚了。我们必须保证拥有足够的打开的连接才能保持运作正常。

实现读写分离的LUA脚本是简单明了的:

  -- 读写分离
  --
  -- 发送所有的非事务性SELECT到一个从数据库
  if is_in_transaction == 0 and
     packet:byte() == proxy.COM_QUERY and
     packet:sub(2, 7) == "SELECT" then
    local max_conns = -1
    local max_conns_ndx = 0

    for i = 1, #proxy.servers do
      local s = proxy.servers[i]

      -- 选择一个拥有空闲连接的从数据库
      if s.type == proxy.BACKEND_TYPE_RO and
         s.idling_connections > 0 then
        if max_conns == -1 or
           s.connected_clients < max_conns then
          max_conns = s.connected_clients
          max_conns_ndx = i
        end
      end
    end

    -- 我们找到了一个拥有空闲连接的从数据库
    if max_conns_ndx > 0 then
      proxy.connection.backend_ndx = max_conns_ndx
    end
  else
    -- 发送到主数据库
  end

  return proxy.PROXY_SEND_QUERY

Jan提醒说这个技巧还可以用来实现其他的数据分布策略,例如分片(Sharding)。

查看英文原文:Read/Write Splitting with MySQL-Proxy
我直接memcached不完了吗? 发表人 Hideto Huang 发表于 2007年10月18日 上午3时14分
Re: 我直接memcached不完了吗? 发表人 Tiger F 发表于 2007年10月18日 下午8时20分
Re: 我直接memcached不完了吗? 发表人 赵 稀露 发表于 2007年12月6日 上午11时11分
Re: 我直接memcached不完了吗? 发表人 Karl MA 发表于 2010年1月6日 下午8时24分
支持基于python的django吗? 发表人 c l 发表于 2008年2月21日 下午8时12分
  1. 返回顶部

    我直接memcached不完了吗?

    2007年10月18日 上午3时14分 发表人 Hideto Huang

    不用读写分离了,我直接memcached,所有的读都到内存中去,数据库只负责写,速度肯定比你快。
    而且Master、Slave Replication方式带来的是Master的fail over、Slave的Replication lag等诸多问题

  2. 返回顶部

    Re: 我直接memcached不完了吗?

    2007年10月18日 下午8时20分 发表人 Tiger F

    memcache通常都是些较小数据量的部分数据,而且要自己解决好与持久数据的一致性问题。
    这个proxy的方案已经解决了一致性问题,并且提供了全部数据的查询性能提升。还有一点,在read方面显然提供了较好的横向扩展能力。

  3. 返回顶部

    Re: 我直接memcached不完了吗?

    2007年12月6日 上午11时11分 发表人 赵 稀露

    请问你实现了msyql proxy 吗!
    w我编译安装好了但是不能读写分离..你网站上的代码没有用..
    不知道是不是我设置错误..请指教....

  4. 返回顶部

    支持基于python的django吗?

    2008年2月21日 下午8时12分 发表人 c l

    如题

  5. 返回顶部

    Re: 我直接memcached不完了吗?

    2010年1月6日 下午8时24分 发表人 Karl MA

    对你的提问感到很无语

深度内容

模块化Java:声明式模块化

本文是模块化Java系列文章的第4篇,介绍的是声明式模块化。文中描述了组件如何以声明的方式来定义并组织在一起,而无需让代码依赖于OSGI API。

Ian Robinson和Jim Webber谈论基于Web的整合

本采访是在伦敦举行的QCon2009上记录的,Ian Robinson和Jim Webber探讨了如何将Web作为整合平台以及REST在理论上和实践中的好处。

项目管理修炼之道(精选版)

项目管理对于项目成败至关重要,但实践中每个项目都有自己的独特性,没有现成的解决方案可以套用。书中从应对实际风险的角度出发,讲述了从项目启动、项目规划到项目结束的整个管理流程,展示了作者的思考过程。本迷你书从原书中精选出5个章节。

那是鸟,还是飞机?不,那是超人!

在这个演讲中,Fred将会揭示敏捷的一些外在因素,并会重点关注敏捷获得成功的内在原因。从案例研究和真实的项目经验来看,Fred认为:工具、管理体系都不能让你变得敏捷。敏捷的成功,植根于士气高涨、充分授权的工作者身上,他们能够以不同以往的方式思考问题。

访谈和书摘:Eben Hewitt的新书《Java SOA Cookbook》

Java SOA Cookbook

Eben Hewitt的新书《Java SOA Cookbook》从Java实现的角度讨论了面向服务架构。Eben在书中讨论了SOA基础、工具、最佳实践和SOA治理等主题。

Mark Richard的《Java消息服务》第二版

Mark Richards的新书《Java消息服务》第二版覆盖了JMS的许多主题, 包括发布和订阅模式以及点对点模式,消息过滤和事务等。InfoQ与Mark谈论了跟他的新作。

模块化Java:动态模块化

本文是“模块化Java”系列文章的第三篇,讨论动态模块化,内容涉及如何解析bundle类、bundle如何变化、以及bundle之间如何通信。

让测试也敏捷起来

对于测试组织来说,敏捷方法带来的快速迭代却让测试本身变得困难起来:缺乏“足够详细的文档”,缺乏“仔细设计用例的时间”等等。在本演讲中,段念将与大家探讨如何在敏捷过程中进行测试。