InfoQ

InfoQ

新闻

我的书签

登录注册 以永久保存书签。

该内容已经被标记书签!

标记书签错误,请重试!

用MySQL-Proxy实现读写分离

作者 Gavin Terrill 译者 郭晓刚 发布于 2007年10月17日

领域
架构 & 设计,
语言 & 开发
主题
架构 ,
性能和可伸缩性 ,
集群与缓存
标签
LAMP ,
MySQL

MySQL-Proxy, 6月份发布的MySQL-Proxy是处在你的MySQL数据库客户和服务端之间的程序,它还支持嵌入性脚本语言Lua。这个代理可以用来分析、监控和变换(transform)通信数据,它支持非常广泛的使用场景:

  • 负载平衡和故障转移处理
  • 查询分析和日志
  • SQL宏(SQL macros)
  • 查询重写(query rewriting)
  • 执行shell命令

MySQL Proxy更强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。

Jan Kneschke在《MySQL Proxy learns R/W Splitting》中介绍了这种技巧,他还谈到了连接池的问题:

为了实现读写分离我们需要连接池。我们仅在已打开了到一个后端的一条经过认证的连接的情况下,才切换到该后端。MySQL协议首先进行握手。当进入到查询/返回结果的阶段再认证新连接就太晚了。我们必须保证拥有足够的打开的连接才能保持运作正常。

实现读写分离的LUA脚本是简单明了的:

  -- 读写分离
  --
  -- 发送所有的非事务性SELECT到一个从数据库
  if is_in_transaction == 0 and
     packet:byte() == proxy.COM_QUERY and
     packet:sub(2, 7) == "SELECT" then
    local max_conns = -1
    local max_conns_ndx = 0

    for i = 1, #proxy.servers do
      local s = proxy.servers[i]

      -- 选择一个拥有空闲连接的从数据库
      if s.type == proxy.BACKEND_TYPE_RO and
         s.idling_connections > 0 then
        if max_conns == -1 or
           s.connected_clients < max_conns then
          max_conns = s.connected_clients
          max_conns_ndx = i
        end
      end
    end

    -- 我们找到了一个拥有空闲连接的从数据库
    if max_conns_ndx > 0 then
      proxy.connection.backend_ndx = max_conns_ndx
    end
  else
    -- 发送到主数据库
  end

  return proxy.PROXY_SEND_QUERY

Jan提醒说这个技巧还可以用来实现其他的数据分布策略,例如分片(Sharding)。

查看英文原文:Read/Write Splitting with MySQL-Proxy

译者 郭晓刚 是InfoQ中文站架构社区编辑,创建并终结过数家软件小企业,翻译过多本技术书籍。

我直接memcached不完了吗? 发表人 Huang Hideto 发表于
Re: 我直接memcached不完了吗? 发表人 F Tiger 发表于
Re: 我直接memcached不完了吗? 发表人 赵 稀露 发表于
Re: 我直接memcached不完了吗? 发表人 Ma Karl 发表于
支持基于python的django吗? 发表人 l c 发表于
  1. 返回顶部

    我直接memcached不完了吗?

    发表人 Huang Hideto

    不用读写分离了,我直接memcached,所有的读都到内存中去,数据库只负责写,速度肯定比你快。
    而且Master、Slave Replication方式带来的是Master的fail over、Slave的Replication lag等诸多问题

  2. 返回顶部

    Re: 我直接memcached不完了吗?

    发表人 F Tiger

    memcache通常都是些较小数据量的部分数据,而且要自己解决好与持久数据的一致性问题。
    这个proxy的方案已经解决了一致性问题,并且提供了全部数据的查询性能提升。还有一点,在read方面显然提供了较好的横向扩展能力。

  3. 返回顶部

    Re: 我直接memcached不完了吗?

    发表人 赵 稀露

    请问你实现了msyql proxy 吗!
    w我编译安装好了但是不能读写分离..你网站上的代码没有用..
    不知道是不是我设置错误..请指教....

  4. 返回顶部

    支持基于python的django吗?

    发表人 l c

    如题

  5. 返回顶部

    Re: 我直接memcached不完了吗?

    发表人 Ma Karl

    对你的提问感到很无语

深度内容

应用云平台的可用性——从新浪SAE看云平台设计

云计算平台的可用性,相比传统互联网服务而言,更加复杂和困难,也更具有挑战性。本文借助新浪SAE云平台为读者讲述了云平台可用性的定义、如何打造高可用的平台,以及对云计算的用户提出了建议。

JVM定制改进 @ 淘宝

淘宝高度重视Java平台的健康发展,组建了一个团队专注于Java平台的底层部分的性能、功能与稳定性改进;工作主要基于OpenJDK中的HotSpot VM开展,其中一些通用的功能随后也会逐渐反馈给OpenJDK社区。希望能与使用Java平台开发应用的大家交流经验。
本次演讲视频录制于QCon杭州2011

"伤得起"的云计算应用——对云端应用之架构的思考

2011年4月21日至22日是值得云计算从业者纪念的日子。Amazon的IaaS服务出现故障,导致许多商业网站的服务中断,影响非常严重。作为云计算用户,我们需要思考的是,如何保证即便在云服务不可用的情况,我们的应用架构仍然能够屹立不倒?本文正是站在云计算用户的角度试图探讨这一问题。

让交付的速度跟上思考的速度

12人的技术团队,4组刀片服务器,每月20亿的访问量,每日1次准时部署,99.9%的可用性。这可能吗?当然。想知道如何做的吗?百姓网将与您分享他们在DevOps实践过程中的经验和技巧。
本次演讲视频录制于QCon杭州2011

架构之路——穿行在产品和业务之间

篱笆作为一家起源于社区的电子商务公司,反映到技术层面就是同时要面对产品和业务,以及经营战略的变化调整。如何在产品和业务的夹缝之间完成技术架构的抽象与平衡,寻找更有效的价值定位,这当中有些经验教训和个人感悟愿与众人分享。
本次演讲视频录制于QCon杭州2011

特性注入:成功三部曲

本文将对特性注入以及相关方法做一个扫盲性的介绍。我们会解释这个框架的关键要素,并附上实例来证实它们。为了让文章保持相对较短,我们不会深入到某个工具或方法中,而是会给出一些参考资料,以便大家做进一步的研究。

解析JDK 7的动态类型语言支持

随着JDK 7的发布,字节码指令集终于迎来了第一位新成员——invokedynamic指令。这条新增加的指令是JDK 7实现“动态类型语言(Dynamically Typed Language)”支持而进行的改进之一,也是为JDK 8可以顺利实现Lambda表达式做技术准备。在这篇文章中,我们将去了解JDK 7这项新特性的出现前因后果和它的意义。

Java Remoting远程服务(下)

随着互联网应用的发展,Java分布式远程服务技术受到越来越多的关注,本文将对各种相关实现以示例的形式逐一介绍,并总结其中的优缺点,使读者能够在技术选型时有所准备。这是文章的下篇。