BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Bugsnag的MongoDB分片集群使用经验

| 作者 郭蕾 关注 9 他的粉丝 发布于 2014年10月10日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司,Bugsnag已经使用MongoDB存储超过TB级的文档数据。从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据。近日,Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验,并开源了几个他们常使用的脚本

带标签的分片(Tag Aware Sharding)

带标签的分片是MongoDB 2.2版本中引入的新特性,此特性支持人为控制数据的分片方式,从而使数据存储到合适的分片节点上。具体的做法是通过对分片节点打tag标识,再将sharding key 按范围对应到这些标识上。在Bugsnag中,每个页面的加载都会涉及到用户集合,比如查询用户是否登录,当应用向主分片上写入大量数据时,所有的用户请求都可能因此变得很慢。为了解决这个问题,Bugsnag对大的分片中的所有分片集合添加了一个标签,这样用户集合就可以存储到一台小型机器上,接下来就可以在内存中直接存取用户数据。关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客

空的数据块

在删除旧的数据时,分片中会出现空的数据块,这样会导致分片不平衡。平衡分片的算法仅仅只是调整分片中数据块的数量,忽略了数据块的大小。在MongoDB 2.6中,新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上,但是这个命令并不可以自动执行,所以Bugsnag编写了一个脚本,以依次检查数据块,并自动合并空的数据块。

大的数据块

大的数据块是指数据块的大小超过配置大小,Bugsnag编写了一个脚本用来发现并调整大数据块的大小。由于需要连接mongod和mongo实例,所以使用了MongoDB的Ruby接口Mongoid。脚本会将大的数据块分割,以保证集群中数据集合分布均衡。

孤立文档(Orphaned documents)

在正常情况下,系统中不会有孤立文档。不过,块迁移过程中的一些失败情况可能会留下孤立文档。孤立文档可以被安全删除,MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档。关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文

MoveChunk目录

MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件,操作完成后,这些文件就可以被删除。Bugsnag使用定时任务来定期清空该目录,MongoDB也支持关闭此功能,读者可以自行测试。

监控分片环境

  1. Shell命令

    • db.collection.getShardDistribution():查看分片集群中集合是如何分布的。可以通过此命令确定分片上的某个集合相比于其它分片是何时开始突然变大的。
    • db.stats():打印每个分片下的数据库状态,可以通过此命令跟踪数据大小。可以传入1024*1024*1024参数来以GB为单位显示数据大小。
    • sh.status():显示整个集群中数据块的分布情况,可以用来检查数据是否分布均衡。
  2. Mongostat
    Mongostat是MongoDB自带的状态检测工具,当MongoDB集群出现问题时,可以运行mongostat –discover来检查集群中各个mongos机器的性能指标。

作者最后总结到运行一个MongoDB分片集群并不难,但是在运行过程中也不时地会有一些小的问题出现。在Bugsnag的博客中有很多MongoDB的博文,读者可以自行学习。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

非常不错的经验 by Li Seijin

非常不错的经验,谢谢InfoQ。

非常不错的经验 by Li Seijin

非常不错的经验,谢谢InfoQ。

脚本怎么调用呢 by li kun

脚本怎么调用呢

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

3 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT