BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

S3QL:一个用Python写成的在线存储系统

| 作者 谢丽 关注 9 他的粉丝 发布于 2015年9月8日. 估计阅读时间: 4 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

S3QL是一个在线存储系统,使用诸如Google StorageAmazon S3OpenStack这样的服务存储数据。它提供了一个动态的、容量无限的硬盘,任何运行Linux、FreeBSD或OS X的计算机都可以通过互联网访问。

S3QL是一个符合标准的全功能Unix文件系统。它有一些额外的特性,使它特别适应于在线备份和归档。相比性能和功能而言,它更注重简洁与优雅。项目创建者Nikolaus Rath一直致力于确保源代码的可读性和可维护性。以下是S3QL的特性:

  • 透明性——从概念上讲,S3QL与本地文件系统很难区分,例如,它支持硬连接、符号连接、标准Unix权限等;
  • 动态大小——S3QL文件系统的大小可以根据需求动态增长和缩小;
  • 压缩——所有数据在存储之前都可以使用LZMA、bzip2或Deflate(gzip)算法压缩;
  • 加密——在压缩之后上传之前,所有数据都可以使用一个256位的密钥进行AES加密,它还使用SHA256 HMAC校验和保护数据不被篡改;
  • 数据去重——如果多个文件有相同的内容,那么冗余数据只存储一次;
  • 不可变树——目录树可以设置为不可变的,这一特性有利于确保备份不会被修改;
  • 写入时复制\快照——S3QL可以复制整个目录树,而不使用任何额外的存储空间,只有当其中一个副本被修改了时,被修改的数据会占用额外的空间;
  • 高性能——所有不读写文件内容的操作都非常快,因为S3QL将整个文件和目录结构存储在一个数据库中,而后者会在本地缓存,且远程副本为异步更新;
  • 支持低带宽连接——S3QL将文件内容分成多个小块并缓存在本地。

近日,该项目在Hacker News上引发了激烈的讨论,并登上了HN的首页。不过,虽然讨论的内容很多,但关于S3QL的内容相对较少,大多数讨论是围绕类似的解决方案,比如DuplicityAtticTarsnapObjectiveFS等。网友indiv0根据S3QL的文档断定,S3QL使用的加密算法为MAC-then-encrypt算法。他认为这种算法不好。也有其他网友持类似观点,其中dlitz就认为这种算法太老。但网友JoachimSchipper并不认为S3QL采用了MAC-then-encrypt算法。另外,网友witten使用过S3QL和Tarsnap,他认为:

S3QL使用了远程加载文件系统,从根本上讲,这不适合无人值守的备份。在许多情况下,S3QL加载的文件系统会在备份过程中因为网络问题中断……

另外,S3QL会周期性地发布不支持旧版本文件格式的新版本,或者仅仅向前支持一定的版本数量。因此,如果你升级不够经常,那么你会发现自己用了一个拒绝读取现有的GB级数据的版本。

关于第二点,S3QL开源页面也提到了:

S3QL已经稳定,可以用于生产环境。不过从一个小版本升级到下一个可能会改变公共接口,或者需要升级文件系统结构。因此,强烈建议在升级前阅读变更日志。

按照该页的说法,如果用户系统支持Python 3.3及以上版本,则建议下载最新的2.x版本。但maint-1.x分支也可以用于生产环境,只是不再进行积极的开发,只会修复影响较大的Bug。更多信息,请查看S3QL Wiki


感谢魏星对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群InfoQ好读者)。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT