BT

你的观点很重要! 快来参与InfoQ调研吧!

您现在处于全屏预览
关闭全屏预览

OpenStack Swift 海量小文件性能优化之路
录制于:

| 作者 李杰辉 关注 0 他的粉丝 发布于 2017年10月25日 | ArchSummit社交架构图谱:Facebook、Snapchat、Tumblr等背后的核心技术
35:54

概要
OpenStack Swift 是 OpenStack 项目的子项目,提供了弹性可伸缩、高可用的分布式对象存储服务,可用于解决海量照片、视频、日志等业务存储需求。随着互联网的高速发展,业界对海量小文件的需求越来越大,Swift 虽然能够存储海量数据,但是由于其设计并没有针对海量小文件进行特别优化,导致随着海量小文件增多,性能下降明显的问题。为了保持性能,一个简单的方案是增加机器,扩大集群规模,这种方案的最大问题是造成大量磁盘空间的浪费。为此我们进行大量的探索,结合业界一些已有存储系统的优点,在 Swift 上做了一系列的优化工作,让 Swift 在海量小文件情景下不需要通过增加机器来保持性能不下降。

个人简介

李杰辉,爱奇艺资深工程师。15 年加入爱奇艺私有云平台存储团队,从事公司存储云平台相关工作,目前负责对象存储性能优化工作。开源技术热爱者, 非专业内核技术爱好者,热衷于捣腾各种开发工具的用法。业余时间喜欢阅读各类技术书籍以及用 Markdown 进行技术写作。加入爱奇艺之前就职于 VMware 上海研发中心,参与 Cloud Foundry,vBlob,DBaaS 等项目的研发工作。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT