BT

您是否属于早期采用者或者创新人士?InfoQ正在努力为您设计更多新功能。了解更多

您现在处于全屏预览
关闭全屏预览

从百度文件系统看大型分布式系统设计中的定式与创新
录制于:

| 作者 颜世光 关注 0 他的粉丝 发布于 2017年10月12日 | ArchSummit社交架构图谱:Facebook、Snapchat、Tumblr等背后的核心技术
37:07

概要
百度的核心业务和数据库系统都依赖分布式文件系统作为底层存储,文件系统的可用性和性能对上层搜索业务的稳定性与效果有着至关重要的影响。 现有的分布式文件系统(如 HDFS 等)是为离线批处理设计的,无法在保证高吞吐的情况下做到低延迟和持续可用,所以我们从搜索的业务特点出发,设计了百度文件系统。 在百度文件系统设计中,一方面,涉及从中心化和对等模型的折衷,到元数据的扩展性,再到网络拓扑的选择等,一系列大型分布式系统中的通用问题与解决方案, 另一方面,又有在新的实时处理场景下的设计创新,怎么保证系统持续可用,怎么在不影响整体吞吐的情况下,保证99分位延迟。

个人简介

颜世光,百度搜索架构师,2011 年加入百度,早期从事 Spider 系统架构相关研发,期间主持了百度第三代 Spider 系统的设计与实现。 当前主要研究方向为大规模分布式系统,是百度海量数据库 Tera、百度文件系统 BFS 和集群操作系统 Galaxy 的主要作者。 热衷开源,先后推动了百度多个重量级系统对外开源。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT