BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Airbnb 数据仓库架构实践
录制于:

| 作者 曾洪博 关注 2 他的粉丝 发布于 2018年1月30日 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

亲爱的读者:我们最近添加了一些个人消息定制功能,您只需选择感兴趣的技术主题,即可获取重要资讯的邮件和网页通知

42:14

概要
Airbnb 目前的大数据平台支撑了整个公司对数据收集和处理的需求,我们需要应对每天100亿条新增日志信息,350TB 新增数据,来自公司所有部门的10多万次大数据分析查询,而且还在快速增长中。本演讲从数据处理需求、性能、系统容错以及服务等级协议(SLA)等各方面入手,重点讲解我们遇到的挑战和随之而生的平台解决方案,介绍我们研发的 ReAir 跨机群同步服务,AirStream 流处理平台以及实时数据注入和查询平台等。

个人简介

曾洪博, Airbnb 资深工程师,现任 Airbnb 数据基础架构组资深工程师,长期从事大数据平台技术的研发。 曾任领英(LinkedIn)分布式数据平台组的高级软件工程师,是 Espresso 系统的主要贡献者之一; 参与研发微软大规模数据处理平台 Cosmos/SCOPE;并在 IBM 中国研究院担任过研究员,参与研发高并发度处理器及相关操作系统。 此前在中科院计算所获得计算机系统博士学位。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT