BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

AirTrain:Airbnb 的通用数据产品平台
录制于:

| 作者 龙玺 关注 0 他的粉丝 发布于 2018年4月15日 | ArchSummit北京2018 共同探讨机器学习、信息安全、微服务治理的关键点
38:39

概要
随着业务的快速增长,Airbnb 正经历着一场对数据使用模式的根本性转变。早期 Airbnb 对数据的使用主要集中在离线数据分析和使用上。 近几年来,越来越多的具有强烈数据依赖特征的在线应用开始逐步上线。这些应用所依赖的数据也逐步从离线批处理向实时的流数据转移。在这样的大背景下,Airbnb 数据基础架构(Data Infrastructure)团队自主开发了基于 Kafka,Spark 和 HBase 的通用数据提取(derivation),聚集(aggregation)和存储(storage)平台——AirTrain。本演讲将从机器学习应用和非机器学习应用两个不同的角度对 Airtrain 的架构进行系统介绍,并且着重讨论一些在开发过程中的需求和设计思路。

个人简介

龙玺,现就职于 Airbnb,任中国基础架构(China Infrastructure)组工程经理。负责与 Airbnb 中国产品相关的基础架构和后端服务,并兼管中国区反欺诈(Anti-fraud)业务。此前历任美国亚马逊网站应用平台(Website Application Platform)部门软件工程师,Kindle 部门软件开发经理和 Airbnb 数据基础架构(Data Infrastructure)组软件工程师。主要负责大数据基础架构和机器学习基础架构,拥有多项国际专利。在加入亚马逊和 Airbnb 之前,分别于清华大学和美国哥伦比亚大学取得学士和博士学位。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT