BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

万亿级大数据平台的架构设计与演进实践
录制于:

| 作者 陈超 关注 3 他的粉丝 发布于 2018年1月16日 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。
50:01

概要
Pandora 是七牛自研的一套大数据平台, 目前每天有超过 200T 的增量数据进入 Pandora,每天参与计算的数据量超过 2P。 全平台基于 Go + Scala 语言编写,定制了多个开源项目,基于 Kafka 自研了数据流入、导出以及多集群处理等多个关键组件。本次分享将深度揭秘七牛大数据平台的技术选型,组件设计、系统调优及架构演进。此外在演进过程中我们也遇到了不少的“坑”,分享中会给出对应的解决方案,作为本次分享的亮点。

个人简介

陈超,七牛云技术总监,国内 Spark 领域首席布道专家,Spark Summit China 终身主席,专注于大规模分布式计算与机器学习领域。全面负责七牛大数据产品的设计与研发,近年来一直专注于分布式计算与机器学习等领域,参与了多个知名开源项目,并且有非常丰富的分布式系统设计与实现经验,在分布式数据库方面也有深入研究。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。自2007年3月份首次举办以来,已经有超万名高级技术人员参加过QCon大会。QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上的技术团队负责人、架构师、工程总监、高级开发人员分享技术创新和最佳实践。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT