BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

Sloth: 网易流计算服务化平台架构实践
录制于:

| 作者 金晓军 关注 0 他的粉丝 发布于 2018年1月9日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
42:19

概要
网易历经了20年的发展,各业务线沉淀了丰富的数据。大数据平台在满足各业务线数据存储、计算的任务,同时承担着整合集团数据,为客户提供全方位的大数据服务。 在满足业务需求的过程中,对 Hadoop 各组件进行了定制优化(如分时调度,权限控制,元数据管理,Spark 多租户,Spark 高可用,流计算相关)。 同时,围绕大数据底层技术平台也孵化出了猛犸大数据开发平台,网易有数敏捷数据分析平台等产品。本次演讲重点介绍网易基于 Flink 研发的流计算服务化平台,以 SQL 为主要开发方式,支持 DDL,支持丰富的 DML,如 Stream join, Window,支持 UDF,提供丰富的 connector。为网易各业务线提供一站式的流计算解决方案。

个人简介

金晓军,网易 数据科学中心技术负责人&首席架构师,2010年加入阿里,高级技术专家,阿里云数据平台架构师,Aliyun StreamCompute(galaxy) 架构师兼核心开发。一直从事数据平台与分布式系统设计与研发工作。 现负责网易大数据平台建设、团队建设、人才培养,负责整体架构设计、自研系统研发与开源组件功能扩展与集成、大数据产品化输出。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT