BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

数据平台实时化实践
录制于:

| 作者 王富平 关注 3 他的粉丝 发布于 2017年3月10日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
32:33

概要
实时化趋势与背景: Adhoc 等业务场景、在线学习 LTR 等实时需求越来越高; spark-streaming 与 flink 为代表的批流处理范式统一。 数据平台实时化实践: 苏宁数据平台——“数聚”的整体架构介绍; druid 打造实时 olap 平台与自研 sql on storm 方案介绍; 离线计算迁移到实时计算:如搜索 ndcg 计算等; 数据实时回流 LTR 改进推荐、搜索排序; 线下与线上数据融合:如摄像头实时采集门店客流数据。

个人简介

王富平,苏宁大数据中心高级架构师,历任百度大数据部高级工程师、1号店搜索与精准化部门架构师,一直从事大数据方向研发工作,对大数据工具、机器学习有深刻的认知,在实时计算领域经验丰富,13年基于公司实时处理平台设计开发了 sql on stream 解决方案,此外基于开源 hbase 监控框架 Hanibal 开发 Shield,已贡献在个人主页。热爱分享,先后在高可用架构、七牛架构师开放日、中国南京软件开发者大会分享、Stuq:《lambda 架构与推荐在电商系统实践》、《用户画像系统实践》、《Akka 与微服务实践》、《SparkStreaming 高级特性与流式计算业界发展动态》等分享。最近的工作方向是数据分析平台建设,旨在提供一个平台级别的数据服务,涵盖:实时分析、离线计算、OLAP、机器学习,打造一站式解决方案,数据即服务。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT