BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

eBay用户行为数据流实时处理系统
录制于:

| 作者 汪兴朗 关注 0 他的粉丝 发布于 2015年1月19日 | QCon北京2018全面起航:开启与Netflix、微软、ThoughtWorks等公司的技术创新之路!

亲爱的读者:我们最近添加了一些个人消息定制功能,您只需选择感兴趣的技术主题,即可获取重要资讯的邮件和网页通知

45:57

概要
eBay作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。基于现有的hadoop大数据处理,已经不能够满足业务上对实时性的需求。基于eBay过去的大数据处理的经验和对最新技术的运用,eBay探索出一个对海量的用户行为数据流进行实时的收集,处理,分发和分析的平台。这次分享一个系统的整体架构以及具体的实现的技术和运营方面的一些技术和经验。这个框架是一个全新的大数据处理的模式,它跳出了MapReduce,实现了一个没有终点的数据流, 数据在不同的应用之间自由流动,每个应用根据需要可以改变,插入,变异数据流,构建了一个开放的数据流社交网络。

个人简介

汪兴朗毕业于上海交通大学计算机系,于2013年4月加入eBay, 目前是ebay Global platform service的资深架构师,eBay CCOE technical board成员。加入ebay之前,在HP专注于电信行业的实时系统平台, 曾担任HP电信领域的实时平台的首席架构师。具有丰富的分布式实时系统的经验,在eBay成功的将实时系统和用户行为数据结合起来,搭建了一个实时的用户行为数据的处理的平台,大大缩短了业务部门的决策时间,推动了eBay用户行为数据分析从hadoop批处理转向实时处理。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT