BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

基于Hadoop平台的亿贝用户邮件数据分析
录制于:

| 作者 苏立 关注 0 他的粉丝 发布于 2012年2月25日 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义
37:24

概要
亿贝的Hadoop系统能够很好地处理大规模非结构化数据,为了高效处理用户邮件数据,我们在Hadoop平台上对于海量邮件进行了基于邮件发送时间的再分区和层级化的文件管理。同时还包括个人信息的过滤,邮件框架信息的过滤等等。结果集有三种不同的数据集合为不同的数据分析而准备, 包括原数据集、清洗后的数据集以及去重之后的小规模数据集。通过对于亿贝用户间的邮件数据分析,我们得出的一个重要结论是,对于亿贝的超级卖家和买家,亿贝要为其建立一个有效的,统一集中管理的邮件传送系统。<br><br><b>如果您观看本视频不流畅,请移步<a target=blank href="http://v.youku.com/v_show/id_XMzU2MDM0NDI0.html">优酷版本</a>(无Slides同步播放) </b>

个人简介

苏立,eBay (亿贝)中国卓越技术中心数据分析平台产品经理部经理,硕士毕业于新加坡国立大学计算机工程系。毕业后先后在A-STAR(Agency for Science, Technology and Research, Singapore), StarSoftComm(Singapore), 上海惠普GDCC等国内外知名IT研发机构和企业从事数据分析方面的研究和开发工作。具有10+年大规模文本数据分类、聚类、汇总和基于海量数据仓库平台进行数据分析的经验。目前负责eBay分析平台上的产品研发,包括搜索分析、交易分析、交易安全分析和移动交易分析等。

QCon全球企业开发大会(QCon Enterprise Software Development Conference)是由InfoQ网站主办的全球顶级技术盛会,每年在伦敦、北京、东京、圣保罗、旧金山等城市召开,今年是第一次在中国杭州举办。自2007年3月份在伦敦召开首次举办以来,已经有包括金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT