BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

唯品会日志平台建设
录制于:

| 作者 姚仁捷 关注 0 他的粉丝 发布于 2014年2月24日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
40:08

概要
数据时代,大多数数据库通过ETL进入数据仓库的数据,还有一部分数据是通过收集服务器上的日志(包括系统日志,应用日志等)。 近年来,用户行为分析和与之相关的个性化也是热点之一,用户的行为信息收集,实时的计算将结果反馈给用户,是非常重要的功能。所以说,日志数据的收集,传输,计算(batch或者实时流计算)是数据时代数据落地需要关注的问题。日志集中处理不只是拥有大数据的大公司才需要,对于数据的需求,都是类似的。日志集中处理既可以做一个工具,也可以做一个平台 唯品会发展迅猛,与之相随的是各类日志的增长,研发人员对于线上日志的搜索需求和各类实时数据的需求(业务的,系统的),促使我们需要一个平台来解决这些问题。 这次分享,我会介绍一些数据的落地(上文提到的各个环节),唯品会在技术选型的经验,日志工具&平台的不同,数据准确性的重要性。希望能对大家有所帮助。

个人简介

姚仁捷(八牛,超大杯摩卡星冰乐,摩卡星冰乐),目前在唯品会的数据平台与应用部门担任研发工程师,主要工作是数据的落地(收集,计算,存储,检索等)。作为偏后端的工程师,对前端开发,数据可视化有强烈的兴趣。他对技术的态度是“先可用,再好用”,并且非常喜欢研究新东西。 2012年他毕业于华中科技大学,拥有数学和计算机双学位。2011年7月在ebay作为intern学习,同年9月加入PPTV,负责Zabbix相关工作。2012年12月加入唯品会并工作至今。 姚仁捷1989年出生于上海,从小对计算机有强烈的兴趣,pascal是他学习的第一门语言。他是《冰与火之歌》的狂热粉丝,热爱跑步,今年目标能完成一次半马。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT