InfoQ

InfoQ

技术演讲

我的书签

登录注册 以永久保存书签。

该内容已经被标记书签!

标记书签错误,请重试!

录制于:
Recorded at

百度海量日志分析架构及处理经验分享

演讲人 陈晓鸣 发布于 2011年11月21日 长度 00:43:44     下载 MP3
     幻灯片
领域
语言 & 开发
主题
SQL ,
关系型数据库 ,
C ,
PHP ,
互联网 ,
数据库 ,
Tomcat ,
百度
 

您喜欢以何种方式显示该演讲?

如果您在观看视频的过程中出现故障,请根据下面的提示帮助我们查找问题所在:
1. 在视频播放器上点击右键,选择复制日志(Copy Log);
2. 将复制后的内容通过邮件video-issue@infoq.com发送给我们(直接点击该邮件链接可以启动默认邮件客户端);
注意:如果您的邮件客户端没有自动填充邮件标题,请在邮件中包含该视频的URL链接。
3. 完成。
我们将第一时间调查您遇到的问题,并给您反馈。感谢您帮助优化我们的站点!
概要
时至今日,对数据的管理、分析、挖掘能力已成为企业的核心竞争力。而对于互联网企业来说,最有价值的数据,往往蕴藏在网站日志之中。从日志中,我们不仅可以了解应用的使用量、活跃用户数、服务质量,还可以了解到用户的地域来源、使用偏好等许多关键信息,从而改善服务质量,更好地满足用户需求。但在实践中,随着网站用户规模增大和数据量的爆炸性增长,日志的管理、分析、挖掘变得越来越具有挑战性。百度在实战中积累了大量对海量日志数据处理的经验,并演化出一套平台化、可定制、高性能、高吞吐、高可用的技术架构。本次演讲将介绍百度日志处理平台LSP和海量数据处理语言DISQL的演化历程与架构思路,以及百度在日志分析中积累的一些经验。希望对大家有所启发。

个人简介
陈晓鸣,百度基础架构部资深工程师,百度海量数据分析语言DISQL的技术负责人,同时也是《百度C/C++编程规范》作者、百度基础库(BSL)和百度Web编程框架(NGUI)的主要开发者之一,目前专注于分布式计算、数据仓库方向的研究。

关于会议
百度技术沙龙是由百度与InfoQ中文站定期组织的线下技术交流活动。目的是让中高端技术人员有一个相对自由的思想交流和交友沟通的的平台。主要分讲师分享和OpenSpace两个关键环节,每期只关注一个焦点话题。“畅想•交流•争鸣•聚会”是百度技术沙龙的宗旨。