BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

百度海量日志分析架构及处理经验分享
录制于:

| 作者 陈晓鸣 关注 0 他的粉丝 发布于 2011年11月22日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
43:44

概要
时至今日,对数据的管理、分析、挖掘能力已成为企业的核心竞争力。而对于互联网企业来说,最有价值的数据,往往蕴藏在网站日志之中。从日志中,我们不仅可以了解应用的使用量、活跃用户数、服务质量,还可以了解到用户的地域来源、使用偏好等许多关键信息,从而改善服务质量,更好地满足用户需求。但在实践中,随着网站用户规模增大和数据量的爆炸性增长,日志的管理、分析、挖掘变得越来越具有挑战性。百度在实战中积累了大量对海量日志数据处理的经验,并演化出一套平台化、可定制、高性能、高吞吐、高可用的技术架构。本次演讲将介绍百度日志处理平台LSP和海量数据处理语言DISQL的演化历程与架构思路,以及百度在日志分析中积累的一些经验。希望对大家有所启发。

个人简介

陈晓鸣,百度基础架构部资深工程师,百度海量数据分析语言DISQL的技术负责人,同时也是《百度C/C++编程规范》作者、百度基础库(BSL)和百度Web编程框架(NGUI)的主要开发者之一,目前专注于分布式计算、数据仓库方向的研究。

百度技术沙龙是由百度与InfoQ中文站定期组织的线下技术交流活动。目的是让中高端技术人员有一个相对自由的思想交流和交友沟通的的平台。主要分讲师分享和OpenSpace两个关键环节,每期只关注一个焦点话题。“畅想•交流•争鸣•聚会”是百度技术沙龙的宗旨。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT