百度海量日志分析架构及处理经验分享
时至今日，对数据的管理、分析、挖掘能力已成为企业的核心竞争力。而对于互联网企业来说，最有价值的数据，往往蕴藏在网站日志之中。从日志中，我们不仅可以了解应用的使用量、活跃用户数、服务质量，还可以了解到用户的地域来源、使用偏好等许多关键信息，从而改善服务质量，更好地满足用户需求。但在实践中，随着网站用户规模增大和数据量的爆炸性增长，日志的管理、分析、挖掘变得越来越具有挑战性。百度在实战中积累了大量对海量日志数据处理的经验，并演化出一套平台化、可定制、高性能、高吞吐、高可用的技术架构。本次演讲将介绍百度日志处理平台LSP和海量数据处理语言DISQL的演化历程与架构思路，以及百度在日志分析中积累的一些经验。希望对大家有所启发。