BT
您现在处于全屏预览
关闭全屏预览

LinkedIn 基于 Kafka 和 ElasticSearch 的实时日志分析系统
录制于:

| 作者 李虓 发布于 2017年3月16日 |
48:46

概要
及时有效地搜索日志是 SRE 日常工作的重要内容。LinkedIn 从使用 Splunk 到建立基于 ES 和 kafka 的日志分发、索引系统,为 SRE 提供了近似实时的搜索平台来检索超过 400 多个子系统的日志。在本演讲中,我将和大家分享这套系统从无到有的一些技术架构经验。

个人简介

李虓(Li Xiao),LinkedIn SRE 团队高级技术经理。带领 SRE 团队负责 LinkedIn 在线支付系统,高级会员功能,公共 API 接口,视频上传和分享等系统的运维,同时负责搭建 LinkedIn 生产环境日志检索系统,Rest.Li 框架性能优化等跨功能项目。在加入 LinkedIn 之前有着丰富的 Java 开发和项目管理经验。四年前加入 LinkedIn SRE 团队,致力于让开发和运维团队紧密配合,在新功能上线和产品稳定性之间找到最佳平衡。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

BT