BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

rss
28:55
他的粉丝

基于日志trace的智能故障定位系统

作者 曹轩  发布于  2018年2月4日 作者 曹轩 关注 0 他的粉丝  发布于  2018年2月4日

结合机器学习技术的进步,实现一套基于日志trace的智能故障定位系统及其背后的一套技术方案,主要基于以下技术:1.基于GBDT的单PV根因预测模型;2.数据多维度汇聚与维度间信息熵排序;3.智能抽样系统;4.数据获取异步化、维度逐级下钻等一系列工程优化;最终能够实现WQPS/sec的PV根因定位能力,并能够根据根因做统计上的多维度汇聚,该系统应用于百度核心搜索系统,极大提升了重大异常问题定位效率。

35:23
他的粉丝

容器环境下基于APM的海量日志全链路跟踪分析

作者 苌程  发布于  2018年2月1日 作者 苌程 关注 0 他的粉丝  发布于  2018年2月1日

在微服务容器环境中,分析日志变成了痛苦的活儿。即使存在统一日志系统,但面对的问题是同一时刻会有几十甚至上百个相同的实例日志,每个日志都看一遍都将花费巨大的时间成本。那么,如何分析?如何快速的定位一次用户访问的全链路日志呢?本次分享主要介绍谐云科技在服务好客户过程中的实践性知识,深入讲解如何将用户访问的微服务的全链路日志整合分析,从而极大缩短日志分析的时间。

46:26
他的粉丝

如何打造一个百万亿级的日志搜索引擎:Poseidon

作者 魏自立  发布于  2017年3月20日 作者 魏自立 关注 0 他的粉丝  发布于  2017年3月20日

Poseidon 系统是一个日志搜索平台,可以在百万亿条、100PB 大小的日志数据中快速分析和检索。Poseidon 系统能在数百万亿条规模的数据集中找出我们需要的数据,只需要花费几秒钟时间,大大提高工作效率;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。

48:46
他的粉丝

LinkedIn 基于 Kafka 和 ElasticSearch 的实时日志分析系统

作者 李虓  发布于  2017年3月16日 作者 李虓 关注 2 他的粉丝  发布于  2017年3月16日

及时有效地搜索日志是 SRE 日常工作的重要内容。LinkedIn 从使用 Splunk 到建立基于 ES 和 kafka 的日志分发、索引系统,为 SRE 提供了近似实时的搜索平台来检索超过 400 多个子系统的日志。在本演讲中,我将和大家分享这套系统从无到有的一些技术架构经验。

37:30
他的粉丝

IT运维分析与日志搜索分析引擎案例分析

作者 陈军  发布于  2016年11月3日 1 作者 陈军 关注 1 他的粉丝  发布于  2016年11月3日 1

这个演讲将介绍ITOA,比较各种日志处理技术,重点讲解实时日志搜索分析引擎,比较索引阶段对日志做结构化(Schema on Write)及检索阶段对日志做结构化(Schema on Read),在搜索框里编写搜索处理语言(Search Processing Language, SPL)以灵活地支持各种业务分析,及在金融、运营商的一些应用案例。

45:00
他的粉丝

ngx_lua在又拍云的应用:日志收集、性能调优与服务化

作者 张聪  发布于  2016年8月8日 1 作者 张聪 关注 0 他的粉丝  发布于  2016年8月8日 1

此次主要跟大家分享的就是我们团队在这整个转换过程中的一些心得体会,以及在 NGINX 上基于 ngx_lua 的一些有趣的功能,特别地,会着重介绍下我们是如果利用 ngx_lua 的灵活性来动态收集日志进行数据聚合分析的。

39:43
他的粉丝

航空电商大规模实时日志分析

作者 李锋  发布于  2015年11月15日 4 作者 李锋 关注 0 他的粉丝  发布于  2015年11月15日 4

如何通过对恶意用户的行为分析建模,实时对恶意行为进行封杀,解决困扰航空电商已久的用户恶意占座行为,是航空公司互联网销售非常关心的问题。本次演讲我们将详细介绍海南易建科技股份有限公司在大数据恶意行为防护方面的尝试。

30:13
他的粉丝

大规模日志的实时安全分析

作者 罗启武  发布于  2014年7月1日 作者 罗启武 关注 0 他的粉丝  发布于  2014年7月1日

如何建立一款基于大规模日志分析的规则引擎(各种识别规则或模型)、实时计算的安全分析产品;从日志中找到一些好玩的东西,并在日志中发现各种惊喜和秘密。分享在这个过程中携程的一些辛酸历程。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT