BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Logz.io提供了基于机器学习的日志分析

| 作者 Hrishikesh Barua 关注 12 他的粉丝 ,译者 Rays 关注 3 他的粉丝 发布于 2016年11月22日. 估计阅读时间: 4 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

Logz.io提供了一种使用机器学习进行智能日志分析的托管服务。该服务能够从人类与日志数据的交互中获得新的观点,这些日志数据包括技术论坛上的讨论内容和公共代码库。

DevOps团队使用ELK这类日志分析工具中心化了日志的聚合和索引过程,但是现代应用正快速地生成大量的日志和度量指标,日志的庞大规模使得日志分析工作难以顺利进行。另一方面,所采集度量指标的数量也在快速地增长,这导致传统监测工具只能用来做数据展示。数据在规模上的增长也导致了基于阈值的报警不再适用,这也引发了异常检测系统的异军突起,这些系统包括Anomaly.ioDatadogSumoLogic,以及Etsy的Skyline这样的开源系统。

相比异常检测系统而言,Logz.io所提供的服务更进了一步,它给出了对异常情况的深层见解,这些见解是通过在人们的网络交互数据上进行机器学习得出的。这些数据中包括在StackOverflow和Github这样的网站上对类似异常情况的讨论。如果单纯地使用Google搜索异常情况,这常会出现大量的搜索结果,Logz.io是如何做到对相关结果的过滤的呢?InfoQ联系了Logz.io公司的CEO和联合创始人Tomer Levy,他对此做了详述:

Logz.io使用了机器学习技术去理解线索的情境、线索所指的产品、是否有解决方案以及提问者对给出的方案是否满意。我们还拿自有的用户数据跟这些线索进行交叉引用。

此外,Levy还指出:“在给出了对用户关注的见解后,我们进而基于他/她对该见解的反馈情况对它们之间的相关性进行评估。”这就实现了一种反馈闭环,使得该服务系统可以与时俱进。

很多现代的软件产品都是使用开源程序库构建的,因此大部分情况下在因特网上搜索这些产品的某个错误或异常都会给出搜索结果。但也应考虑到在极少数情况下,还有一些产品是完全从头构建的,没有使用任何公开可用的代码。对此,Logz.io计划在未来发布一种“非公开见解”,允许组织定义自己的异常和异常的相关细节。

Logz.io采用了Elasticsearch-Logstash-Kibana(ELK)技术栈作为后台,提供的服务托管在Logz.io私有云上,这意味着日志数据必须要从各个应用端传输到该私有云中。对那些部署了自有ELK的组织来说,Logz.io提供了本地日志传输器,帮助这些组织将数据安全传输到Logz.io云上。

作为对如何解决企业所关注的数据安全问题的回应,Levy说道:

在数据安全方面,我们投入大量精力在数据加密和全面的安全流程上。Logz.io聘请了安永会计师事务所对安全基础设施和流程进行审计,并在近期通过了欧盟对SOC 2 II型报告和ISO-27001标准的合规审计。此外,公司的数据是在美国托管的。为确保遵守欧盟的法规,基于欧盟的企业可以选择将数据放在法兰克福保存。

查看英文原文:Logz.io Offers Machine Learning Based Log Analysis


感谢薛命灯对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT