BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Metron晋升顶级项目

| 作者 Dylan Raithel 关注 8 他的粉丝 ,译者 Rays 关注 3 他的粉丝 发布于 2017年5月23日. 估计阅读时间: 3 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

Hortonworks和Apache宣布Metron正式晋升为顶级项目。Metron是一种多功能的安全遥测数据捕获、流分析和威胁响应平台,代表了安全数据平台的最新发展水平。该项目最早可溯源至Cisco的开源大数据系统安全框架项目OpenSOC。Metron提供的功能包括:日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩,并可以将当前的威胁情报信息应用到安全遥测中。Metron在同一平台中集成实现了所有的这些功能。

Metron从概念上可划分为四个组件:数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。

从核心上看Metron是Kappa架构。Kappa是Lambda架构的一种变体,使用Apache Kafka作为统一的数据总线,并使用Apache Strom作为处理组件。Bro插件提供了将Bro日志发送给Kafka的能力,这使得Metron可以捕获对深度探究数据包尤为有用的数据、借助Kafka的可靠性保证捕获并重建数据,以及与其他大数据生态系统进行集成。

数据捕获组件实现将遥测数据发布到Metron的消息总线上,进而持久化或经由Storm进行实时处理到HBase中。Metron对被捕获的数据提供了多种方法建立搜索索引和进行实时与近实时处理。Metron提供了数据接口,使得HBase可根据情况与ElasticSearch、LuceneSolr进行接口。Metron默认提供的系统管理和仪表盘接口是基于Kibana构建的。

Metron具有一些不同于新兴数据流水线标准的特征。首先,Metron是通过Stellar与一系列的数据转换功能和API进行集成的。Stellar是一种威胁情报分离和场转换语言,通过Metron的RESTful模型即服务(MaaS,Modeling-as-a-Service)功能进行部署和执行。MaaS功能使用Yarn管理,设计实现为一种实时或近实时的威胁检测和响应机制。其次,数据浓缩工具集提供了管理和加载各种数据浓缩和威胁情报源到Metron的HBase数据接收器的功能。通过MaaS部署的机器学习模型,Metron实现了对数据浓缩步骤的增强。最后一点,Metron提供了一系列的分析工具。当实时和近实时的遥测数据进入数据总线以及在HBase中持久化时,分析工具实现了执行特性抽取和截取数据窗口的机制。

该Apache项目由Owen O'Malley领导,最早正是他负责将OpenSOC项目迁移为Metron项目。

查看英文原文: Apache Metron Graduates to Top-Level Project

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT