BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

OpenSOC:安全大数据分析框架

| 作者 李士窑 关注 0 他的粉丝 发布于 2014年9月26日. 估计阅读时间: 4 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

Solidot报道,思科在BroCON大会上亮相了其安全大数据分析架构OpenSOC,引起了广泛关注。OpenSOC是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目Hadoop,实时索引使用开源项目ElasticSearch,在线流分析使用著名的开源项目Storm。OpenSOC概念性体系架构如下图所示:

OpenSOC主要功能包括:

  • 可扩展的接收器和分析器能够监视任何Telemetry数据源
  • 是一个扩展性很强的框架,且支持各种Telemetry数据流
  • 支持对Telemetry数据流的异常检测和基于规则实时告警
  • 通过预设时间使用Hadoop存储Telemetry的数据流
  • 支持使用ElasticSearch实现自动化实时索引Telemetry数据流
  • 支持使用Hive利用SQL查询存储在Hadoop中的数据
  • 能够兼容ODBC/JDBC和继承已有的分析工具
  • 具有丰富的分析应用,且能够集成已有的分析工具
  • 支持实时的Telemetry搜索和跨Telemetry的匹配
  • 支持自动生成报告、和异常报警
  • 支持原数据包的抓取、存储、重组
  • 支持数据驱动的安全模型

OpenSOC官方文档介绍了以下五大优点:

  • 由思科全力支持,适用于内部多用户
  • 免费、开源、基于Apache协议授权
  • 基于高可扩展平台(Hadoop、Kafka、Storm)实现
  • 基于可扩展的插件式设计
  • 具有灵活的部署模式,可在企业内部部署或者云端部署
  • 具有集中化的管理流程、人员和数据

当前,OpenSOC运行条件包括

  • 两个网卡(建议使用Napatech的NT20E2-CAP网卡)
  • Apache Flume 1.4.0版本及以上
  • Apache Kafka 0.8.1版本及以上
  • Apache Storm 0.9版本及以上
  • Apache Hadoop 2.x系列的任意版本
  • Apache Hive 12版本及以上(建议使用13版本)
  • Apache Hbase 0.94版本及以上
  • ElasticSearch 1.1版本及以上
  • MySQL 5.6版本及以上等。

2014年被大家公认为是大数据分析应用的落地年,与此同时,近年来频繁发生的信息泄露事件为人们敲响了安全警钟。所以在今年,大数据与安全分析技术的结合成为了信息安全市场的热点话题。OpenSOC是一个通力合作的开源项目,其目的是提供一个协作互助的开源社区来开发出一个可扩展、稳定、高级的安全数据分析工具,以推动高效的安全分析工作。OpenSOC开发团队欢迎任何组织和个人对该项目的开发、改进、实施做出贡献。另外,思科曾说到准备在2014年夏季开源OpenSOC,但因为各方面的原因推迟了时间。最近,OpenSOC在GitHub上的官方站点已经可以访问,这说明了它离正式开源的时间又近了一步。OpenSOC将提供ZIP、TAR等安装包,关于OpenSOC的安装说明请查看该工程在GitHub上的Wiki页面,更多相关信息请登陆其官网查看或者观看BroCON大会上的演讲幻灯片视频


感谢张天雷对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT