BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Hortonworks进军物联网,发布基于Apache NiFi项目的DataFlow产品

| 作者 Abel Avram 关注 11 他的粉丝 ,译者 张晓鹏 关注 0 他的粉丝 发布于 2015年10月8日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

Hortonworks已经在不知不觉中完成了他们的DataFlow平台,这个平台基于Apache NiFi项目并准备去解决物联网(IoAT)中的数据处理需求。

Hortonworks公司在最近的一次研讨会上向石油和天然气行业的客户介绍了其DataFlow (HDF)平台。HDF(Hortonworks Data Flow)平台基于Apache NiFi项目,它是一种实时数据流处理 系统,在去年由美国安全局(NSA)开源并进入Apache社区,NiFi初始的项目名称是Niagarafiles。当NiFi项目开源之后,一些早先在NSA的开发者们创立了初创公司Onyara,Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks公司最近收购了Onyara并将其开发者整合到自己的团队中。

因为NiFi可以对来自多种数据源的流数据进行处理,Hortonworks认为HDF平台非常适合用于物联网 (IoAT)的数据处理。HDF中的数据流动可以是多个方向,甚至是点对点的,用户可以同收集到的数据流进行交互,这种交互甚至可以延伸到数据源,比如一些传感器或是设备。按照Hortonworks公司的说法,HDF产品是对HDP产品的补充,前者主要处理移动中的数据,而后者基于Hadoop技术,主要负责从静止的数据中获取洞察。

NiFi项目在创建过程中遵循了一些理念:1)精细化管理信息流的能力;2)跟踪数据相关事件和信息的能力,比如数据从哪里来,在路径中发生了什么;3)保证控制和数据面的安全能力。NiFi的主要特性包括:

  • 有保证的数据交付
  • 支持背压(back-pressure)机制的数据缓冲
  • 有优先级的队列
  • QoS
  • 数据溯源(Data provenance):NiFi对数据流路径上的每次变化都会保留日志记录,从而保证结果的可追溯,以及数据的恢复、重播、审计和评估。
  • 通过日志记录数据的历史细节
  • 支持交互式命令和控制台,并对系统变化提供可视化的反馈
  • 支持流模板(Flow templates)
  • 支持插入式(Pluggable)/多角色(multi-role)的安全机制
  • 支持对数据操作的扩展
  • 支持集群管理

NiFi并非只能用于物联网,实际上,它可以用于所有种类的实时数据处理,比如预测分析、欺诈检测、大数据注入、资源评估等等。NiFi项目自身提供了90个数据处理器 (data processors),这其中包括了数据的编码、加密、压缩、转换、从数据流创建Hadoop的序列文件、同AWS交互、发送消息到Kafka、从Twitter上获取消息,以及其它等等。你可以在拖放风格的可视化界面上来配置这些数据处理器,把它们链接到一起,并在它们之间使用背压机制来进行流控。NiFi还提供了内置的自动扩展、请求复制、负载均衡和故障切换机制。

在NiFi的路标中还可以看到以下特性:对流的配置管理做进一步的提升、一个扩展和模板注册表、对Avro的优先支持、交互式队列管理、多租户的数据流,以及其它。

目前,HDF已经可以在沙箱式的环境中配合Apache Ambari进行测试验证。

查看英文原文:Hortonworks Addresses the IoAT with DataFlow Based on NiFi

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT