BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

  • 他的粉丝

    使用Apache Kafka和KSQL实现流处理普及化——第二部分

    作者 Robin Moffatt 关注 2 他的粉丝 ,译者 谢丽 关注 12 他的粉丝   发布于  2018年9月21日

    在本文中,作者Robin Moffatt展示了如何借助一个电商实例应用程序使用Apache Kafka和KSQL构建数据集成和处理应用程序。本文讨论了三个应用场景:客户操作、操作仪表板、在线分析。

  • 他的粉丝

    点评可调整大小哈希表:Riak Core和随机切片技术

    作者 Scott Lystig Fritchie 关注 0 他的粉丝 ,译者 盖磊 关注 2 他的粉丝   发布于  2018年9月17日

    分布式流数据处理框架Wallaroo需要支持计算群集规模的调整,实现此需要一种大小可调整的分布式数据结构。一个好的做法是使用分布式哈希表,但问题在于应该如何选择分布式哈希算法?本文探讨了一致性哈希是否的确适用于Wallaroo,分析了现有技术的利弊,并介绍了一种称为随机切片的新技术。

  • 他的粉丝

    为应用程序选择合适的流式处理器

    作者 Miyuru Dayarathna 关注 0 他的粉丝 , Srinath Perera 关注 2 他的粉丝 ,译者 无明 关注 3 他的粉丝   发布于  2018年8月31日

    与传统的批处理数据相比,流式处理器是一种软件平台,用户可以更快地响应传入的数据流。在本文中,作者讨论了流式处理器参考架构、大多数流式应用程序所需的关键特性以及如何根据特定用例选择合适的流式处理器。

他的粉丝

使用Apache Kafka和KSQL实现普及化流处理

作者 Michael Noll 关注 0 他的粉丝 ,译者 盖磊 关注 2 他的粉丝   发布于  2018年7月2日

本文作者Michael Noll介绍了如何使用KSQL实现流处理。KSQL是Apache Kafka的数据流SQL引擎。本文内容涵盖了有状态流处理中的挑战、KSQL是如何解决这些挑战的,以及KSQL是如何通过流和表构建了流数据和数据库之间的桥梁。

他的粉丝

从批处理ETL到流式处理:一个来自Netflix的案例

作者 Daniel Bryant 关注 766 他的粉丝 ,译者 Martin 关注 0 他的粉丝   发布于  2018年3月13日

在2017年的纽约QCon大会上,Shriya Arora呈现了“Personalizing Netflix with Streaming Datasets”的演讲,分享了Netflix的一个数据作业迁移案例,他们使用Flink替代了原先基于批处理的ETL。 1

他的粉丝

批处理ETL已经消亡,Apache Kafka才是数据处理的未来吗?

作者 Daniel Bryant 关注 766 他的粉丝 ,译者 张卫滨 关注  他的粉丝   发布于  2018年2月22日

在QCon旧金山2016会议上,Neha Narkhed做了“ETL已死,而实时流长存”的演讲,并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的Apache Kafka流处理平台能够提供灵活且统一的框架,支持数据转换和处理的现代需求。

他的粉丝

使用Dataflow模型和Apache Beam进行流数据处理的基础

作者 Daniel Bryant 关注 766 他的粉丝 ,译者 罗远航 关注  他的粉丝   发布于  2018年2月8日

在QCon San Francisco 2016大会上,Frances Perry和Tyler Akidau做了一个关于“使用Apache Beam进行流数据处理的基础”的主题演讲。在演讲中探讨了Google的Dataflow模型以及Apache Beam的相关实现。

他的粉丝

严格一次未必严格一致

作者 Jerry Peng 关注 1 他的粉丝 ,译者 大愚若智 关注 9 他的粉丝   发布于  2017年11月22日

本文将介绍流处理引擎的不同处理语义。同时还将介绍严格一次(Exactly-once)处理语义真正可以提供的保证,以及严格一次处理语义在实现方面的差异。对此,Streamlio将统一称之为“实际一次(Effectively-once)”,本文也将介绍这么做的原因。

他的粉丝

使用WSO2复杂事件处理器处理用户轨迹流

作者 Miyuru Dayarathna 关注 0 他的粉丝 , Ramindu De Silva 关注 0 他的粉丝 ,译者 Rays 关注 3 他的粉丝   发布于  2017年6月2日

如何从不准确性数据流中抽取有用信息,这一直是物联网应用流数据处理中的一个重要问题。本文给出了一种使用卡尔曼滤波器平滑iBeacon传感器网络中采集的用户轨迹信息的方法,并展示了该方法的有效性。这一方法已经构建到WSO2的复杂事件处理器中。

他的粉丝

主流流处理框架比较(系列文章)

作者 Petr Zapletal 关注 0 他的粉丝 ,译者 侠天 关注 5 他的粉丝   发布于  2016年7月8日

分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。 1

他的粉丝

物联网(IOT)时代的流处理和消息系统

作者 Ben Lorica 关注 0 他的粉丝 ,译者 侠天 关注 5 他的粉丝   发布于  2016年6月27日

本篇是O’Reilly Data Show的一个采访实录,大数据公司 MapR联合创始人、Uber首席架构师 M.C. Srivas讲述IOT时代的流处理和消息系统 。

他的粉丝

Apache的流处理技术概述

作者 Ian Hellström 关注 0 他的粉丝 ,译者 张天雷 关注 4 他的粉丝   发布于  2016年5月21日

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求。对于流数据的处理存在很多技术:简单的事件处理器,流处理器和复杂的事件处理器。即使在开源社区中,也存在很多扑朔迷离的选择,其中很多的差异并没有被很好的记载,也不容易发现。为此,Ian Hellström 在其博文中对流处理技术进行了简单介绍,本文是博文的翻译稿。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT