BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

  • 他的粉丝

    从批处理ETL到流式处理:一个来自Netflix的案例

    作者 Daniel Bryant 关注 634 他的粉丝 ,译者 Martin 关注 0 他的粉丝   发布于  2018年3月13日 1

    在2017年的纽约QCon大会上,Shriya Arora呈现了“Personalizing Netflix with Streaming Datasets”的演讲,分享了Netflix的一个数据作业迁移案例,他们使用Flink替代了原先基于批处理的ETL。

  • 他的粉丝

    批处理ETL已经消亡,Apache Kafka才是数据处理的未来吗?

    作者 Daniel Bryant 关注 634 他的粉丝 ,译者 张卫滨 关注 13 他的粉丝   发布于  2018年2月22日

    在QCon旧金山2016会议上,Neha Narkhed做了“ETL已死,而实时流长存”的演讲,并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的Apache Kafka流处理平台能够提供灵活且统一的框架,支持数据转换和处理的现代需求。

  • 他的粉丝

    使用Dataflow模型和Apache Beam进行流数据处理的基础

    作者 Daniel Bryant 关注 634 他的粉丝 ,译者 罗远航 关注 1 他的粉丝   发布于  2018年2月8日

    在QCon San Francisco 2016大会上,Frances Perry和Tyler Akidau做了一个关于“使用Apache Beam进行流数据处理的基础”的主题演讲。在演讲中探讨了Google的Dataflow模型以及Apache Beam的相关实现。

他的粉丝

严格一次未必严格一致

作者 Jerry Peng 关注 1 他的粉丝 ,译者 大愚若智 关注 9 他的粉丝   发布于  2017年11月22日

本文将介绍流处理引擎的不同处理语义。同时还将介绍严格一次(Exactly-once)处理语义真正可以提供的保证,以及严格一次处理语义在实现方面的差异。对此,Streamlio将统一称之为“实际一次(Effectively-once)”,本文也将介绍这么做的原因。

他的粉丝

使用WSO2复杂事件处理器处理用户轨迹流

作者 Ramindu De Silva 关注 0 他的粉丝 , Miyuru Dayarathna 关注 0 他的粉丝 ,译者 Rays 关注 3 他的粉丝   发布于  2017年6月2日

如何从不准确性数据流中抽取有用信息,这一直是物联网应用流数据处理中的一个重要问题。本文给出了一种使用卡尔曼滤波器平滑iBeacon传感器网络中采集的用户轨迹信息的方法,并展示了该方法的有效性。这一方法已经构建到WSO2的复杂事件处理器中。

他的粉丝

主流流处理框架比较(系列文章)

作者 Petr Zapletal 关注 0 他的粉丝 ,译者 侠天 关注 5 他的粉丝   发布于  2016年7月8日

分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。 1

他的粉丝

物联网(IOT)时代的流处理和消息系统

作者 Ben Lorica 关注 0 他的粉丝 ,译者 侠天 关注 5 他的粉丝   发布于  2016年6月27日

本篇是O’Reilly Data Show的一个采访实录,大数据公司 MapR联合创始人、Uber首席架构师 M.C. Srivas讲述IOT时代的流处理和消息系统 。

他的粉丝

Apache的流处理技术概述

作者 Ian Hellström 关注 0 他的粉丝 ,译者 张天雷 关注 4 他的粉丝   发布于  2016年5月21日

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求。对于流数据的处理存在很多技术:简单的事件处理器,流处理器和复杂的事件处理器。即使在开源社区中,也存在很多扑朔迷离的选择,其中很多的差异并没有被很好的记载,也不容易发现。为此,Ian Hellström 在其博文中对流处理技术进行了简单介绍,本文是博文的翻译稿。

他的粉丝

用Apache Spark进行大数据处理——第三部分:Spark流

作者 Srini Penchikala 关注 34 他的粉丝 ,译者 荣耀 关注 0 他的粉丝   发布于  2016年3月3日

在本文,也就是Apache Spark系列的第三部分中,作者Srini Penchikala用一个日志分析样例应用讨论了如何将Apache Spark流框架用于实时流数据处理中。

他的粉丝

《Storm Applied》书评与作者访谈

作者 Sergio De Simone 关注 12 他的粉丝 ,译者 陆志伟 关注 1 他的粉丝   发布于  2015年9月28日

《Storm Applied》是Manning出版有限公司出版的一本新书,旨在向开发人员提供一本无论是在开发或者生产环境中使用Storm的实用指南。InfoQ访问了本书的两位作者Sean T. Allen和Matthew Jankowski。

他的粉丝

流中巨蟒——利用 Python 供养 Amazon Kinesis Stream

作者 Markus Schmidberger 关注 0 他的粉丝 发布于  2015年7月3日

如今物联网的席卷之势正愈演愈烈,而个中原因其实不难说清:物联网的出现帮助企业通过将所有机械与设备接入网络而带来新的商业价值。不过新的挑战也由此产生,这就是实时数据处理与分析。云计算正是开启物联网财富大门的金钥匙,因为其具备显著的灵活性、可扩展能力以及弹性优势。 1

他的粉丝

事件流如何提高应用程序的扩展性、可靠性和可维护性

作者 谢丽 关注 9 他的粉丝 发布于  2015年3月28日

Martin Kleppmann是Apache Samza的贡献者。在本文中,我们将跟随他的思路深入理解这些概念,以便帮助我们设计更好的系统。 3

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT