BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

数据流  在InfoQ上的内容 rss

演讲所属 数据流 rss

语言 & 开发 关注 492 他的粉丝 Secret Kung Fu of Massive Scale Stream Processing with Apache Samza 作者 刘新宇 关注 0 他的粉丝 发布于 2018年2月24日 事件处理是场争分夺秒的比赛,需要在秒级甚至毫秒级内提供更好的关联性和精确性。 为了赢得这场比赛,在过去领英5年的生产环境中,我们已经稳定地运行了400+Samza 应用程序,每天处理超过万亿事件,在这一切背后,领英拥有怎样的秘籍呢? 在这次分享中,我们将观察 Samza 的以下特性: a)一个流处理API,允许用户专注于处理逻辑,而不用担心执行细节; b)灵活的部署模式,我们能够在Yarn集群或AWS'EC2集群中运行Samza应用; c)在本地持久化中间状态,从而轻松应对大规模的有状态应用的扩展 d)支持异步处理,因此能够允许远程数据I/O支持整个事件消费产生的吞吐量。 e)最后,我们还会探索Samza作为一个平台如何兼容流处理和批处理两种模式。

架构 & 设计 关注 1109 他的粉丝 Sloth: 网易流计算服务化平台架构实践 作者 金晓军 关注 0 他的粉丝 发布于 2018年1月9日 网易历经了20年的发展,各业务线沉淀了丰富的数据。大数据平台在满足各业务线数据存储、计算的任务,同时承担着整合集团数据,为客户提供全方位的大数据服务。 在满足业务需求的过程中,对 Hadoop 各组件进行了定制优化(如分时调度,权限控制,元数据管理,Spark 多租户,Spark 高可用,流计算相关)。 同时,围绕大数据底层技术平台也孵化出了猛犸大数据开发平台,网易有数敏捷数据分析平台等产品。本次演讲重点介绍网易基于 Flink 研发的流计算服务化平台,以 SQL 为主要开发方式,支持 DDL,支持丰富的 DML,如 Stream join, Window,支持 UDF,提供丰富的 connector。为网易各业务线提供一站式的流计算解决方案。

他的粉丝 单页应用的数据流方案探索 作者 徐飞 关注 3 他的粉丝 发布于 2017年9月28日 随着 Angular,React,Vue 等方案的流行,前端的组件化开发已经成为常态。当应用的规模逐步膨胀的时候,组件之间的通信就逐渐成为了一个问题。像 Redux、Mobx 这类方案解决了什么问题?怎样解决的?会有什么痛点吗?是否有可能通过其他的一些思路去解决这些痛点?

文章所属 数据流 rss

他的粉丝 崛起的GPU数据库大揭秘:多数据流实时分析,如何做到快如闪电? 作者 杨旸 关注 2 他的粉丝 发布于 2017年9月4日 物联网的迅猛发展,让人们不得不调整数据平台的设计思路和处理方式。2017年Gartner指出,到2020年,210亿只IoT设备对数据中心存储需求增长将不超过3%。 GPU数据库带来了三大方面的进步:加载速度、实时处理和宽表多条件查询。它最大的革新点之一在于,不再需要借助索引来加速访问。

他的粉丝 Kafka设计解析(七)- 流式计算的新贵 Kafka Stream 作者 郭俊 关注 100 他的粉丝 发布于 2017年8月3日 本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以及主要的两种数据集KStream和KTable。并且分析了Kafka Stream如何解决流式系统中的关键问题,如时间定义,窗口操作,Join操作,聚合操作,以及如何处理乱序和提供容错能力。最后结合示例讲解了如何使用Kafka Stream。 2

新闻所属 数据流 rss

他的粉丝 ReactorKit:iOS单向数据流架构 作者 谢丽 关注 11 他的粉丝 发布于 2017年5月11日

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT