BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

他的粉丝

Kafka 2.0重磅发布,新特性独家解读

作者 王国璋 关注 1 他的粉丝 发布于  2018年8月1日 3

今天 Apache Kafka 项目的 2.0.0 版本正式发布了!距离 1.0 版本的发布,相距还不到一年。这一年不论是社区还是 Confluent 内部对于到底 Kafka 要向哪里发展都有很多讨论:从最初的标准消息系统,到现如今成为一个完整的包括导入导出和处理的流数据平台,从 0.8.2 一直到 1.0 版本,很多新特性和新部件被不断添加。但同时更重要的,关于“一个企业级的流式数据平台,到底有哪些必须的功能”这个问题,也被不断实践和理解。

他的粉丝

Confluent:在Kafka上飞驰的数据交换者

作者 徐飞 关注 3 他的粉丝 发布于  2018年1月17日

今天我们要讲的大数据公司叫作Confluent,这个公司是前LinkedIn员工出来后联合创办的,而创业的基础是一款叫作Apache Kafka的开源软件。

他的粉丝

Kafka迎来1.0.0版本,正式告别四位数版本号

作者 薛命灯 关注 24 他的粉丝 发布于  2017年11月2日 2

Kafka现在正式迎来了1.0.0版本!

他的粉丝

Kafka不只是个消息系统

作者 Jay Kreps 关注 1 他的粉丝 ,译者 薛命灯 关注 24 他的粉丝   发布于  2017年10月30日 2

Confluent联合创始人兼CEO Jay Kreps发表了一篇博客,给出了Kafka的真正定位——它不只是个消息系统,它还是个存储系统,而它的终极目标是要让流式处理成为现代企业的主流开发范式。

他的粉丝

如何在kafka-python和confluent-kafka之间做出选择?

作者 Russell Jurney 关注 0 他的粉丝 ,译者 张斌 关注 0 他的粉丝   发布于  2017年9月11日 1

Russell Jurney是一名数据艺术家、作家和工程师。本文描述了他在两个Kafka客户端(kafka-python和confluent-kafka)使用中遇到的问题,并针对如何选择开源工具提出了一些建议。

他的粉丝

LinkedIn开源Cruise Control:一个Kafka集群自动化运维新利器

作者 Jiangjie Qin 关注 0 他的粉丝 发布于  2017年9月4日

LinkedIn宣布开源Cruise Control,一个大规模Kafka集群自动化运维工具。

他的粉丝

Pinterest开源Kafka集群自愈和工作负载均衡工具:DoctorKafka

作者 张卫滨 关注  他的粉丝 发布于  2017年9月4日

Pinterest使用Kafka作为中心化的消息传输工具,用于数据摄取、流处理等场景。随着Kafka集群越来越庞大,对它的管理也越发复杂,并变成了运维团队的沉重负担,因此他们研发了Kafka集群自愈和工作负载均衡工具DoctorKafka,最近他们已经在GitHub上将该项目开源。

他的粉丝

重磅开源KSQL:用于Apache Kafka的流数据SQL引擎

作者 薛命灯 关注 24 他的粉丝 发布于  2017年8月30日

Kafka的作者Neha Narkhede在Confluent上发表了一篇博文,介绍了Kafka新引入的KSQL引擎——一个基于流的SQL。推出KSQL是为了降低流式处理的门槛,为处理Kafka数据提供简单而完整的可交互式SQL接口。KSQL目前可以支持多种流式操作,包括聚合(aggregate)、连接(join)、时间窗口(window)、会话(session),等等。

他的粉丝

Chaperone:Uber是如何对Kafka进行端到端审计的

作者 ,译者 薛命灯 关注 24 他的粉丝   发布于  2016年12月21日 1

Uber开发了Chaperone来对他们万亿级别的Kafka消息进行审计。Chaperone包括AuditLibrary、ChaperoneService、ChaperoneCollector和WebService四个组件。Uber工程师Xiaobing Li和Ankur Bansal在文章里向我们介绍了这个系统是如何工作的。

他的粉丝

HubSpot是如何监控Kafka的性能的

作者 谢丽 关注 11 他的粉丝 发布于  2015年10月12日 1

Sidekick是数字营销公司HubSpot的一款产品,用于在接收者打开邮件时实时通知发送者。创建和发送通知的基础设施以Kafka为基础创建。Ze'ev Klapow是Sidekick基础设施团队的一名资深软件工程师。近日,他撰文介绍了他们如何在Sidekick中通过“增量”和“延迟”两个指标监控Kafka的性能。

他的粉丝

Airbnb架构要点分享

作者 谢丽 关注 11 他的粉丝 发布于  2015年9月22日 1

近日,The Platform编辑Timothy Prickett Morgan就Airbnb的架构要点对Airbnb工程部门的副总裁Mike Curtis进行了采访报道。驱动Airbnb站点和分析的核心数据平台是Hadoop,所有东西都存储在Hadoop分布式文件系统中。去年,他们已经迁移到Cloudera的企业级Hadoop上。

他的粉丝

用Apache Kafka构建流数据平台的建议

作者 谢丽 关注 11 他的粉丝 发布于  2015年3月31日 2

在《流数据平台构建实战指南》第一部分中,Confluent联合创始人Jay Kreps介绍了如何构建一个公司范围的实时流数据中心。InfoQ前期对此进行过报道。本文是根据第二部分整理而成。在这一部分中,Jay给出了一些构建数据流平台的具体建议。

他的粉丝

用Apache Kafka构建流数据平台

作者 谢丽 关注 11 他的粉丝 发布于  2015年3月4日

近来,有许多关于“流处理”和“事件数据”的讨论。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是,Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Apache Kafka的经验,介绍了如何构建一个公司范围的实时流数据中心。

他的粉丝

Kafka在LinkedIn公司的应用场景、现状与未来

作者 孙镜涛 关注 2 他的粉丝 发布于  2015年2月11日

Kafka是一个分布式,分区化,可复制的提交日志服务。LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和,那么作为一个可扩展、高可靠的消息系统,它在LinkedIn公司内部都有哪些应用场景、其生态系统是什么样的、未来又会向哪些方面发展呢?

他的粉丝

Yahoo开源Kafka集群管理器Kafka Manager

作者 孙镜涛 关注 2 他的粉丝 发布于  2015年2月10日

作为一个分布式的消息发布-订阅系统,Apache Kafka在Yahoo内部已经被很多团队所使用,Yahoo整个Kafka集群处理的峰值带宽超过了20Gbps(压缩数据)。为了让开发者和服务工程师能够更加简单地维护Kafka集群,Yahoo构建了一个基于Web的管理工具,称为Kafka Manager,日前该项目已经在GitHub上开源。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT