BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

使用 Apache Kafka 进行关键业务消息传输
录制于:

| 作者 秦江杰 关注 4 他的粉丝 发布于 2017年2月3日 | ArchSummit北京2018 共同探讨机器学习、信息安全、微服务治理的关键点
44:41

概要
Kafka 作为高可用的分布式消息系统对消息内容和格式是完全开放的。这使得 Kafka 可以被用作各种应用之间和内部的消息传输。LinkedIn 最近利用了 Kafka 进行我们内部 NoSql 数据库 Espresso 的内部冗余数据备份。在这个过程中,我们解决了许多具有挑战性的问题。这些问题涉及到消息传输的可靠性和完整性,性能和延迟优化,数据安全性以及超大消息的处理等。这些问题的解决对于利用 Kafka 来进行关键业务的数据传输是至关重要的。我们在此对我们的解决方案进行了总结和分享。

个人简介

秦江杰,LinkedIn 数据基础架构部门 Kafka 组高级软件工程师。2014 年硕士毕业于卡耐基梅陇大学信息网络专业,随后加入LinkedIn Kafka 组。秦江杰目前是 LinkedIn 的 Kafka 生态平台设计和开发的主要参与者,主导了包括 Kafka Cruise Control,likafka-clients 等多个 Kafka 相关项目的架构设计和整合,同时也是 Kafka 开源社区的主要贡献者之一。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT