BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

rss
他的粉丝

Pinterest开源Kafka集群自愈和工作负载均衡工具:DoctorKafka

作者 张卫滨 关注  他的粉丝 发布于  2017年9月4日

Pinterest使用Kafka作为中心化的消息传输工具,用于数据摄取、流处理等场景。随着Kafka集群越来越庞大,对它的管理也越发复杂,并变成了运维团队的沉重负担,因此他们研发了Kafka集群自愈和工作负载均衡工具DoctorKafka,最近他们已经在GitHub上将该项目开源。

他的粉丝

Aragog:Pinterest的爬虫框架

作者 谢丽 关注 12 他的粉丝 发布于  2015年12月1日

为了在Pin上展示有用的信息(如产品价格、位置数据)、做出更好的推荐及打击垃圾邮件,Pinterest需要充分利用Pin链接的Web页面中的内容。为此,他们构建了爬虫框架Aragog,用于处理数以十亿计的URL。近日,Pinterest核心基础设施团队工程师Varun Sharma撰文介绍了该框架。

他的粉丝

PinLater:Pinterest的异步任务执行系统

作者 谢丽 关注 12 他的粉丝 发布于  2015年11月25日

近日,Pinterest宣布开源异步任务执行系统PinLater。该系统已经在Pinterest的生产环境中应用了两年多,是Pinterest最关键的任务系统之一。目前,PinLater使用了10多个位于Amazon EC2之上的不同集群,500多个任务队列每分钟总计要处理超过600万个任务。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT