BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Imgix技术栈解密:每秒可对外提供10万张图片

| 作者 张天雷 关注 4 他的粉丝 发布于 2015年9月24日. 估计阅读时间: 5 分钟 | ArchSummit北京2018 共同探讨机器学习、信息安全、微服务治理的关键点

什么是Imgix?

Imgix是一项进行图像实时处理和传输的服务,授权给企业和开发者用以优化图像。借助简单的URL API接口,Imgix可以实时抓取、传输图像,并通过CDN将图像提供到世界各地。个人用户在使用时可以无限量地动态生成图像,从而不必在本地储存大量的图像。图像剪裁、大小调整等动态调整过程防止了网页过于臃肿,保证了网站精炼简洁。

技术挑战
Imgix拥有超过80个URL参数,这些参数用于调整复杂的图像处理效果。Imgix可以调节压缩比和色度抽样率,进行色彩量化等操作。另外, Imgix能够同时响应多个输入,输入图像的来源(浏览器、手机、平板电脑、显示器)也可不同。目前,影响图像输出结果的参数和输入的绝对数目仍在快速增长。

设计Imgix架构时的前提假设是,收到的图像请求不能被缓存,而且必须动态创建。这一点彻底改变了Imgix服务的提供方式和评判标准。多年来,Imgix架构被反复修改,现在已经能够做到每秒处理超过10万个的图像,其中90%的输入文件大小大于4.5MB。Imgix用最快的速度、最少的成本提供了质量最好的图像。未来,Imgix还希望把每秒处理的图像数量提高到100万个以上。

技术栈揭秘
Imgix的核心架构由多个服务层组成,包括原图抓取层、原图缓存层、图像处理层、负载平衡及分配层、以及内容传输层。每个服务层都有遍布全局的配置、日志记录、监视及管理服务。

原图抓取层和缓存层使用了定制的MogileFSnginxHAProxy作为底层技术。负载平衡及分配层则基于自定义C代码和自主开发的LuaJIT框架(名称为Levee)。Levee能够在一台机器上每秒处理4万个请求。将以前的一些由Python处理的服务转为用LuaJIT框架处理后,性能提高了20倍。当技术成熟之后,Levee还将开源。网络边界管理则同时使用了HAProxy、nginx和OpenResty。图像处理层的高性能图像处理服务器使用C、Objective-C以及Core Graphics搭建。在GPU中的图像处理操作时间小于1ms,提升性能的工作主要是对网络接口/本地内存的缓存到GPU纹理缓冲器这一步进行路径优化。由于图像完全契合GPU纹理缓冲器,点对点处理时间的范围小于50ms。图像处理层的所有更改都将进行一系列回归分析测试,以保证每次更改不会对图像处理结果引入视觉可辨的差异。最后的内容传输层使用了Fastly,通过Vanish工具进一步优化了流量控制。全球20多个Fastly POP使得Imgix的用户可以快速获取图像。各个服务层之间的有序协作将90%首次抓取、未经缓存的图像在高峰时期的点对点响应时间缩短到了700ms以下。

Imgix每个服务层的日志记录十分重要,因此需要建立全面的日志生成流水线。Heka用于处理大部分数据行集合,并将处理后的实时数据、统计数据、分析数据分别发送给RiemannHosted GraphiteGoogle BigQuery

Imgix管理和监控堆栈使用了几项开源项目:Ansible用于配置管理,Consul用于服务发现,Prometheus用于网络监控,StatusPage.io用于给用户报告架构当前的状态。

Imgix网页的前端服务完全与核心架构隔离。页面搭建主要根据需求使用AngularEmberTornado,这些工具提供了配置及管理Imgix账户的网页接口。Imgix还分别为每一个前端项目的开发、测试、制作提供了Docker容器。另外还有CircleCI用于内部服务,Travis CI 用于管理开源项目和库。

Imgix不断地整合集成,一天内常进行多次部署。Imgix的开发使用GitHub管理每项服务的代码仓库,使用Trello作为团队规划管理工具。项目讨论在Slack群组聊天软件上进行,不过更多的时候,讨论直接就茶水间中完成了。

2013年,苹果公司发布了更符合Imgix需求的硬件设备——Mac Pro。现在,Imgix的数据中心用46U机柜搭建了Mac Pro图像处理节点群。这种机柜整合方式比起大多数基于Linux的解决方案,大大节约了占地面积,减少了耗电量。Imgix宣称其从内而外都优于运行在EC2上的ImageMagick。


感谢徐川对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群InfoQ好读者)。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT