BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

雪球的Docker实践经验
录制于:

| 受访者 高磊 关注 0 他的粉丝 作者 InfoQ 关注 7 他的粉丝 发布于 2015年4月20日 | QCon北京2018全面起航:开启与Netflix、微软、ThoughtWorks等公司的技术创新之路!
10:45

个人简介 高磊,雪球SRE团队高级工程师。2011年硕士毕业于北京邮电大学,从事缓存、数据等分布式系统的研发工作,现在在雪球负责底层基础设施的开发和运维,致力于探索Docker等基础设施在创业公司的最佳实践。

百度技术沙龙是由百度主办,InfoQ负责策划、组织、实施的线下技术交流活动,每月一期,每期由1个话题,2场演讲以及Open Space开放讨论环节组成。旨在为中高端技术人员提供一个自由的技术交流和分享的平台。每期沙龙会邀请1名百度讲师分享百度在特定技术领域的成果及实践经验,同时还会邀请1名优秀的互联网公司或企业技术负责人对同一话题进行分享。活动主要面向开发者、技术负责人、项目经理、架构师等IT技术人员。我们的口号是:畅想,交流,争鸣,聚会。

   

1. 高磊,你好,欢迎来到InfoQ,Qclub Docker专场,我是Infoq的郭蕾,很高兴能够采访你,请先做一下自我介绍。

高磊:我是来自雪球SRE团队的高磊,我2011年,毕业于北京邮电大学,工作后一直从事分布式缓存,数据等工作。现在在雪球负责基础设施,以及一些文件性的开发和维护工作,Docker是我们这边工作的一个重点。

   

2. 那雪球是什么时候开始使用Docker的?当时为什么会考虑使用Docker呢?

高磊:我们大概在12年末13年初就开始接触Docker了。主要考虑是创业公司的硬件资源有限,我们希望把硬件资源能够充分利用,所以主要是成本上的考虑。当时有两种选择,一个是传统的虚拟化,一个是容器,我们认为,Docker这种容器技术,既轻且快,又比较小,适合于我们对它的设想,所以就采用了Docker技术。

   

3. 那你能介绍一下现在的Docker使用场景吗?

高磊:我们在使用上大概有两个方向,一个是从容器的角度,利用容器的这些优点,就是刚才提到小快轻,把一个Git中的代码直接映射成为一个Docker的Image,把这个Image给Run起来,这是从容器的角度。从另一个角度,我们希望在推进这项Docker技术的时候,不要让业务同学过多地受到干扰,所以在交互体验上,我们尽量让Docker接近于一些VM的交互体验,就像一些SSH-Crud,所以做了一些这样的工作在上面。

   

4. 那生产环境呢?

高磊:生产环境实际上是结合了容器VM,在交互上更接近VM,但是在部署的力度上,它仍然是一个容器的力度。

   

5. 既然老的一些业务迁移到Docker上,那内部是怎么推进的呢?

高磊:其实这个是主要是推动业务层信任Docker这个东西,我们有一下几个方向。第一是它的稳定性。我们要证明这个Docker的技术是成熟稳定的,经过一些填坑,大概稳定性这块解决了。还有一个是交互,就刚才我强调的,我们希望让业务团队在使用Docker环境的时候,像使用VM一样,能够简单地从SSA上去看Log,我们做了一些样的工作在上面。这样方便推动业务。还有一个方面呢,可能是一些Docker因为它的隔离并不是完全隔离,在这上面有一些局限性,这块目前没有特别好的解决办法。我们希望把这样一些底层的东西放在我们这个SRE团队来做,业务同学只需要关心自己的应用层就OK,屏蔽一些困扰,大概是做了这3个方面工作。

   

6. Docker非常适合部署一些微服务架构的应用,那你们的一些老的业务可能不是微服务的架构,要往Docker上迁移需要更改代码吗?

高磊:实际上我们分成两部分,一部分是无状态的服务,无状态服务实际上迁移是比较容易的,它不需要更改代码,不需要做很多这种业务层的东西,他只需要关心,区分自己的只读部分和这个非只读部分,比如说日志,把这个给区分好就OK,那么对于有状态的服务,我们现在没有迁移到Docker,比如说像Redis,像DB,我们仍然使用传统的物理存储,物理机在跑。我们认为Docker比较适合跑这种可方便扩容的无状态服务。

   

7. 那你能谈一谈,你团队在使用Docker以后有哪些的优势吗?

高磊:首先Docker解决了我们的成本的问题,提高了物理机的利用率,这是一个很大的一个优点。其次呢,我们认为整个团队,他会形成这么一种概念,就是我的一个工程,代码的一个版本,它正好就对应着一个Docker的Image,也就说一个Docker的Image它的力度就是我们服务的最小力度,那么有了这么一个边界的区分以后,可以方便地从这个力度来进行扩容,缩容。

   

8. 那么Decker File这些东西还是需要你们开发人员去写是吗?

高磊:不写,开发人员不关心这个,我们有统一的底层的Docker File,开发人员只需要把自己的代码提交到Gitapp中,通过Ghost打包,Push。它会有一个统一的文件名,Push进这个Docker File中。

   

9. 你们的工作流中使用Docker遇到过哪些问题,踩到过哪些坑呢?

高磊:Docker的坑太多了,大概分成三个方面。因为Docker它的整个流程是一个Build,然后Ship Run的流程,在Build的过程中,可能主要是一些规范现象,Docker File以及如何让业务无感知。这里有一个比较严重的问题,就是Docker在Build的过程中,它使用一个临时容器,这样会导致一些网络问题,比如外网不通等问题,但这个还OK,我们自己可以解决。然后在Ship过程中,Ship过程主要是registry,实际上我们没有做太多的registry工作,因为它不够好用,我们自己做了一些镜像的索引,自己来存储,管理用户权限。最困难的Run这一部分,Run这部分的DMON,DMON的问题在于网络模式的选择,以及以前遇到的比较严重的一个大坑,就是ip_forward会自动打开Docker DMON,打开ip_tables规则,导致一些异常的毛次流量。这个问题好多公司都遇到过,然后还有一些容器方面的,容器方面的可能主要在于,如何去固化容器IP,以及固化容器IP对应的Map地址,我们做了一些网络方面的一些工作,最近我们用了Docker1.5,1.5它有一些监控的新特性,我们发现检测也做了很多坑在里面,比如说像内存不准,Blog没有做一个很好的、方便的解析。大概整体来说分成这三个方面,目前来看,运行还OK,可能会有更多的坑在前面等着。

   

10. 那你刚才提到你们会对网络进行一些修改,把容器的IP固定下来,那其实这样的话,是不是就和有状态、无状态有点背离了,要做可扩展的话是怎么做呢?

高磊:我们有大概的一个IP段,有一个相当于地址池这么一个东西,但是仍然需要把已知的IP给固化下来。原因是,如果我们没有一个好的服务发现,那么监控和管理就必须要通过一个固定IP去管理。

   

11. 那接下来,你们在Docker的使用方面有哪些新计划?

高磊:首先,如果遇到比较严重的坑,最重要的还是去填坑,维护它的稳定性。另一方面,我们希望在后测的角度做一些工作,把这个部署系统完善起来,因为我们的部署系统实际上仍然是稍微偏裸露一些,也就是说我们希望对于部署完全以Docker Iamge为力度,打一些标签,比如自动与CR的集成,对资源的监控,从后视的角度去做统一的管理和调度。也许我们会有一些比较明显的弹性需求,也会通过这个部署系统来开发实现。

   

12. 有很多公司想使用Docker生产环境,你有什么好的建议吗?

高磊:我建议首先把一些次要的业务,比如把内部服务先迁移过去。第一步迁移一定是要无状态的,有状态的服务,一旦稳定性出现问题会非常可怕。在迁移的过程中,首先要考虑选取什么样的网络模式,雪球的实践经验是非常有参考意义的,力度仍然是Image的力度,但是交互方式是一个类似于VM的交互方式,这样可以方便地快速迁移。当迁移过去以后,可以继续去探讨是使用 Host Only还是Net方式,还是你有自己的一个迁移部署方式。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT