Hadoop中的集群配置和使用技巧
本文介绍了Hadoop如何配置分布式框架运行环境,同时特别讲解了其中的一些细节。Hadoop可以单机跑,也可以配置集群跑,这里主要重点说一下集群配置运行的过程。本文是Hadoop入门实践三部曲的第二部。
- Java,
作者 乔梁 发布于 2008年4月23日 上午12时8分
4月15日,Thoughtworks宣称将发布一款名为“Cruise”的持续集成&发布管理系统。Cruise团队成员提及Cruise具有以下特点:
- 零配置构建网格——安装Agent后,它们会自行更新和获取配置,然后自动检出所需构建的源代码进行构建。
- 集中管理工件——将应用软件包、测试结果和日志文件集中存放,你可以在同一处得到你所需要的信息和数据。
- 端到端的安全性——Cruise支持LADP和活动目录,Agent与Server之间的通讯基于SSL和公钥技术,而且Agent都需要批准才能加入到构建网格。
- 对于.NET, Java和Ruby项目,可以说是“开箱即用”。
同时,他们提到, Cruise不再仅仅是一款持续集成工具,Thoughtworks的工程师结合在该领域的最佳工作实践,将“构建管道(Build Pipeline)”的概念引入到该产品,覆盖从开发到部署全过程:
- 构建管道(Build pipelines)——通过引入“Pipeline”和“Stage”这两个概念,使其成为一种完整的部署方式,让你可以看到你所开发的软件从提交代码开始,先后经过功能测试、性能测试和UAT测试,然后准备上线,甚至直接部署到生产环境。这些超酷的特性将使持续集成和部署发布不再痛苦,而是快乐之旅。
- 构建并行化——如果将用时较长的构建分成多个构建的话,Cruise可以同时在多个Agent上分别构建,以缩短反馈时间。
- 多种环境下运行测试 ——如果在pipeline中创建多个Stage,Cruise可以根据你的要求,在不同的软硬件环境中运行你的测试。
当谈到开源项目CruiseControl时,Cruise团队表示:
Thoughtworks将和从前一样,支持这些开源项目,http://opensource.thoughtworks.com上的列表可以说明这一点。
另外,我们会提供包含一个Agent的免费版本,其与商业版本有同样的特性。而且,我们将为开源项目和教育机构提供免费许可。
如同版本控制工具一样,我们的目标就是:让构建和部署自动化成为所有软件开发者的一个基本实践。
关于Cruise与CruiseControl的更多信息,您可以点击这里查看详情。
作为InfoQ的热心读者,您心目中的企业级持续集成工具是什么样的呢?
本文介绍了Hadoop如何配置分布式框架运行环境,同时特别讲解了其中的一些细节。Hadoop可以单机跑,也可以配置集群跑,这里主要重点说一下集群配置运行的过程。本文是Hadoop入门实践三部曲的第二部。
Ruby的开放类(Open Classes)功能强大,但很容易被误用。这篇文章关注于怎样减少使用开放类的风险,介绍了一些其他可替代的类似方法,并分析了其他语言如何实现类似的功能。
在本文中,Stefan Tilkov讲解了一些经常出现在自称“符合REST式设计”的应用中的反模式(比如:全部采用GET或POST,忽视缓存及响应代码,误用cookies,忘记超媒体与MIME类型,以及破坏自描述性等),并给出了避免这些反模式的对策。
Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。本文是Hadoop入门实践三部曲的第一部,主要讲述了What和Why的问题。
本文结合37 Signals公司在开发Basecamp等产品时的实践,介绍了实用最小主义开发方法。实践证明,尤其是在开发Web应用时,这一方法非常有效。根据作者的观察,Google现在之所以那么成功,其所遵循的软件开发哲学和最小实用主义非常类似。
在今年5月份的网侠大会上,InfoQ中文站有幸与国内OSGi的先锋林昊(BlueDavy)在一起探讨了OSGi的相关话题,包括它的优势、复杂度以及Java下的实现等等。
Robert Pickering在F#的第三篇文章中,他继续着上次的话题,不过这次他要关注的是异步工作流(Asynchronous Workflows),以及在使用这个特性后获得的性能改善。虽然这篇文章是关于F#的,但是这样的知识对于所有的.NET语言都是适用的。
没有回复
回复