BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

淘宝分布式框架Fourinone2.0新版本发布

| 作者 彭渊 关注 0 他的粉丝 发布于 2012年6月5日. 估计阅读时间: 3 分钟 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程API,实现对多台计算机CPU,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核CPU的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,解析,事务等)用于利用多机硬盘存储能力;由于多计算机物理上独立,Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能,用于实现多机的协作和通讯。

Fourinone 2.0新增功能:

一、提供了对分布式文件的便利操作,将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问 如:

windows:fttp://v020138.sqa.cm4/d:/data/a.log
linux:fttp://v020138.sqa.cm4/home/user/a.log

比如以这样的方式读取远程文件:

FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log");
fa.getFttpReader().readAll();

提供对集群文件的操作支持,包括:

  1. 元数据访问,添加删除,按块拆分,高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等
  2. 对集群文件的解析支持(包括按行,按分割符,按最后标识读取)
  3. 对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快)
  4. 两阶段提交和事务补偿处理
  5. 自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制)

总的来说,将集群看做一个操作系统,像操作本地文件一样操作远程文件。 但是Fourinone并不提供一个分布式存储系统,比如文件数据的导入导出、拆分存储、负载均衡,备份容灾等存储功能,不过开发人员可以利用这些API去设计和实现这些功能,用来满足自己的特定需求。

更多介绍请看使用指南:

一. 如何搭建配置FttpAdapter环境
二. 如何访问集群文件根目录
三、如何访问和操作远程文件
四、如何进行集群内文件复制和并行复制
五、如何读写远程文件
六、如何解析远程文件
七、如何并行读写远程文件
八、如何批量并行读写远程文件和事务补偿处理

二、自动化class和jar包部署

class和jar包只需放在工头机器上, 各工人机器会自动获取并执行,兼容操作系统,不需要进行安全密钥复杂配置

三、网络波动状况下的策略处理,设置抢救期,抢救期内网络稳定下来不判定结点死亡

下载地址,此版本打包了源代码: http://www.skycn.com/soft/68321.html


给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

下载站点很难想象啊? by Wang Chunshan

很难想象会放在天空下载这样的站点提供下载,不是google code,也不是github,有人敢用吗?

Re: 下载站点很难想象啊? by Han Meng

有点难以想象

Re: 下载站点很难想象啊? by fourinone fourinone

下载地址跟能否带来帮助没有关系,希望关注者不要只是好奇和跟风,大家在技术上要形成自己的悟性和判断,用与不用,能否解决自己的业务需要,能否满足自己的性能要求,最好来源自己的实践检验。开源软件都是放在那里给有需要的人下载,从不强迫任何人使用,对hadoop和其他软件爱好和信任者,可以借鉴参考,如果提具体技术意见也欢迎。

Re: 下载站点很难想象啊? by zhu lin

有点难以想象

Re: 下载站点很难想象啊? by wen bob

在多台机上运行nc命令,也能实现这个软件的绝大部分功能。。。用java太浪费鸟,我建议用bash写呢。

淘宝官方没找到 by Zhang Ethan

我在xxx.taobao.org没找到你的这个项目,什么情况?
淘宝不支持此项目?

源代码通篇没注释 by 到 到

这东东怎么看啊,好歹注释写一下吧

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

7 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT