BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

rss
  • 他的粉丝

    HDFS Federation在美团点评的应用与改进

    作者 美团点评离线团队 关注 0 他的粉丝 发布于  2017年4月12日

    HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案,真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发,介绍了HDFS Federation在美团点评的实际应用经验。

  • 他的粉丝

    HDFS NameNode重启优化

    作者 新美大离线存储团队 关注 0 他的粉丝 发布于  2017年3月7日

    本文基于Hadoop-2.x和HA with QJM社区架构和系统设计,通过梳理NameNode重启流程,并在此基础上,阐述对NameNode重启优化实践。

  • 他的粉丝

    大数据处理之如何确保断电不丢数据

    作者 黄浩松 关注 0 他的粉丝 发布于  2013年11月6日 6

    在Hadoop 2.0.2-alpha之前,HDFS在机器断电或意外崩溃的情况下,有可能出现正在写的数据丢失的问题。而最近刚发布的CDH4中HDFS在Client端提供了hsync()的方法调用(HDFS-744),从而保证在机器崩溃或意外断电的情况下,数据不会丢失。这篇文件将围绕这个新的接口对其实现细节进行简单的分析,从而希望找出一种合理使用hsync()的策略,避免重要数据丢失。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT