BT

Novidades O InfoQ vem desenvolvendo uma série de novas funcionalidades para melhorar sua experiência com o site. Confira!

Facebook abre Corona, sua extensão para agendamento do Hadoop

| por Roopesh Shenoy , traduzido por João Talles em 17 dez 2012. Tempo estimado de leitura: 1 minuto |

O Facebook abriu o código-fonte do projeto Corona, sua extensão para agendamento de processos MapReduce no Hadoop.

O Corona separa duas tarefas críticas de gerenciamento de clusters e rastreamento de tarefas. É conceitualmente similar ao Apache YARN, que também é uma versão melhorada do agendador e gerenciador de recursos do Hadoop. O time de engenheiros do Facebook publicou um artigo explicando o funcionamento interno do Corona, além de explicar o motivo de não reutilizar o YARN:

Consideramos utilizar o Apache YARN como alternativa ao Corona. Entretanto, depois de investigar o uso do projeto com nossa versão do HDFS (um requisito fundamental, devido aos nossos vários petabytes de dados históricos), descobrimos muitas incompatibilidades que seriam proibitivas em termos de tempo e que seriam arriscadas de corrigir. Além disso, também não se sabe se o YARN seria capaz de trabalhar com o volume de demanda exigido pelo Facebook.

Uma das principais diferenças na versão do Hadoop do Facebook é o AvatarNode, que cria um sistema de redundância hot-standby para cada nó no cluster. Isso proporciona um NameNode com alta disponibilidade e possibilita até mesmo atualizações de software sem indisponibilidade. É um aspecto crítico para a empresa, que atualmente executa centenas de processos de petabytes de dados em seu datawarehouse, com meio petabyte de novos dados chegando diariamente.

O Corona atualmente pode executar tarefas MapReduce, mas o Facebook também pretende utilizá-lo para agendar a execução de outros tipos de aplicações, como o Peregrine.

Avalie esse artigo

Relevância
Estilo/Redação

Olá visitante

Você precisa cadastrar-se no InfoQ Brasil ou para enviar comentários. Há muitas vantagens em se cadastrar.

Obtenha o máximo da experiência do InfoQ Brasil.

Dê sua opinião

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão
Comentários da comunidade

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão

Dê sua opinião

Faça seu login para melhorar sua experiência com o InfoQ e ter acesso a funcionalidades exclusivas


Esqueci minha senha

Follow

Siga seus tópicos e editores favoritos

Acompanhe e seja notificados sobre as mais importantes novidades do mundo do desenvolvimento de software.

Like

Mais interação, mais personalização

Crie seu próprio feed de novidades escolhendo os tópicos e pessoas que você gostaria de acompanhar.

Notifications

Fique por dentro das novidades!

Configure as notificações e acompanhe as novidades relacionada a tópicos, conteúdos e pessoas de seu interesse

BT