BT
x A sua opinião é importante! Por favor preencha a pesquisa do InfoQ sobre os seus hábitos de leitura!

Facebook abre Corona, sua extensão para agendamento do Hadoop

por Roopesh Shenoy , traduzido por João Talles em 17 Dez 2012 |

O Facebook abriu o código-fonte do projeto Corona, sua extensão para agendamento de processos MapReduce no Hadoop.

O Corona separa duas tarefas críticas de gerenciamento de clusters e rastreamento de tarefas. É conceitualmente similar ao Apache YARN, que também é uma versão melhorada do agendador e gerenciador de recursos do Hadoop. O time de engenheiros do Facebook publicou um artigo explicando o funcionamento interno do Corona, além de explicar o motivo de não reutilizar o YARN:

Consideramos utilizar o Apache YARN como alternativa ao Corona. Entretanto, depois de investigar o uso do projeto com nossa versão do HDFS (um requisito fundamental, devido aos nossos vários petabytes de dados históricos), descobrimos muitas incompatibilidades que seriam proibitivas em termos de tempo e que seriam arriscadas de corrigir. Além disso, também não se sabe se o YARN seria capaz de trabalhar com o volume de demanda exigido pelo Facebook.

Uma das principais diferenças na versão do Hadoop do Facebook é o AvatarNode, que cria um sistema de redundância hot-standby para cada nó no cluster. Isso proporciona um NameNode com alta disponibilidade e possibilita até mesmo atualizações de software sem indisponibilidade. É um aspecto crítico para a empresa, que atualmente executa centenas de processos de petabytes de dados em seu datawarehouse, com meio petabyte de novos dados chegando diariamente.

O Corona atualmente pode executar tarefas MapReduce, mas o Facebook também pretende utilizá-lo para agendar a execução de outros tipos de aplicações, como o Peregrine.

Olá visitante

Você precisa cadastrar-se no InfoQ Brasil ou para enviar comentários. Há muitas vantagens em se cadastrar.

Obtenha o máximo da experiência do InfoQ Brasil.

Dê sua opinião

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão
Comentários da comunidade

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão

Dê sua opinião

Conteúdo educacional

Feedback geral
Bugs
Publicidade
Editorial
InfoQ Brasil e todo o seu conteúdo: todos os direitos reservados. © 2006-2014 C4Media Inc.
Política de privacidade
BT