BT

A sua opinião é importante! Por favor preencha a pesquisa do InfoQ!

30 mil núcleos e 10 anos de processamento em menos de 8 horas. Recorde em cloud?

| por Eder Magalhães Seguir 0 Seguidores em 28 set 2011. Tempo estimado de leitura: 2 minutos |

Para melhorar a experiência das pessoas que acessam o InfoQ Brasil, nós criamos uma série de funcionalidades que te permitem ficar pode dentro das últimas tendências e das novidades de seu interesse, sem que você seja incomodado por coisas irrelevantes. Receba e-mails periódicos e notificações sobre seus tópicos favoritos!

A Cycle Computing, empresa de soluções em cloud com tradição na criação de clusters de imenso porte, lançou recentemente um cluster formado por mais de 30 mil núcleos de processamento, com alta capacidade de throughput, rodando no Amazon EC2.

O cluster, chamado Nekomata, foi construído sobre 3.809 instâncias o tipo c1.xlarge, cada uma com 8 núcleos de processamento, sete gigabytes de memória RAM e mais de 540 terabytes de espaço em disco, constituindo ao todo 30.472 núcleos e cerca de 27 terabytes de memória.

O Nekomata foi replicado em três centros de dados da Amazon, dois deles nos EUA e um na Europa. Com essa estratégia, foi possível garantir a disponibilidade do serviço, mesmo diante de falhas graves, além de manter o provisionamento dos 30 mil núcleos. A segurança no cluster foi garantida por HTTPS, SSH e criptografia com AES.

Uma infraestrutura como essa se justifica em cenários computacionais extremamente complexos, que exigem altíssimo nível de throughput (veja High Throughput Computing). O Nekomata foi criado para realizar o processamento de modelos moleculares, tarefa que exige a realização de cálculos maciçamente paralelos.

O tempo total para os cálculos foi cerca de 8 horas. Isso equivale, se for contabilizada cada instância, a 95 mil horas (mais de 10 anos) de processamento. O cliente que contratou a infraestrutura não tinha ideia do tempo necessário e do custo de processamento em uma infraestrutura criada internamente, razão por ter optado por soluções de cloud.

Ferramenta "Grid", apresentando uma visão geral do processamento realizado no Nekomata

Para distribuir a carga de trabalho e o volume de processamento, a Cycle a utilizou o Condor, um software especializado em contabilizar o uso dos recursos de computador durante um longo período de processamento computacional. Para a automação de tarefas e a gestão de equipamentos, a tecnologia utilizada foi o Chef, um framework para integração de sistemas. Outro desafio foi monitorar o ambiente criado. Para isso, foi desenvolvido internamente o Grill (veja a figura), ferramenta que atua como um painel de controle de informações extraídas do Chef.

O Nekomata superou em três vezes a capacidade do até então maior case da empresa: um cluster com mais de 10 mil núcleos, também rodando sob a Amazon EC2 lançado há alguns meses.

O custo total de toda essa infraestrutura foi de 1279 dólares por hora, já incluindo os serviços da Amazon e da Cycle Computing. Ou seja, por cerca de 10 mil dólares pôde ser realizado um volume de processamento há poucos anos impensável sem a escalabilidade quase infinita da computação em nuvem.

Avalie esse artigo

Relevância
Estilo/Redação

Olá visitante

Você precisa cadastrar-se no InfoQ Brasil ou para enviar comentários. Há muitas vantagens em se cadastrar.

Obtenha o máximo da experiência do InfoQ Brasil.

Dê sua opinião

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão
Comentários da comunidade

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Receber mensagens dessa discussão

Dê sua opinião

Faça seu login para melhorar sua experiência com o InfoQ e ter acesso a funcionalidades exclusivas


Esqueci minha senha

Follow

Siga seus tópicos e editores favoritos

Acompanhe e seja notificados sobre as mais importantes novidades do mundo do desenvolvimento de software.

Like

Mais interação, mais personalização

Crie seu próprio feed de novidades escolhendo os tópicos e pessoas que você gostaria de acompanhar.

Notifications

Fique por dentro das novidades!

Configure as notificações e acompanhe as novidades relacionada a tópicos, conteúdos e pessoas de seu interesse

BT