BT

Início Apresentações Sai Hadoop, entra Spark: domando o Big Data no dia a dia

Sai Hadoop, entra Spark: domando o Big Data no dia a dia

Favoritos
44:04

Resumo

O foco da palestra será nos desafios e aprendizados ao se construir e colocar em produção um sistema Spark, lidando com um problema real de Big Data. Serão abordadas questões de código; o uso ou abuso de features do Spark; criação de testes e jobs ricos em estatísticas; uso de Kafka e S3; e os principais problemas encontrados ao estressar um framework ainda em fase de maturação.

Minibiografia

Allan trabalha na Chaordic resolvendo problemas de Big Data usando Spark, Scala e Python, entre outras tecnologias. Engenheiro de Computação pela Poli-USP, já trabalhou em diversos ramos da indústria, passando por sistemas de Telecom; smartcards e processamento de dados para o setor bancário; e a construção de CRMs, ERPs e sistemas web para diversas finalidades.

Sobre o Evento

O QCon enfatiza os tópicos de desenvolvimento mais importantes e inovadores do desenvolvimento de software, apresentados por engenheiros e empreendedores das grandes comunidades de desenvolvimento e arquitetura. Cada QCon é elaborado para oferecer um ambiente que promove aprendizado de alta qualidade e entrosamento entre os participantes.O QCon SP 2015 contou com 90 palestras e 12 tutoriais. Das 102 sessões mais de 30 foram internacionais. Com 15 tracks e 5 dias de duração, este foi o maior QCon brasileiro de todos os tempos e reuniu mais de 900 pessoas.

Gravado em:

07 out 2015

Olá visitante

Você precisa cadastrar-se no InfoQ Brasil ou para enviar comentários. Há muitas vantagens em se cadastrar.

Obtenha o máximo da experiência do InfoQ Brasil.

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

Comentários da comunidade

  • Criando um Cluster Spark com AWS Elastic MapReduce

    by Felipe Almeida /

    Seu comentário está aguardando aprovação dos moderadores. Obrigado por participar da discussão!

    É possível criar um cluster Spark na AWS usando o serviço Elastic MapReduce ou EMR.

    Eu escrevi um pequeno tutorial, está disponível em queirozf.com/entries/creating-a-spark-cluster-o...

    Obrigado!

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

BT

Seu cadastro no InfoQ está atualizado? Poderia rever suas informações?

Nota: se você alterar seu email, receberá uma mensagem de confirmação

Nome da empresa:
Cargo/papel na empresa:
Tamanho da empresa:
País:
Estado:
Você vai receber um email para validação do novo endereço. Esta janela pop-up fechará em instantes.