Início Apresentações Sai Hadoop, entra Spark: domando o Big Data no dia a dia
Sai Hadoop, entra Spark: domando o Big Data no dia a dia
Resumo
O foco da palestra será nos desafios e aprendizados ao se construir e colocar em produção um sistema Spark, lidando com um problema real de Big Data. Serão abordadas questões de código; o uso ou abuso de features do Spark; criação de testes e jobs ricos em estatísticas; uso de Kafka e S3; e os principais problemas encontrados ao estressar um framework ainda em fase de maturação.
Minibiografia
Allan trabalha na Chaordic resolvendo problemas de Big Data usando Spark, Scala e Python, entre outras tecnologias. Engenheiro de Computação pela Poli-USP, já trabalhou em diversos ramos da indústria, passando por sistemas de Telecom; smartcards e processamento de dados para o setor bancário; e a construção de CRMs, ERPs e sistemas web para diversas finalidades.
Sobre o Evento
O QCon enfatiza os tópicos de desenvolvimento mais importantes e inovadores do desenvolvimento de software, apresentados por engenheiros e empreendedores das grandes comunidades de desenvolvimento e arquitetura. Cada QCon é elaborado para oferecer um ambiente que promove aprendizado de alta qualidade e entrosamento entre os participantes.O QCon SP 2015 contou com 90 palestras e 12 tutoriais. Das 102 sessões mais de 30 foram internacionais. Com 15 tracks e 5 dias de duração, este foi o maior QCon brasileiro de todos os tempos e reuniu mais de 900 pessoas.
Criando um Cluster Spark com AWS Elastic MapReduce
by Felipe Almeida,
Criando um Cluster Spark com AWS Elastic MapReduce
by Felipe Almeida,
Seu comentário está aguardando aprovação dos moderadores. Obrigado por participar da discussão!
É possível criar um cluster Spark na AWS usando o serviço Elastic MapReduce ou EMR.
Eu escrevi um pequeno tutorial, está disponível em queirozf.com/entries/creating-a-spark-cluster-o...
Obrigado!