BT

Experimente a nova interface visual do InfoQ! Veja o novo design do InfoQ 3.0 e nos diga o que você achou.

NOVIDADE: QCon São Paulo 2019, de 06 a 09 de Maio. Não perca! Em tela cheia
Fechar tela cheia

Sai Hadoop, entra Spark: domando o Big Data no dia a dia
Gravado em:

| por Allan Oliveira Seguir 0 Seguidores em 07 out 2015 |
  • Mostrar apresentação
  •  
  •  
  •  
44:04

Resumo
O foco da palestra será nos desafios e aprendizados ao se construir e colocar em produção um sistema Spark, lidando com um problema real de Big Data. Serão abordadas questões de código; o uso ou abuso de features do Spark; criação de testes e jobs ricos em estatísticas; uso de Kafka e S3; e os principais problemas encontrados ao estressar um framework ainda em fase de maturação.

Minibiografia

Allan trabalha na Chaordic resolvendo problemas de Big Data usando Spark, Scala e Python, entre outras tecnologias. Engenheiro de Computação pela Poli-USP, já trabalhou em diversos ramos da indústria, passando por sistemas de Telecom; smartcards e processamento de dados para o setor bancário; e a construção de CRMs, ERPs e sistemas web para diversas finalidades.

O QCon enfatiza os tópicos de desenvolvimento mais importantes e inovadores do desenvolvimento de software, apresentados por engenheiros e empreendedores das grandes comunidades de desenvolvimento e arquitetura. Cada QCon é elaborado para oferecer um ambiente que promove aprendizado de alta qualidade e entrosamento entre os participantes.O QCon SP 2015 contou com 90 palestras e 12 tutoriais. Das 102 sessões mais de 30 foram internacionais. Com 15 tracks e 5 dias de duração, este foi o maior QCon brasileiro de todos os tempos e reuniu mais de 900 pessoas.

BT