BT

Disseminando conhecimento e inovação em desenvolvimento de software corporativo.

Contribuir
Notícias Artigos Apresentações Podcasts Livros

Tópicos

Escolha a região

InfoQ Dev Summit Boston

Discover transformative insights to level up your software development decisions. Register now with early bird tickets.
InfoQ Dev Summit Munich

Get practical advice from senior developers to navigate your current dev challenges. Register now with early bird tickets.
QCon San Francisco

Level up your software skills by uncovering the emerging trends you should focus on. Register now.
The Software Architects' Newsletter

Your monthly guide to all the topics, technologies and techniques that every professional needs to know about. Subscribe for free.

Início Apache no InfoQ Brasil

Artigos

Feed RSS
  • Arquitetura e Design

    Automatizando a execução de Spark Notebooks

    O uso de notebooks para explorar um dataset facilita muito o trabalho do desenvolvedor, mas possui desafios para serem publicados em produção ou para os usuários finais visualizarem seus resultados, veja nesse artigo como a Tail fez para automatizar o uso dos Spark Notebooks.

    Rafael Sakurai
    em 03 out, 2019
  • Desenvolvimento

    Estendendo o OutputStream do Apache Spark Structured Streaming

    Nem sempre o suporte padrão de saída do processamento de streams do Apache Spark Structured Streaming pode atender suas necessidades, por isso esse artigo mostra como estender a saída do stream e implementar sua própria integração externa. Apresento como estender o OutputStream com um exemplo completo de integração, persistindo o resultado do processamento em banco de dados relacional.

    Eiti Kimura
    em 23 set, 2019
  • Desenvolvimento

    Processamento de Dados em "Tempo Real" com Apache Spark na Wavy: Parte 3

    Grandes volumes de dados para processar? Necessidade de informação em "tempo real"? Essas são as necessidades que temos de processamento de dados na Wavy, mais de 100 milhões de transações por dia. Esse artigo mostra como utilizamos o Apache Spark para processar grandes influxos de dados de forma contínua, ao final vamos compartilhar dicas e lições aprendidas no uso dessa ferramenta.

    Eiti Kimura
    em 31 jul, 2019
  • Desenvolvimento

    Processamento de Dados em "Tempo Real" com Apache Spark Structured Streaming: Parte 2

    O Apache Spark provê uma nova API de manipulação e processamento de streams de dados chamada Structured Streaming. Foi desenvolvida para ser altamente escalável e resiliente. Nesse artigo mostro em detalhes sua forma de funcionamento e suas principais configurações por meio de um exemplo prático, efetuando o processamento e agregação contínua de arquivos de dados.

    Eiti Kimura
    em 24 jul, 2019
  • Desenvolvimento

    Processamento de Dados em "Tempo Real" com Apache Spark: Parte 1

    Nessa série de artigos vou abordar como utilizar o processador de streams do Apache Spark para criar uma aplicação de processamento de dados em "tempo real". Além de aprofundar na nova API de streams, o Structured Streaming, vou dar mais detalhes da arquitetura e mostrar a implementação da nossa solução para processar altos volumes de dados na Wavy.

    Eiti Kimura
    em 17 jul, 2019

  • Adotando Big Data e Data Science em uma grande empresa do mercado financeiro

    A adoção de tecnologias big data e data science por uma organização é um projeto de transformação similar à transformação para adoção de uma abordagem ágil, e com muitos desafios em comum. Neste artigo, o autor demonstra um projeto deste tipo em uma grande empresa do ramo financeiro.

    Christian Prokopp traduzido por Roberto Pepato
    em 29 jun, 2017

  • Série de artigos: Entendendo data science

    Nesta série, exploramos maneiras de compreensão de data science, incluindo o entendimento de onde sua aplicação é ou não é necessária e como torná-la um ativo para você. O conteúdo dessa série é produzido por pessoas que já viveram e resolveram muitos dos desafios da aplicação de data science.

    Francine Bennett traduzido por Roberto Pepato
    em 30 jan, 2017

  • Um comparativo entre MapReduce e Spark para analise de Big Data

    MapReduce e Spark são os dois frameworks mais populares existentes atualmente para computação em cluster e análise de dados de larga escala (Big Data). Este artigo, apresenta a avaliação dos principais componentes arquiteturais do MapReduce e do Spark incluindo: shuffle, modelo de execução e cache por meio de um conjunto de dados a serem processados.

    Marcelo Costa
    em 09 nov, 2015

  • Múltiplos núcleos de indexação com o Apache Solr

    O Apache Solr é uma plataforma de indexação e busca que permite a criação de arquiteturas de acordo com as necessidades de negócio. O Solr possui diversos recursos como faceted search, replicação de índices, criação de múltiplos cores de indexação além de busca, caching, sharding e busca geoespacial. Este artigo mostra como criar uma arquitetura de múltiplos núcleos com o Solr.

    Anderson Vasconcelos dos Santos
    em 18 jul, 2014
BT