A Apache Software Foundation (ASF) recentemente anunciou que o SINGA, um framework para deep learning distribuído, foi graduado como projeto top-level (TLP), o que significa que o projeto alcançou maturidade e estabilidade. O SINGA já foi adotado por empresas em diversos setores, incluindo na área bancária e de saúde.
Desenvolvido originalmente na Universidade Nacional de Singapura, o SINGA passou a ser um projecto da ASF incubator em março de 2015. O SINGA fornece um framework para distribuir o trabalho de treinar modelos de deep learning através de um cluster de máquinas, para reduzir o tempo necessário para treinar um modelo. Além do uso como plataforma acadêmica de pesquisa, o SINGA tem sido usado para aplicações comerciais pelo Citigroup e CBRE, assim como em uma série de aplicações voltadas para a saúde, incluindo uma app para cuidar de pacientes com pré diabetes.
O sucesso dos modelos de deep learning foi impulsionado pelo uso de conjuntos de dados muito grandes, tais como ImageNet com centenas de milhares de imagens, e modelos complexos com milhões de parâmetros. O Google's BERT natural-language model contém 300 milhões de parâmetros e está treinado com quase 3 bilhões de palavras. Entretanto, esse treinamento requer horas, se não dias para concluir. Para acelerar esse processo, pesquisadores se voltaram para computação paralela, que distribui o trabalho através de um cluster de máquinas. De acordo com o Professor Beng Chin Ooi, líder do grupo de pesquisa no SINGA:
É essencial escalar o deep learning através da computação distribuida, umas vez que os modelos de deep learning são tipicamente grandes e treinados com grandes datasets, o que pode levar centenas de dias com uma simples GPU.
Existem duas estratégias amplas para o deep learning distribuído: data parallelism, no qual várias máquinas trabalham em diferentes subconjuntos de dados, e o model parallelism, no qual várias máquinas treinam diferentes seções de um modelo de rede neural. O SINGA suporta as duas estratégias, assim como a combinação das duas. Essas estratégias introduzem alguma sobrecarga na comunicação e sincronização, requerida para coordenar o trabalho através das máquinas no cluster. O SINGA implementa uma série de otimizações para minimizar essa sobrecarga.
Ser aceito como um projeto top-level significa que o SINGA passou por uma série de milestones relacionados a qualidade do software e comunidade, o que em teoria torna o software mais atrativo como uma solução. Entretanto, uma possível barreira na adoção é que ao invés de ter sido construído usando uma API para modelar redes neurais existentes, como o Keras, os engenheiros do SINGA escolheram implementar o seu próprio. Por outro lado, o framework open source Horovod do Uber permite que os desenvolvedores migrem modelos existentes para os dois mais populares frameworks de deep-learning, o TensorFlow e PyTorch. O PyTorch particularmente é o framework usado na maioria dos recentes artigos de pesquisa.
A ASF tem uma série de outros projetos top-level para processamento distribuído de dados que suportam machine-learning, incluindo o Spark e Ignite. Ao contrário destes, o SINGA é projetados especificamente para modelos grandes de deep-learning. A ASF também é a casa do MXNet, um framework de deep-learning similar ao TensorFlow e PyTorch, que continua com o status incubator. A AWS divulgou o MXNet como seu framework por escolha no final de 2016, mas o MXNet ainda não se tornou popular, pairando em pouco menos de 2% nas pesquisas do KDNugget's.
O Apache SINGA 2.0 foi lançado em abril de 2019. O código fonte está disponível no GitHub, e uma lista de issues abertas pode ser vista no Jira do SINGA. De acordo com a ASF, próximas funcionalidades incluem "SINGA-lite para deep learning em dispositivos de ponta com 5G, e o SINGA-easy para tornar o IA utilizável por experts em domínio (sem background em IA).