BT

Disseminando conhecimento e inovação em desenvolvimento de software corporativo.

Contribuir

Tópicos

Escolha a região

Início Notícias Algoritmos genéticos oferecem melhor solução para otimização de redes neurais

Algoritmos genéticos oferecem melhor solução para otimização de redes neurais

Favoritos

Os pesquisadores da Amazon Alexa Science publicaram um artigo fornecendo uma base teórica para a otimização de redes neurais. Embora mostre que encontrar uma solução perfeita é computacionalmente intratável, o artigo fornece uma formulação, o Problema de Pesquisa de Arquitetura Aproximada (Approximate Architecture Search Problem, a-ASP), que pode ser resolvido com algoritmos genéticos.

Em uma publicação recente no blog descrevendo o trabalho realizado, o engenheiro de pesquisa Adrian de Wynter lançou o problema de escolher uma arquitetura de rede neural como um exercício de aproximação de funções. Nesta formulação, a função é o mapeamento "verdadeiro" dos dados de entrada para as saídas e a aproximação é o modelo de rede neural treinado. As arquiteturas de rede geralmente são escolhidas com base na intuição ou tentativa e erro, mas Wynter afirma que "é improvável que a seleção arbitrária de uma arquitetura neural forneça a melhor solução". Em vez disso, dado um conjunto de componentes de redes neurais, como camadas convolucionais ou pool máximo, uma pesquisa otimizada de arquitetura automatizada encontraria a combinação desses componentes que aproxima a função com um erro mínimo. O trabalho do Wynter fornece as "garantias teóricas sobre a precisão dos cálculos". Ele mostrou que o problema geral de busca de arquitetura (ASP) é intratável, ou seja, não é possível garantir a execução em tempo polinomial. Assim, propõe uma formulação mais "folgada" do problema, uma aproximação ASP (a-ASP), que pode ser resolvida em tempo polinomial usando algoritmos genéticos co-evolutivos.

A otimização automática de sistemas de machine learning é uma área de pesquisa ativa. Muitas das principais plataformas da nuvem oferecem sistemas AutoML, e existem várias opções de código aberto. A maioria das soluções AutoML trata de todas as partes do pipeline ML, incluindo limpeza de dados e otimização de hiperparâmetros, bem como seleção de modelo. Por outro lado, a pesquisa de Wynter concentra-se particularmente na seleção da melhor estrutura de modelo de rede neural. Enquanto alguns pesquisadores abordaram esse problema usando técnicas como a Otimização Bayesiana, o artigo do Wynter afirma que os algoritmos genéticos "têm melhor desempenho do que outros em um ambiente generalizado".

Um algoritmo genético é uma técnica de otimização baseada nos conceitos de evolução biológica: "sobrevivência do mais apto". Cada solução potencial para um problema tem uma pontuação de aptidão, indicando quão bem resolve o problema, e uma representação genética. A idéia principal é que uma solução deve ser representada de maneira que permita mutações aleatórias, bem como o cruzamento de outras soluções. O algoritmo genético é executado por várias gerações, testando várias soluções, aplicando mutações e mantendo os melhores resultados. Na formulação do Wynter, o algoritmo genético procura por combinações de componentes de redes neurais, como camadas convolucionais, que são extraídas de um conjunto que se mostra equivalente a uma máquina de Turing. O algoritmo genético deve encontrar uma sequência desses componentes, sujeita a uma restrição no comprimento máximo, que produza uma rede aproximada ao mapeamento desejado dos dados de entrada para os resultados.

Outras equipes de pesquisa aplicaram algoritmos genéticos ou evolutivos na otimização de sistemas de deep-learning. Ano passado, o Google tornou a AdaNet open source, uma estrutura baseada em TensorFlow para AutoML baseada em evolução. Mais recentemente o Uber liberou o EvoGrad como open source, uma biblioteca PyTorch para algoritmos evolutivos que trata a população como uma distribuição de probabilidade abstrata. De acordo com Wynter:

Muitos pesquisadores chegaram à conclusão de que algoritmos co-evolutivos fornecem a melhor maneira de construir sistemas de machine-learning. Mas a estrutura de aproximação de funções do artigo, ajuda a fornecer uma base teórica mais segura para a intuição.

Avalie esse artigo

Relevância
Estilo/Redação

Conteúdo educacional

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

HTML é permitido: a,b,br,blockquote,i,li,pre,u,ul,p

BT