Uma equipe de pesquisadores de centros de pesquisa do MIT, Universidade de Hong Kong, e Universidade de Zhejiang abriu o código do ATMSeer, uma ferramenta para visualização e controle de processos automatizados de aprendizado de máquina.
Resolver problemas com aprendizado de máquina requer mais que apenas um conjunto de dados e o processo de treinamento. Para qualquer tarefa de aprendizado de máquina, vários algoritmos podem ser usados e para cada algoritmo pode haver muitos hiperparâmetros ajustáveis. Como diferentes valores de hiperparâmetros produzem modelos com diferentes precisões, profissionais de aprendizado de máquina geralmente testam várias combinações de hiperparâmetros em um mesmo conjunto de dados, para encontrar a combinação que produza o melhor modelo. Isso pode levar bastante tempo, pois o treinamento e a avaliação do modelo devem ser conduzidos para cada combinação de hiperparâmetros. É claro que essas investigações podem ser realizadas em paralelo, mas os jobs para cada combinação devem ser configurados e executados e os resultados devem ser registrados. Além disso, escolher os valores específicos para os hiperparâmetros pode envolver um pouco de adivinhação, especialmente para os parâmetros que podem assumir uma gama de valores numéricos: por exemplo, se 2.5 e 2.6 produzem bons resultados, talvez 2.55 seria ainda melhor? E quanto a 2,56 ou 2,54?
Entra em cena o aprendizado de máquina automatizado, também chamado AutoML, que envolve técnicas e ferramentas que automatizam a seleção e avaliação de hiperparâmetros (bem como outras tarefas comuns de aprendizado de máquina, como a limpeza de dados e a engenharia de recursos). Ambas as plataformas Google Cloud Platform e o Microsoft Azure fornecem soluções AutoML comerciais e existem vários pacotes de código aberto com esse objetivo, como auto-sklearn e Auto-Keras.
O projeto Human Data Interaction do MIT recentemente criou uma biblioteca open source de AutoML, chamada Auto Tune Models (ATM). O ATM automatiza a escolha de algoritmos e hiperparâmetros, permitindo que profissionais se concentrem nas tarefas posteriores, de limpeza de dados e engenharia de recursos. O ATM oferece uma interface Python para executar buscas pelo melhor modelo e recuperar descrições dos resultados.
Em um artigo recente, pesquisadores do MIT e de duas universidades chinesas descreveram o ATMSeer, uma interface gráfica executada sobre a plataforma ATM, que permite visualizar o processos de busca e seus resultados. Além disso, o ATMSeer permite controlar e orientar o processo de buscas do modelo em tempo real. Segundo os autores, o objetivo é "aumentar a transparência do AutoML", especialmente aumentar a confiança dos usuários de que o processo AutoML explorou completamente o espaço dos hiperparâmetros e não ignorou modelos que poderiam ter tido melhor desempenho.
O ATM e o ATMSeer ainda apresentam limitações, em comparação com soluções comerciais como o Azure, por exemplo. Suportam apenas modelos de classificação, enquanto o Azure suporta classificação, regressão e previsão de séries temporais, além de possibilitar a execução de tarefas de engenharia de recursos e limpeza de dados.
Embora o MIT posicione o trabalho como "abrindo a caixa preta de aprendizado automatizado de máquina", um comentarista no Hacker News observou:
[o projeto] abre apenas uma visão pequena do interior da caixa preta do AutoML. Não fornece muitas informações sobre as caixas pretas do ML analisadas nas buscas do AutoML. O que precisamos é algoritmos de aprendizado de máquina eficazes e que sejam mais transparentes e previsíveis para um grupo mais amplo de profissionais.
Os projetos ATM e o ATMSeer estão ambos disponíveis no GitHub.