Redes Generativas Adversariais: Um Framework Revolucionário para Aprendizado Profundo
Departamento de Ciência da Computação e Pesquisa Operacional, Universidade de Montreal, Montreal, QC H3C 3J7
Resumo
Propomos um novo framework para estimar modelos generativos através de um processo adversarial, no qual treinamos simultaneamente dois modelos: um modelo generativo G que captura a distribuição dos dados, e um modelo discriminativo D que estima a probabilidade de uma amostra ter origem nos dados de treinamento em vez de G. O procedimento de treinamento para G consiste em maximizar a probabilidade de D cometer um erro. Este framework corresponde a um jogo de minimax entre dois agentes.
No espaço de funções arbitrárias G e D, existe uma solução única, com G recuperando a distribuição dos dados de treinamento e D igual a 1/2 em todos os pontos. No caso em que G e D são definidos por perceptrons multicamadas, todo o sistema pode ser treinado com retropropagação. Não há necessidade de cadeias de Markov ou redes de inferência aproximada desenroladas durante o treinamento ou geração de amostras. Experimentos demonstram o potencial do framework através de avaliação qualitativa e quantitativa das amostras geradas.
1. Introdução
A promessa do aprendizado profundo é descobrir modelos hierárquicos ricos que representem distribuições de probabilidade sobre os tipos de dados encontrados em aplicações de inteligência artificial, como imagens naturais, formas de onda de áudio contendo fala e símbolos em corpora de linguagem natural. Até agora, os sucessos mais marcantes em aprendizado profundo envolveram modelos discriminativos, geralmente aqueles que mapeiam uma entrada sensorial rica e de alta dimensionalidade para um rótulo de classe. Esses sucessos notáveis basearam-se principalmente nos algoritmos de retropropagação e dropout, usando unidades lineares por partes que possuem um gradiente particularmente bem-comportado.
Modelos generativos profundos tiveram menos impacto devido à dificuldade de aproximar muitas computações probabilísticas intratáveis que surgem na estimativa de máxima verossimilhança e estratégias relacionadas, e devido à dificuldade de aproveitar os benefícios das unidades lineares por partes no contexto generativo. Propomos um novo procedimento de estimativa de modelo generativo que contorna essas dificuldades.
A Analogia do Falsificador-Polícia
No framework de redes adversariais proposto, o modelo generativo é confrontado com um adversário: um modelo discriminativo que aprende a determinar se uma amostra pertence à distribuição do modelo ou à distribuição dos dados. O modelo generativo pode ser pensado como análogo a uma equipe de falsificadores, tentando produzir moeda falsa e usá-la sem ser detectada, enquanto o modelo discriminativo é análogo à polícia, tentando detectar a moeda falsificada. A competição neste jogo leva ambas as equipes a aperfeiçoar seus métodos até que as falsificações se tornem indistinguíveis dos artigos genuínos.
Este framework pode produzir algoritmos de treinamento específicos para muitos tipos de modelo e algoritmo de otimização. Neste artigo, exploramos o caso especial em que o modelo generativo gera amostras passando ruído aleatório através de um perceptron multicamadas, e o modelo discriminativo também é um perceptron multicamadas. Referimo-nos a este caso especial como redes adversariais. Neste caso, podemos treinar ambos os modelos usando apenas os altamente bem-sucedidos algoritmos de retropropagação e dropout, e amostrar do modelo generativo usando apenas propagação direta. Não são necessárias inferências aproximadas ou cadeias de Markov.