생성적 적대 신경망: 딥러닝의 혁신적 프레임워크
몬트리올 대학교 컴퓨터과학 및 운영연구학과, 몬트리올, QC H3C 3J7
요약
본 논문에서는 적대적 과정을 통해 생성 모델을 추정하는 새로운 프레임워크를 제안합니다. 이 프레임워크에서는 데이터 분포를 학습하는 생성 모델 G와 샘플이 G가 아닌 학습 데이터에서 비롯되었을 확률을 추정하는 판별 모델 D를 동시에 학습합니다. G의 학습 목표는 D가 실수할 확률을 최대화하는 것입니다. 이 프레임워크는 최소최대(minimax) 두 플레이어 게임에 해당합니다.
임의의 함수 G와 D 공간에서 유일한 해가 존재하며, G는 학습 데이터 분포를 복원하고 D는 모든 곳에서 1/2의 값을 갖습니다. G와 D가 다층 퍼셉트론으로 정의되는 경우, 전체 시스템은 역전파를 통해 학습될 수 있습니다. 샘플 학습 또는 생성 과정에서 마르코프 체인이나 전개된 추론 네트워크가 필요하지 않습니다. 실험을 통해 생성된 샘플의 정성적 및 정량적 평가를 통해 본 프레임워크의 잠재력을 입증합니다.
1. 서론
딥러닝의 목표는 자연 이미지, 음성 신호, 자연어 코퍼스의 기호 등 인공지능 응용에서 다루는 다양한 데이터의 확률 분포를 표현하는 풍부한 계층적 모델을 발견하는 것입니다. 지금까지 딥러닝에서 가장 두드러진 성과는 고차원의 풍부한 감각 입력을 클래스 레이블에 매핑하는 판별 모델에서 나타났습니다. 이러한 성과는 주로 역전파와 드롭아웃 알고리즘, 그리고 특히 잘 동작하는 기울기를 갖는 조각별 선형 유닛을 사용하여 이루어졌습니다.
딥 생성 모델은 최대 가능도 추정 및 관련 전략에서 발생하는 다수의 다루기 힘든 확률적 계산을 근사화하는 어려움, 그리고 생성 맥락에서 조각별 선형 유닛의 이점을 활용하는 데 어려움으로 인해 상대적으로 적은 영향을 미쳤습니다. 우리는 이러한 어려움을 우회하는 새로운 생성 모델 추정 절차를 제안합니다.
위조지폐범과 경찰의 비유
제안된 적대적 네트워크 프레임워크에서 생성 모델은 적수인 판별 모델과 대립합니다. 판별 모델은 샘플이 모델 분포에서 비롯된 것인지 데이터 분포에서 비롯된 것인지 판별하는 법을 학습합니다. 생성 모델은 위조 지폐를 생산하고 발각되지 않고 사용하려는 위조지폐범 팀에, 판별 모델은 위조 지폐를 탐지하려는 경찰에 비유할 수 있습니다. 이 게임에서의 경쟁은 양 팀이 위조품과 진품을 구별할 수 없을 때까지 각자의 방법을 개선하도록 추동합니다.
이 프레임워크는 다양한 종류의 모델과 최적화 알고리즘에 대한 구체적인 학습 알고리즘을 제공할 수 있습니다. 본 논문에서는 생성 모델이 무작위 노이즈를 다층 퍼셉트론에 통과시켜 샘플을 생성하고, 판별 모델 역시 다층 퍼셉트론인 특수한 경우를 탐구합니다. 우리는 이 특수한 경우를 적대적 네트워크라고 부릅니다. 이 경우 우리는 매우 성공적인 역전파와 드롭아웃 알고리즘만을 사용하여 두 모델을 학습할 수 있으며, 생성 모델에서 순전파만을 사용하여 샘플링할 수 있습니다. 근사 추론이나 마르코프 체인이 필요하지 않습니다.