生成對抗網路：深度學習的革命性框架
蒙特婁大學資訊與運籌學系，蒙特婁，魁北克 H3C 3J7
摘要
我們提出一個透過對抗過程估計生成模型的新框架，在此框架中我們同時訓練兩個模型：一個用於捕捉資料分佈的生成模型G，以及一個用於判別樣本來自訓練資料而非G的機率的判別模型D。G的訓練目標是最大化D犯錯的機率。此框架對應於一個極小極大雙人賽局。
在任意函數G和D的空間中，存在唯一解，其中G恢復訓練資料分佈，而D處處等於1/2。當G和D由多層感知器定義時，整個系統可透過反向傳播進行訓練。在訓練或生成樣本過程中，無需任何馬可夫鏈或展開的近似推論網路。實驗透過生成樣本的定性與定量評估，展示了此框架的潛力。
1. 緒論
深度學習的承諾在於發現能表徵人工智能應用中各種資料機率分佈的豐富階層模型，例如自然影像、包含語音的音訊波形，以及自然語言語料庫中的符號。迄今為止，深度學習最顯著的成就主要涉及判別模型，通常是將高維度、豐富的感官輸入映射到類別標籤的模型。這些顯著成就主要基於反向傳播和dropout演算法，並使用具有特別良好梯度特性的分段線性單元。
深度生成模型的影響較小，原因在於最大似然估計及相關策略中產生的許多難解機率計算難以近似，以及在生成情境中難以利用分段線性單元的優勢。我們提出一種新的生成模型估計程序，可避開這些困難。
偽鈔製造者與警察的類比
在提出的對抗網路框架中，生成模型與對手對抗：一個學習判斷樣本來自模型分佈還是資料分佈的判別模型。生成模型可類比為偽鈔製造團隊，試圖生產假鈔並在不被偵測的情況下使用；而判別模型則類似警察，試圖偵測偽鈔。這場競賽中的競爭促使雙方改進方法，直到偽造品與真品無法區分。
此框架可為多種類型的模型和最佳化演算法產生特定的訓練演算法。本文中，我們探討生成模型透過多層感知器傳遞隨機噪聲生成樣本，且判別模型同樣為多層感知器的特殊案例。我們將此特殊案例稱為對抗網路。在此情況下，我們可以僅使用非常成功的反向傳播和dropout演算法訓練兩個模型，並僅使用前向傳播從生成模型取樣。無需近似推論或馬可夫鏈。