生成的敵対的ネットワーク：深層学習における革新的フレームワーク
モントリオール大学情報工学・オペレーションズリサーチ学部, モントリオール, QC H3C 3J7
概要
本論文では、敵対的プロセスによる生成的モデル推定のための新たなフレームワークを提案する。このフレームワークでは、データ分布を捉える生成的モデルGと、サンプルがGではなく訓練データに由来する確率を推定する識別モデルDの2つのモデルを同時に訓練する。Gの訓練手順は、Dが誤りを犯す確率を最大化することである。このフレームワークはミニマックス二人零和ゲームに対応する。
任意の関数GとDの空間において、Gが訓練データ分布を回復し、Dが至る所で1/2となる唯一の解が存在する。GとDが多層パーセプトロンによって定義される場合、システム全体は誤差逆伝播法によって訓練可能である。サンプルの訓練または生成中、マルコフ連鎖や展開された近似推論ネットワークは不要である。実験では、生成されたサンプルの定性的・定量的評価を通じて、本フレームワークの可能性を実証する。
1. はじめに
深層学習の目的は、自然画像、音声波形、自然言語コーパス中の記号など、人工知能アプリケーションで扱われるデータの確率分布を表現する、豊かな階層的モデルを発見することである。これまで、深層学習における最も顕著な成功は、高次元の豊かな感覚入力をクラスラベルに写像する識別モデルに関わるものであった。これらの成功は主に、特に良好な勾配特性を持つ区分的線形ユニットを用いた、誤差逆伝播法とドロップアウトアルゴリズムに基づいている。
深層生成的モデルは、最尤推定および関連戦略で生じる多くの困難な確率的計算の近似が難しいこと、また生成的文脈で区分的線形ユニットの利点を活用することが困難であることから、これまで影響力が限られていた。本論文では、これらの困難を回避する新たな生成的モデル推定手法を提案する。
偽造者と警察のアナロジー
提案する敵対的ネットワークフレームワークでは、生成的モデルは敵対者（識別モデル）と対峙する。識別モデルは、サンプルがモデル分布かデータ分布かを判定することを学習する。生成的モデルは、偽造通貨を生産し検知されずに使用しようとする偽造者集団に、識別モデルは偽造通貨を検出しようとする警察に例えられる。このゲームにおける競争は、偽造品が本物と見分けがつかなくなるまで、両者の手法改善を促進する。
このフレームワークは、多様なモデルと最適化アルゴリズムに対して特定の訓練アルゴリズムを提供し得る。本論文では、生成的モデルがランダムノイズを多層パーセプトロンに通してサンプルを生成し、識別モデルも多層パーセプトロンである特殊なケースを探求する。この特殊なケースを敵対的ネットワークと呼ぶ。この場合、両モデルは非常に成功している誤差逆伝播法とドロップアウトアルゴリズムのみを用いて訓練可能であり、生成的モデルからのサンプリングは順伝播のみで実行可能である。近似推論やマルコフ連鎖は不要である。