Rangkaian Penentang Generatif: Kerangka Revolusioner untuk Pembelajaran Mendalam
Jabatan Sains Komputer dan Penyelidikan Operasi, Universiti Montréal, Montréal, QC H3C 3J7
Abstrak
Kami mencadangkan kerangka baharu untuk menganggarkan model generatif melalui proses penentangan, di mana kami melatih dua model secara serentak: model generatif G yang menangkap taburan data, dan model pembeza D yang menganggarkan kebarangkalian sampel berasal dari data latihan dan bukan dari G. Prosedur latihan untuk G adalah untuk memaksimumkan kebarangkalian D membuat kesilapan. Kerangka ini sepadan dengan permainan dua pemain minimaks.
Dalam ruang fungsi arbitrari G dan D, wujud penyelesaian unik, dengan G mendapatkan semula taburan data latihan dan D bersamaan dengan 1/2 di mana-mana. Dalam kes di mana G dan D ditakrifkan oleh persepsi pelbagai lapisan, keseluruhan sistem boleh dilatih dengan perambatan balik. Tiada keperluan untuk rantai Markov atau rangkaian inferens anggaran semasa latihan atau penjanaan sampel. Eksperimen menunjukkan potensi kerangka ini melalui penilaian kualitatif dan kuantitatif sampel yang dijana.
1. Pengenalan
Janji pembelajaran mendalam adalah untuk menemui model hierarki yang kaya yang mewakili taburan kebarangkalian ke atas jenis data yang ditemui dalam aplikasi kecerdasan buatan, seperti imej semula jadi, bentuk gelombang audio mengandungi pertuturan, dan simbol dalam korpus bahasa semula jadi. Setakat ini, kejayaan paling ketara dalam pembelajaran mendalam melibatkan model pembeza, biasanya yang memetakan input deria kaya dimensi tinggi kepada label kelas. Kejayaan ketara ini terutamanya berdasarkan algoritma perambatan balik dan peninggalan, menggunakan unit linear secebis yang mempunyai kecerunan yang berkelakuan baik.
Model generatif mendalam mempunyai impak yang kurang, disebabkan kesukaran menganggar banyak pengiraan kebarangkalian sukar yang timbul dalam penganggaran kemungkinan maksimum dan strategi berkaitan, serta kesukaran memanfaatkan manfaat unit linear secebis dalam konteks generatif. Kami mencadangkan prosedur penganggaran model generatif baharu yang mengelakkan kesukaran ini.
Analogi Pemalsu-Polis
Dalam kerangka rangkaian penentang yang dicadangkan, model generatif dipertandingkan dengan penentang: model pembeza yang belajar menentukan sama ada sampel berasal dari taburan model atau taburan data. Model generatif boleh dianggap analog dengan sekumpulan pemalsu, cuba menghasilkan wang palsu dan menggunakannya tanpa dikesan, manakala model pembeza adalah analog dengan polis, cuba mengesan wang palsu. Persaingan dalam permainan ini mendorong kedua-dua pasukan untuk menambah baik kaedah mereka sehingga barang palsu tidak dapat dibezakan daripada barang tulen.
Kerangka ini boleh menghasilkan algoritma latihan khusus untuk pelbagai jenis model dan algoritma pengoptimuman. Dalam artikel ini, kami menerokai kes khas apabila model generatif menjana sampel dengan menghantar bunyi rawak melalui persepsi pelbagai lapisan, dan model pembeza juga merupakan persepsi pelbagai lapisan. Kami merujuk kes khas ini sebagai rangkaian penentang. Dalam kes ini, kami boleh melatih kedua-dua model menggunakan hanya algoritma perambatan balik dan peninggalan yang sangat berjaya dan sampel dari model generatif menggunakan hanya perambatan ke hadapan. Tiada inferens anggaran atau rantai Markov diperlukan.