چکیده

ما چارچوب جدیدی برای تخمین مدل‌های مولد از طریق فرآیند تخاصمی پیشنهاد می‌دهیم که در آن همزمان دو مدل را آموزش می‌دهیم: یک مدل مولد G که توزیع داده را یاد می‌گیرد و یک مدل متمایزکننده D که احتمال تعلق یک نمونه به داده‌های آموزشی به جای G را تخمین می‌زند. روش آموزش G به حداکثر رساندن احتمال خطای D است. این چارچوب معادل یک بازی مینیمکس دو نفره است.

در فضای توابع دلخواه G و D، یک راه‌حل یکتا وجود دارد که در آن G توزیع داده‌های آموزشی را بازیابی می‌کند و D در همه جا برابر ۱/۲ است. در حالتی که G و D توسط پرسپترون‌های چندلایه تعریف شوند، کل سیستم را می‌توان با پس‌انتشار آموزش داد. در طول آموزش یا تولید نمونه‌ها، نیازی به زنجیره‌های مارکوف یا شبکه‌های استنتاجی تقریبی نیست. آزمایش‌ها پتانسیل این چارچوب را از طریق ارزیابی کیفی و کمی نمونه‌های تولید شده نشان می‌دهند.

۱. مقدمه

وعده یادگیری عمیق، کشف مدل‌های سلسله‌مراتبی غنی است که توزیع‌های احتمالی مربوط به انواع داده‌های موجود در کاربردهای هوش مصنوعی مانند تصاویر طبیعی، شکل‌موج‌های صوتی حاوی گفتار و نمادهای موجود در پیکره‌های زبان طبیعی را نمایش می‌دهند. تاکنون، چشمگیرترین موفقیت‌ها در یادگیری عمیق مربوط به مدل‌های متمایزکننده بوده است که معمولاً یک ورودی حسی غنی با ابعاد بالا را به یک برچسب کلاسی نگاشت می‌کنند.

مدل‌های مولد عمیق تأثیر کمتری داشته‌اند که دلیل آن دشواری تقریب محاسبات احتمالی غیرقابل حل در تخمین درست‌نمایی بیشینه و راهبردهای مرتبط، و همچنین دشواری بهره‌گیری از مزایای واحدهای خطی تکه‌ای در زمینه مولد است. ما یک روش جدید تخمین مدل مولد پیشنهاد می‌دهیم که از این دشواری‌ها اجتناب می‌کند.

این چارچوب می‌تواند الگوریتم‌های آموزشی خاصی برای انواع مدل‌ها و الگوریتم‌های بهینه‌سازی تولید کند. در این مقاله، حالت خاصی را بررسی می‌کنیم که در آن مدل مولد با عبور نویز تصادفی از یک پرسپترون چندلایه نمونه تولید می‌کند و مدل متمایزکننده نیز یک پرسپترون چندلایه است. ما این حالت خاص را شبکه‌های تخاصمی می‌نامیم. در این حالت، می‌توانیم هر دو مدل را فقط با استفاده از الگوریتم‌های بسیار موفق پس‌انتشار و حذف تصادفی آموزش دهیم و از مدل مولد فقط با انتشار به جلو نمونه‌برداری کنیم. هیچ استنتاج تقریبی یا زنجیره مارکوفی لازم نیست.

۲. کارهای مرتبط

جایگزین مدل‌های گرافیکی جهت‌دار با متغیرهای پنهان، مدل‌های گرافیکی بدون جهت با متغیرهای پنهان هستند، مانند ماشین‌های بولتزمن محدودشده (RBMs)، ماشین‌های بولتزمن عمیق (DBMs) و انواع متعدد آنها. برهمکنش‌ها در چنین مدل‌هایی به صورت حاصل ضرب توابع پتانسیل نرمال‌نشده نمایش داده می‌شوند که با یک جمع/انتگرال کلی روی تمام حالت‌های متغیرهای تصادفی نرمال می‌شوند.

این کمیت (تابع پارتیشن) و گرادیان آن برای همه موارد جز ساده‌ترین نمونه‌ها غیرقابل حل است، اگرچه می‌توان آنها را با روش‌های مونت‌کارلو زنجیره مارکوف (MCMC) تخمین زد. آمیختگی یک مشکل اساسی برای الگوریتم‌های یادگیری است که به MCMC متکی هستند.

شبکه‌های باور عمیق (DBNs)

شبکه‌های باور عمیق (DBNs) مدل‌های ترکیبی هستند که شامل یک لایه بدون جهت و چند لایه جهت‌دار می‌شوند. در حالی که یک معیار آموزشی لایه‌به‌لایه تقریبی سریع وجود دارد، DBNs با دشواری‌های محاسباتی مرتبط با هر دو مدل بدون جهت و جهت‌دار مواجه هستند.

معیارهای جایگزین

معیارهای جایگزینی که تقریب نمی‌زنند یا محدود نمی‌کنند