जनरेटिव एडवरसैरियल नेटवर्क्स: डीप लर्निंग के लिए एक क्रांतिकारी फ्रेमवर्क
कंप्यूटर विज्ञान और ऑपरेशनल रिसर्च विभाग, मॉन्ट्रियल विश्वविद्यालय, मॉन्ट्रियल, QC H3C 3J7
सारांश
हम एक प्रतिस्पर्धी प्रक्रिया के माध्यम से जनरेटिव मॉडल अनुमान के लिए एक नया फ्रेमवर्क प्रस्तावित करते हैं, जिसमें हम एक साथ दो मॉडल प्रशिक्षित करते हैं: एक जनरेटिव मॉडल G जो डेटा वितरण को कैप्चर करता है, और एक डिस्क्रिमिनेटिव मॉडल D जो यह अनुमान लगाता है कि कोई नमूना प्रशिक्षण डेटा से आया है या G से। G के प्रशिक्षण की प्रक्रिया D द्वारा गलती करने की संभावना को अधिकतम करना है। यह फ्रेमवर्क एक मिनीमैक्स दो-खिलाड़ी गेम से मेल खाता है।
मनमाने फ़ंक्शन G और D की स्थान में, एक अद्वितीय समाधान मौजूद है, जहाँ G प्रशिक्षण डेटा वितरण को पुनर्प्राप्त करता है और D हर जगह 1/2 के बराबर होता है। जब G और D मल्टीलेयर पर्सेप्ट्रॉन द्वारा परिभाषित होते हैं, तो पूरी सिस्टम को बैकप्रोपेगेशन के साथ प्रशिक्षित किया जा सकता है। नमूनों के प्रशिक्षण या जनरेशन के दौरान किसी भी मार्कोव चेन या अनफोल्डेड अनुमानित इनफेरेंस नेटवर्क की आवश्यकता नहीं होती है। प्रयोग जनरेट किए गए नमूनों के गुणात्मक और मात्रात्मक मूल्यांकन के माध्यम से फ्रेमवर्क की क्षमता प्रदर्शित करते हैं।
1. परिचय
डीप लर्निंग का वादा समृद्ध, पदानुक्रमित मॉडल खोजना है जो कृत्रिम बुद्धिमत्ता अनुप्रयोगों में सामने आने वाले डेटा, जैसे प्राकृतिक छवियों, भाषण युक्त ऑडियो वेवफॉर्म और प्राकृतिक भाषा कॉर्पोरा में प्रतीकों, पर संभाव्यता वितरण का प्रतिनिधित्व करते हैं। अब तक, डीप लर्निंग की सबसे चौंका देने वाली सफलताओं में डिस्क्रिमिनेटिव मॉडल शामिल रहे हैं, आमतौर पर वे जो एक उच्च-आयामी, समृद्ध संवेदी इनपुट को क्लास लेबल पर मैप करते हैं। ये चौंका देने वाली सफलताएं मुख्य रूप से बैकप्रोपेगेशन और ड्रॉपआउट एल्गोरिदम पर आधारित रही हैं, जो पीसवाइज लीनियर यूनिट्स का उपयोग करती हैं जिनमें विशेष रूप से अच्छी व्यवहार वाला ग्रेडिएंट होता है।
डीप जनरेटिव मॉडल्स का कम प्रभाव रहा है, जिसका कारण अधिकतम संभावना अनुमान और संबंधित रणनीतियों में उत्पन्न होने वाली कई दुर्गम संभाव्य गणनाओं का अनुमान लगाने में कठिनाई, और जनरेटिव संदर्भ में पीसवाइज लीनियर यूनिट्स के लाभों का लाभ उठाने में कठिनाई है। हम एक नई जनरेटिव मॉडल अनुमान प्रक्रिया प्रस्तावित करते हैं जो इन कठिनाइयों से बचती है।
जालसाज-पुलिस सादृश्य
प्रस्तावित एडवरसैरियल नेट्स फ्रेमवर्क में, जनरेटिव मॉडल एक प्रतिद्वंद्वी के खिलाफ खड़ा किया जाता है: एक डिस्क्रिमिनेटिव मॉडल जो यह निर्धारित करना सीखता है कि कोई नमूना मॉडल वितरण से है या डेटा वितरण से। जनरेटिव मॉडल को जालसाजों की एक टीम के समान माना जा सकता है, जो नकली मुद्रा उत्पादित करने और बिना पकड़े उसका उपयोग करने का प्रयास कर रही है, जबकि डिस्क्रिमिनेटिव मॉडल पुलिस के समान है, जो नकली मुद्रा का पता लगाने का प्रयास कर रही है। इस खेल में प्रतिस्पर्धा दोनों टीमों को अपनी विधियों में तब तक सुधार करने के लिए प्रेरित करती है जब तक कि नकली वस्तुएं असली वस्तुओं से अविभाज्य न हो जाएं।
यह फ्रेमवर्क कई प्रकार के मॉडल और ऑप्टिमाइज़ेशन एल्गोरिदम के लिए विशिष्ट प्रशिक्षण एल्गोरिदम प्रदान कर सकता है। इस लेख में, हम उस विशेष मामले का पता लगाते हैं जब जनरेटिव मॉडल यादृच्छिक शोर को मल्टीलेयर पर्सेप्ट्रॉन के माध्यम से पास करके नमूने जनरेट करता है, और डिस्क्रिमिनेटिव मॉडल भी एक मल्टीलेयर पर्सेप्ट्रॉन होता है। हम इस विशेष मामले को एडवरसैरियल नेट्स कहते हैं। इस मामले में, हम केवल अत्यधिक सफल बैकप्रोपेगेशन और ड्रॉपआउट एल्गोरिदम का उपयोग करके दोनों मॉडल को प्रशिक्षित कर सकते हैं और केवल फॉरवर्ड प्रोपेगेशन का उपयोग करके जनरेटिव मॉडल से नमूने ले सकते हैं। किसी अनुमानित इनफेरेंस या मार्कोव चेन की आवश्यकता नहीं है।