الشبكات التوليدية التنافسية: إطار عمل ثوري في التعلم العميق
قسم علوم الحاسوب وبحوث العمليات، جامعة مونتريال، مونتريال، كيبيك H3C 3J7
الملخص
نقترح إطار عمل جديد لتقدير النماذج التوليدية عبر عملية تنافسية، حيث نقوم بتدريب نموذجين في وقت واحد: نموذج توليدي G يستحوذ على توزيع البيانات، ونموذج تمييزي D يقدّر احتمالية أن تكون العينة من بيانات التدريب وليس من G. إجراء تدريب G يهدف إلى تعظيم احتمالية ارتكاب D للخطأ. يتوافق هذا الإطار مع لعبة ذات مجموعتين ذات استراتيجية تصغيرية-تعظيمية.
في فضاء الدوال التعسفية G و D، يوجد حل فريد، حيث يستعيد G توزيع بيانات التدريب ويكون D مساوياً لـ 1/2 في كل مكان. في الحالة التي يتم فيها تعريف G و D بواسطة مُدركات متعددة الطبقات، يمكن تدريب النظام بأكمله باستخدام الانتشار العكسي. ليست هناك حاجة لأي سلاسل ماركوف أو شبكات استدلال تقريبية غير مُلفّقة أثناء التدريب أو توليد العينات. تظهر التجارب إمكانات الإطار من خلال التقييم النوعي والكمي للعينات المُولَّدة.
1. المقدمة
يعد التعلم العميق باكتشاف نماذج هرمية غنية تمثل التوزيعات الاحتمالية لأنواع البيانات التي تواجهها تطبيقات الذكاء الاصطناعي، مثل الصور الطبيعية، وأشكال الموجات الصوتية التي تحتوي على كلام، والرموز في نصوص اللغة الطبيعية. حتى الآن، كانت أنجح النجاحات في التعلم العميق تتضمن نماذج تمييزية، عادة تلك التي تُحوِّل مدخلاً حسياً غنياً عالي الأبعاد إلى تسمية فئة. وقد اعتمدت هذه النجاحات البارزة بشكل أساسي على خوارزميتي الانتشار العكسي والإسقاط، باستخدام وحدات خطية متعددة القطع ذات تدرج سلوكي جيد بشكل خاص.
كان للنماذج التوليدية العميقة تأثير أقل، بسبب صعوبة تقريب العديد من الحسابات الاحتمالية المستعصية التي تنشأ في تقدير الاحتمال الأقصى والاستراتيجيات ذات الصلة، وبسبب صعوبة الاستفادة من مزايا الوحدات الخطية متعددة القطع في السياق التوليدي. نقترح إجراء تقدير جديد للنموذج التوليدي يتجنب هذه الصعوبات.
تشبيه المُزوِّر والشرطة
في إطار الشبكات التنافسية المقترح، يُواجه النموذج التوليدي خصماً: نموذج تمييزي يتعلم تحديد ما إذا كانت العينة من توزيع النموذج أو توزيع البيانات. يمكن التفكير في النموذج التوليدي على أنه مشابه لفريق من المزورين، يحاولون إنتاج عملة مزيفة واستخدامها دون اكتشافها، بينما النموذج التميزي يشبه الشرطة، التي تحاول اكتشاف العملة المزيفة. المنافسة في هذه اللعبة تدفع كلا الفريقين إلى تحسين أساليبهما حتى تصبح المزورات لا يمكن تمييزها عن الأصلية.
يمكن أن ينتج هذا الإطار خوارزميات تدريب محددة للعديد من أنواع النماذج وخوارزميات التحسين. في هذه المقالة، نستكشف الحالة الخاصة عندما يولد النموذج التوليدي عينات عن طريق تمرير ضوضاء عشوائية عبر مُدرك متعدد الطبقات، ويكون النموذج التميزي أيضاً مُدركاً متعدد الطبقات. نشير إلى هذه الحالة الخاصة بالشبكات التنافسية. في هذه الحالة، يمكننا تدريب كلا النموذجين باستخدام خوارزميتي الانتشار العكسي والإسقاط الناجحتين للغاية وأخذ عينات من النموذج التوليدي باستخدام الانتشار الأمامي فقط. لا حاجة لأي استدلال تقريبي أو سلاسل ماركوف.