সারসংক্ষেপ

আমরা অ্যাডভারসারিয়াল প্রক্রিয়ার মাধ্যমে জেনারেটিভ মডেল অনুমানের জন্য একটি নতুন ফ্রেমওয়ার্ক প্রস্তাব করছি, যেখানে আমরা একইসাথে দুটি মডেল প্রশিক্ষণ দিঃ একটি জেনারেটিভ মডেল G যা ডেটা বন্টন ক্যাপচার করে, এবং একটি ডিসক্রিমিনেটিভ মডেল D যা একটি নমুনা প্রশিক্ষণ ডেটা থেকে নাকি G থেকে এসেছে তার সম্ভাবনা অনুমান করে। G-এর প্রশিক্ষণ পদ্ধতি হলো D-এর ভুল করার সম্ভাবনা সর্বাধিক করা। এই ফ্রেমওয়ার্কটি একটি মিনিম্যাক্স দুই-খেলোয়াড় গেমের সাথে সামঞ্জস্যপূর্ণ।

ইচ্ছামত ফাংশন G এবং D-এর স্পেসে, একটি অনন্য সমাধান বিদ্যমান, যেখানে G প্রশিক্ষণ ডেটা বন্টন পুনরুদ্ধার করে এবং D সর্বত্র ১/২ এর সমান হয়। যখন G এবং D মাল্টিলেয়ার পারসেপ্ট্রন দ্বারা সংজ্ঞায়িত করা হয়, তখন সম্পূর্ণ সিস্টেমটি ব্যাকপ্রপাগেশন দিয়ে প্রশিক্ষণ দেওয়া যেতে পারে। নমুনা তৈরির সময় বা প্রশিক্ষণের সময় কোনো মার্কভ চেইন বা আনরোলড আনুমানিক ইনফারেন্স নেটওয়ার্কের প্রয়োজন হয় না। পরীক্ষাগুলো জেনারেটেড নমুনার গুণগত ও পরিমাণগত মূল্যায়নের মাধ্যমে ফ্রেমওয়ার্কের সম্ভাবনা প্রদর্শন করে।

১. ভূমিকা

ডিপ লার্নিংয়ের প্রতিশ্রুতি হলো সমৃদ্ধ, শ্রেণিবদ্ধ মডেল আবিষ্কার করা যা কৃত্রিম বুদ্ধিমত্তা অ্যাপ্লিকেশনে সম্মুখীন ডেটার প্রকারের উপর সম্ভাব্যতা বন্টন উপস্থাপন করে, যেমন প্রাকৃতিক ছবি, বক্তৃতা সম্বলিত অডিও ওয়েভফর্ম, এবং প্রাকৃতিক ভাষা কর্পাসে প্রতীক। এখন পর্যন্ত, ডিপ লার্নিংয়ের সবচেয়ে লক্ষণীয় সাফল্যগুলো ডিসক্রিমিনেটিভ মডেল জড়িত, সাধারণত যেগুলো একটি উচ্চ-মাত্রিক, সমৃদ্ধ সংবেদনশীল ইনপুটকে একটি ক্লাস লেবেলে ম্যাপ করে। এই লক্ষণীয় সাফল্যগুলো প্রাথমিকভাবে ব্যাকপ্রপাগেশন এবং ড্রপআউট অ্যালগরিদমের উপর ভিত্তি করে, পিসওয়াইজ লিনিয়ার ইউনিট ব্যবহার করে যাদের বিশেষভাবে ভালো আচরণের গ্রেডিয়েন্ট রয়েছে।

ডিপ জেনারেটিভ মডেলগুলোর কম প্রভাব রয়েছে, সর্বাধিক সম্ভাবনা অনুমান এবং সম্পর্কিত কৌশলে উদ্ভূত অনেক অসাধ্য সম্ভাব্যতা গণনার আনুমানিকতার অসুবিধার কারণে, এবং জেনারেটিভ প্রসঙ্গে পিসওয়াইজ লিনিয়ার ইউনিটের সুবিধা কাজে লাগানোর অসুবিধার কারণে। আমরা একটি নতুন জেনারেটিভ মডেল অনুমান পদ্ধতি প্রস্তাব করছি যা এই অসুবিধাগুলো এড়িয়ে চলে।

এই ফ্রেমওয়ার্ক বিভিন্ন ধরনের মডেল এবং অপ্টিমাইজেশন অ্যালগরিদমের জন্য নির্দিষ্ট প্রশিক্ষণ অ্যালগরিদম দিতে পারে। এই নিবন্ধে, আমরা বিশেষ ক্ষেত্রে অনুসন্ধান করি যখন জেনারেটিভ মডেল র্যান্ডম নয়েজ একটি মাল্টিলেয়ার পারসেপ্ট্রনের মধ্য দিয়ে পাঠিয়ে নমুনা তৈরি করে, এবং ডিসক্রিমিনেটিভ মডেলও একটি মাল্টিলেয়ার পারসেপ্ট্রন। আমরা এই বিশেষ ক্ষেত্রটিকে অ্যাডভারসারিয়াল নেটস বলি। এই ক্ষেত্রে, আমরা শুধুমাত্র অত্যন্ত সফল ব্যাকপ্রপাগেশন এবং ড্রপআউট অ্যালগরিদম ব্যবহার করে উভয় মডেল প্রশিক্ষণ দিতে পারি এবং শুধুমাত্র ফরওয়ার্ড প্রপাগেশন ব্যবহার করে জেনারেটিভ মডেল থেকে নমুনা নিতে পারি। কোনো আনুমানিক ইনফারেন্স বা মার্কভ চেইনের প্রয়োজন নেই।

২. সম্পর্কিত কাজ

লেটেন্ট ভেরিয়েবল সহ ডাইরেক্টেড গ্রাফিক্যাল মডেলের একটি বিকল্প হলো লেটেন্ট ভেরিয়েবল সহ আনডাইরেক্টেড গ্রাফিক্যাল মডেল, যেমন রেস্ট্রিক্টেড বোল্টজম্যান মেশিন (আরবিএম), ডিপ বোল্টজম্যান মেশিন (ডিবিএম) এবং তাদের অসংখ্য ভেরিয়েন্ট। এই ধরনের মডেলের মধ্যে ইন্টারঅ্যাকশনগুলো আননরমালাইজড পোটেনশিয়াল ফাংশনের গুণফল হিসাবে উপস্থাপিত হয়, র্যান্ডম ভেরিয়েবলের সমস্ত অবস্থার উপর একটি গ্লোবাল সমষ্টি/ইন্টিগ্রেশন দ্বারা নরমালাইজড।

এই পরিমাণ (পার্টিশন ফাংশন) এবং এর গ্রেডিয়েন্ট সবচেয়ে তুচ্ছ উদাহরণ ছাড়া বাকি সকলের জন্য অসাধ্য, যদিও সেগুলো মার্কভ চেইন মন্টে কার্লো (এমসিএমসি) পদ্ধতি দ্বারা অনুমান করা যেতে পারে। মিক্সিং এমসিএমসির উপর নির্ভরশীল লার্নিং অ্যালগরিদমের জন্য একটি উল্লেখযোগ্য সমস্যা তৈরি করে।

ডিপ বিলিফ নেটওয়ার্কস (ডিবিএন)

ডিপ বিলিফ নেটওয়ার্কস (ডিবিএন) হাইব্রিড মডেল যাতে একটি একক আনডাইরেক্টেড লেয়ার এবং কয়েকটি ডাইরেক্টেড লেয়ার থাকে। যদিও একটি দ্রুত আনুমানিক লেয়ার-ওয়াইজ ট্রেনিং মানদণ্ড বিদ্যমান, ডিবিএন আনডাইরেক্টেড এবং ডাইরেক্টেড উভয় মডেলের সাথে সম্পর্কিত গণনাগত অসুবিধার সম্মুখীন হয়।

বিকল্প মানদণ্ড

বিকল্প মানদণ্ড যা আনুমানিক বা আবদ্ধ করে না...