Mitandao ya Kuzalisha Kupingana: Mfumo wa Mapinduzi wa Kujifunza Kina
Idara ya Sayansi ya Kompyuta na Utafiti wa Uendeshaji, Chuo Kikuu cha Montréal, Montréal, QC H3C 3J7
Dondoo
Tunapendekeza mfumo mpya wa kukadiria miundo ya uzalishaji kupitia mchakato wa kupingana, ambapo tunafundisha miundo miwili wakati huo huo: muundo wa uzalishaji G unaokamata usambazaji wa data, na muundo wa utambuzi D unaokadiria uwezekano kwamba sampuli ilitokana na data ya mafunzo badala ya G. Utaratibu wa mafunzo kwa G ni kuongeza uwezekano wa D kufanya makosa. Mfumo huu unalingana na mchezo wa pande mbili wa minimax.
Katika nafasi ya kazi holela G na D, suluhisho la kipekee lipo, huku G ikirudisha usambazaji wa data ya mafunzo na D ikiwa sawa na 1/2 kila mahali. Katika kesi ambapo G na D zimefafanuliwa na perceptrons za tabaka nyingi, mfumo mzima unaweza kufundishwa kwa backpropagation. Hakuna hitaji la minyororo ya Markov au mitandao ya takriban ya uhitimu wakati wa mafunzo au uzalishaji wa sampuli. Majaribio yanaonyesha uwezo wa mfumo huu kupitia tathmini ya ubora na kiasi ya sampuli zilizozalishwa.
1. Utangulizi
Ahadi ya kujifunza kina ni kugundua miundo tajiri na ya kihierarkia inayowakilisha usambazaji wa uwezekano juu ya aina za data zinazokutana katika matumizi ya akili bandia, kama vile picha asilia, mawimbi ya sauti yaliyo na usemi, na alama katika hazina ya lugha asilia. Hadi sasa, mafanikio makubwa zaidi katika kujifunza kina yamehusisha miundo ya kitambuzi, kwa kawaida ile inayoweka ramani ingizo la hisia lenye ukubwa wa juu na tajiri kwenye lebo ya darasa. Mafanikio haya makubwa yametokana hasa na algoriti za backpropagation na dropout, kwa kutumia vitengo vitendaji vilivyo na mteremko unaofaa sana.
Miundo ya kina ya uzalishaji haijaleta athari kubwa, kutokana na ugumu wa kukadiria hesabu nyingi ngumu za uwezekano zinazotokea katika ukadiriaji wa uwezekano wa juu kabisa na mikakati inayohusiana, na kutokana na ugumu wa kutumia faida za vitengo vitendaji katika muktadha wa uzalishaji. Tunapendekeza utaratibu mpya wa ukadiriaji wa muundo wa uzalishaji unaozuia matatizo haya.
Mfano wa Mwiga Sarafu na Polisi
Katika mfumo wa mitandao ya kupingana uliopendekezwa, muundo wa uzalishaji unapingana na mpinzani: muundo wa kitambuzi unaojifunza kuamua ikiwa sampuli inatoka kwenye usambazaji wa muundo au usambazaji wa data. Muundo wa uzalishaji unaweza kufasiriwa kama mfano wa timu ya wagawa wa sarafu bandia, wanaojaribu kutoa sarafu bandia na kuitumia bila kugundulika, huku muundo wa kitambuzi ukifanana na polisi, wanaojaribu kugundua sarafu bandia. Mashindano katika mchezo huu yanawasukuma timu zote kuboresha mbinu zao hadi sarafu bandia zisiweze kutofautishwa na za kweli.
Mfumo huu unaweza kutoa algoriti maalum za mafunzo kwa aina nyingi za muundo na algoriti ya optimization. Katika makala hii, tunachunguza kesi maalum wakati muundo wa uzalishaji unazalisha sampuli kwa kupitisha kelele za nasibu kupitia perceptron ya tabaka nyingi, na muundo wa kitambuzi pia ni perceptron ya tabaka nyingi. Tuita kesi hii maalum kama mitandao ya kupingana. Katika kesi hii, tunaweza kufundisha miundo yote miwili kwa kutumia tu algoriti za backpropagation na dropout zilizo fanikiwa sana, na kuchukua sampuli kutoka kwa muundo wa uzalishaji kwa kutumia tu usambazaji wa mbele. Hakuna hitaji la uhitimu takriban au minyororo ya Markov.