1. Utangulizi
Ujifunzaji wa kina kwa kawaida unahitaji data nyingi maalumu na rasilimali za kikokotoo, ambazo zinaweza kuwa ghali sana kwa kazi mpya. Ujifunzaji wa uhamisho unatoa ufumbuzi kwa kubadilisha mahitaji maalumu na hatua ya awali ya mazoezi. Katika mbinu hii, mtandao hufundishwa kwanza kwenye seti kubwa ya data ya jumla, kisha uzito wake hutumika kuanzisha kazi zinazofuata, na hivyo kuwezesha ujifunzaji bora kwa kutumia data kidogo na mahitaji madogo ya kikokotoo. Karatasi hii inachungulia tena mfumo rahisi wa kufanya mazoezi awali kwenye seti kubwa za data yenye usimamizi na kurekebisha uzito wa mfano kwenye kazi lengwa. Badala ya kuanzisha vipengele vipya au utata, waandishi wanalenga kutoa mbinu rahisi inayotumia mbinu zilizochaguliwa kwa uangalifu ili kufikia utendaji bora katika kazi mbalimbali. Mbinu hii inaitwa "Uhamisho Mkuu" (BiT).
Mbinu ya BiT inahusisha kufanya mazoezi awali kwa mitandao kwenye seti za data zenye viwango tofauti, huku mfano mkubwa zaidi, BiT-L, ukifundishwa kwenye seti ya data ya JFT-300M yenye picha milioni 300 zilizo na lebo zisizo sahihi kabisa. Miundo iliyohamishwa inatathminiwa kwenye kazi mbalimbali, zikiwemo ILSVRC-2012 ya ImageNet, CIFAR-10/100, Oxford-IIIT Pet, Oxford Flowers-102, na Kigezo cha Kukabiliana na Kazi za Kuona (VTAB), kinachojumuisha seti 19 tofauti za data. BiT-L inafikia utendaji wa hali ya juu kabisa kwenye kazi nyingi za hizi na inaonyesha ufanisi mkubwa hata wakati data inayofuata inapokuwa ndogo sana. Zaidi ya hayo, mfano wa BiT-M, uliofundishwa awali kwenye seti ya data ya umma ya ImageNet-21k, unaonyesha maboresho makubwa ikilinganishwa na mafunzo awali ya kawaida ya ILSVRC-2012. Faida kuu ya BiT ni kwamba inahitaji hatua moja tu ya mafunzo awali, na marekebisho yanayofuata kwa kazi husika ni ya gharama nafuu kikokotoo, tofauti na mbinu zingine za hali ya juu ambazo huhitaji mafunzo makubwa kwenye data ya usaidizi inayolenga kazi maalumu.
2. Mbinu ya Uhamisho Mkuu
Mbinu ya Uhamisho Mkuu (BiT) imejengwa juu ya vipengele vichache vilivyochaguliwa kwa uangalifu ambavyo ni muhimu kwa kuunda mtandao mzuri wa ujifunzaji wa uhamisho. Vipengele hivi vimegawanyika katika vitu vya juu (vinavyotumika wakati wa mafunzo awali) na vya chini (vinavyotumika wakati wa urekebishaji mwisho).
2.1 Vipengele vya Mafunzo Awali
Mazoezi Makuu Awali: BiT inatumia seti kubwa za data zilizo na usimamizi kwa mafunzo awali. Mfano mkubwa zaidi, BiT-L, unafundishwa kwenye seti ya data ya JFT-300M, ambayo ina picha milioni 300 zilizo na lebo zisizo sahihi kabisa. Mfano mwingine, BiT-M, unafundishwa kwenye seti ya data ya ImageNet-21k. Matumizi ya seti kubwa kama hizi za data huruhusu mfano kujifunza uwakilishi mwingi na wa jumla wa kuona ambao unaweza kutumika kwenye kazi mbalimbali zinazofuata.
Muundo na Vigezo vya Mafunzo: Waandishi wanasisitiza umuhimu wa kuchagua miundo ifaayo na vigezo vya mafunzo. Wanachunguza uhusiano kati ya kiwango cha mfano, chaguzi za muundo, na mipangilio ya vigezo ili kuboresha utendaji wa mafunzo awali. Uchambuzi wa kina unafanywa ili kutambua mambo muhimu yanayochangia utendaji wa juu wa uhamisho, na kuhakikisha kuwa mfano unaweza kukamata na kutumia kwa ufanisi vipengele vya kuona.
2.2 Vipengele vya Urekebishaji Mwisho
Mbinu ya Urekebishaji Mwisho: Baada ya mafunzo awali, mfano hurerekebishwa kwenye kazi lengwa. BiT inatumia mbinu rahisi na yenye ufanisi ya urekebishaji mwisho ambayo inahitaji marekebisho madogo sana ya vigezo. Waandishi wanapendekeza kanuni ya kuweka vigezo wakati wa uhamisho, ambayo inafanya kazi vizuri katika seti yao mbalimbali ya tathmini. Kanuni hii hurahisisha mchakato wa kukabiliana na hupunguza gharama ya kikokotoo inayohusishwa na uboraji wa vigezo kwa kila kazi mpya.
Kushughulikia Hali Tofauti za Data: BiT imeundwa kufanya kazi vizuri katika anuwai ya hali za data, kuanzia mazingira ya ujifunzaji kwa mifano michache (kama moja tu kwa kila aina) hadi seti kubwa za data zenye mifano hadi milioni 1 kwa jumla. Mbinu hiyo inajumuisha mikakati ya urekebishaji mwisho wenye ufanisi katika mazingira yenye data kidogo, na kuhakikisha kuwa mfano hudumia utendaji wa hali ya juu hata kwa data ndogo yenye lebo.
3. Matokeo ya Kipekee
Miundo ya BiT imetathminiwa kwenye viwango mbalimbali vya kupima ili kuonyesha ufanisi wake katika ujifunzaji wa uhamisho. Majaribio yanajumuisha seti nyingi za data na hali za data, na yanaonyesha uthabiti na ustadi wa mbinu hii.
ILSVRC-2012
BiT-L inafikia 87.5% usahihi wa kiwango cha juu-1 kwenye seti kamili ya data na 76.8% kwa kutumia mifano 10 tu kwa kila aina.
CIFAR-10
BiT-L inafikia 99.4% usahihi kwenye seti kamili ya data na 97.0% kwa mifano 10 kwa kila aina.
CIFAR-100
Mfano unaonyesha utendaji imara, ukiwa na viwango vya juu vya usahihi katika hali zote za data kamili na mifano michache.
Kigezo cha VTAB
BiT-L inafikia 76.3% usahihi kwenye Kigezo cha Kazi 19 cha Kukabiliana na Kazi za Kuona kwa kutumia sampuli 1,000 tu kwa kila kazi.
3.1 Utendaji katika Ujifunzaji kwa Mifano Michache
BiT inatulia vyema katika mazingira ya ujifunzaji kwa mifano michache, ambapo idadi ndogo tu ya mifano yenye lebo inapatikana kwa kila aina. Kwa mfano, kwenye ILSVRC-2012 kwa mifano 10 kwa kila aina, BiT-L inafikia usahihi wa 76.8%, na hivyo kuzidi kwa kiasi kikubwa miundo ya msingi. Vilevile, kwenye CIFAR-10 kwa mifano 10 kwa kila aina, inafikia usahihi wa 97.0%.