Uthibitishaji wa Matumizi ya Nishati ya AI: Kuthibitisha CodeCarbon Dhidi ya Vipimo vya Nje

Yaliyomo

Kosa la Makadirio

Hadi 40%

Mkengeuko upeo kutoka kwa vipimo halisi

Majaribio

Mamia

Majaribio ya AI yaliyofanywa kwa ajili ya uthibitisho

Matumizi ya Zana

2M+

CodeCarbon imepakuliwa kwenye PyPI

1 Utangulizi

Akili bandia inaleta changamoto muhimu za kimazingira licha ya uwezo wake wa uvumbuzi. Ukuzaji wa haraka wa miundo ya ML umeunda wasiwasi mkubwa wa matumizi ya nishati, huku zana za sasa za makadirio zikifanya dhana za kiutendaji ambazo zinaweza kukwaza usahihi. Utafiti huu unathibitisha kimfumo mbinu za makadirio ya nishati tuli na zinazobadilika dhidi ya vipimo halisi.

2 Mbinu

2.1 Usanidi wa Majaribio

Mfumo wa uthibitisho ulihusisha mamia ya majaribio ya AI katika kazi za uono wa kompyuta na usindikaji wa lugha asilia. Majaribio yalifanywa kwa kutumia ukubwa mbalimbali wa miundo kutoka vigezo 10M hadi 10B ili kukamata athari za upanuzi.

2.2 Mfumo wa Upimaji

Vipimo halisi vya nishati vilipatikana kwa kutumia vipima vya nguvu vya vifaa na zana za ufuatiliaji wa mfumo. Uchambuzi wa kulinganisha ulifanyika kati ya mbinu za makadirio tuli (Kikokotoo cha Uzalishaji wa ML) na zinazobadilika (CodeCarbon).

3 Matokeo na Uchambuzi

3.1 Usahihi wa Makadirio

Zana zote mbili za makadirio zilionyesha mienendo tofauti kutoka kwa vipimo halisi. Kikokotoo cha Uzalishaji wa ML kilionyesha mienendo ya kupunguza makadirio na kuongeza makadirio kuanzia -40% hadi +60% katika aina na ukubwa tofauti za miundo.

3.2 Mienendo ya Makosa

Miundo ya uono ilionyesha mienendo tofauti ya makosa ikilinganishwa na miundo ya lugha. CodeCarbon kwa ujumla ilitoa makadirio thabiti zaidi lakini bado ilionyesha makosa ya kimfumo hadi 40% katika baadhi ya usanidi.

Ufahamu Muhimu

Mbinu za makadirio tili huwa na uwezekano mkubwa wa makosa makubwa na miundo changamani
Ufuatiliaji unaobadilika hutoa usahihi bora lakini bado una upendeleo wa kimfumo
Muundo wa mfumo unaathiri kwa kiasi kikubwa usahihi wa makadirio
Tofauti za usanidi wa vifaa huchangia kwa kiasi kikubwa kwenye makosa ya makadirio

4 Utekelezaji wa Kiufundi

4.1 Mfumo wa Kihisabati

Matumizi ya nishati ya miundo ya AI yanaweza kuigwa kwa kutumia mlinganyo ufuatao:

$E_{jumla} = \sum_{i=1}^{n} P_i \times t_i + E_{tuli}$

Ambapo $P_i$ inawakilisha matumizi ya nguvu ya sehemu i, $t_i$ ni wakati wa utekelezaji, na $E_{tuli}$ inahusisha matumizi ya nishati ya msingi ya mfumo.

4.2 Utekelezaji wa Msimbo

Utekelezaji wa msingi wa ufuatiliaji wa nishati kwa kutumia CodeCarbon:

from codecarbon import track_emissions

@track_emissions(project_name="ai_energy_validation")
def train_model(model, dataset, epochs):
    # Msimbo wa mafunzo ya mfumo
    for epoch in range(epochs):
        for batch in dataset:
            loss = model.train_step(batch)
    return model

# Ufuatiliaji wa matumizi ya nishati
with EmissionsTracker(output_dir="./emissions/") as tracker:
    trained_model = train_model(resnet_model, imagenet_data, 100)
    emissions = tracker.flush()

5 Matumizi ya Baadaye

Mfumo wa uthibitisho unaweza kupanuliwa kwa nyanja zingine ikiwemo ujifunzaji wa kuimarisha na miundo ya uzalishaji. Kazi ya baadaye inapaswa kulenga boresho ya nishati ya wakati halisi na muundo wa mfumo unaozingatia vifaa. Ujumuishaji na mifumo ya ujifunzaji shirikishi unaweza kuwezesha ufuatiliaji wa nishati uliosambaa katika vifaa vya makali.

Uchambuzi wa Asili: Changamoto na Fursa za Makadirio ya Nishati ya AI

Matokeo ya utafiti huu yanaonyesha changamoto muhimu katika makadirio ya nishati ya AI ambazo zinafanana na masuala katika nyanja zingine za kihesabu. Makosa ya makadirio ya 40% yaliyozingatiwa yanasisitiza haswa ukizingatia ukuaji wa kielelezo katika mahitaji ya hesabu za AI yaliyorekodiwa na watafiti kama vile Amodei na Hernandez (2018), ambao waligundua mahitaji ya hesabu za AI yakizidi mara mbili kila baada ya miezi 3.4. Kufanana na jinsi CycleGAN (Zhu et al., 2017) ilivyobadilisha kabisa tafsiri ya picha kupitia mitandao ya kupingana inayofuata mduara, tunahitaji uvumbuzi wa msingi katika mbinu za upimaji wa nishati.

Makosa ya kimfumo yaliyotambuliwa katika mbinu zote za makadirio tuli na zinazobadilika yanaonyesha kuwa zana za sasa hazishiki mwingiliano muhimu kati ya vifaa na programu. Kama ilivyobainishwa katika Ripoti ya Kimataifa ya Usalama wa AI (2023), uendelevu wa kimazingira lazima uwe kizingatio cha kimsingi katika ukuzaji wa AI. Mienendo iliyozingatiwa katika utafiti huu inafanana na changamoto za awali katika utabiri wa utendaji wa usanifu wa kompyuta, ambapo miundo rahisi mara nyingi ilishindwa kuzingatia tabia changamani za kache na safu za kumbukumbu.

Kutazama utafiti mpana wa uendelevu wa kihesabu, Kikundi cha Kazi cha Hesabu za Ufanisi wa Juu kimeanzisha viwango vya kupima ufanisi wa kihesabu ambavyo vinaweza kutoa taarifa kwa ufuatiliaji wa nishati ya AI. Muundo wa $E_{jumla} = \sum P_i \times t_i + E_{tuli}$ uliotumika katika utafiti huu hutoa msingi imara, lakini kazi ya baadaye inapaswa kujumuisha miundo changamani zaidi ambayo inazingatia upanuzi wa voltage na mzunguko unaobadilika, kudhibiti joto, na vikwazo ya upana wa kumbukumbu.

Mfumo wa uthibitisho wa utafiti huu unawakilisha hatua muhimu kuelekea tathmini ya nishati ya AI iliyosanifikishwa, sawa na jinsi ImageNet ilivyosanifisha viwango vya uono wa kompyuta. Wakati miundo ya AI inaendelea kupanuka—na mifumo ya hivi karibuni kama GPT-4 inakadiriwa kutumia nishati sawa na mamia ya kaya—makadirio sahihi ya nishati inakuwa muhimu kwa maendeleo endelevu. Zana za baadaye zinapaswa kujifunza kutoka kwa uigaji wa nguvu katika hesabu za ufanisi wa juu huku zikibadilika kulingana na sifa za kipekee za hitimisho na mafunzo ya mtandao wa neva.

6 Marejeo

Amodei, D., & Hernandez, D. (2018). AI and Compute. OpenAI Blog.
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV.
Ripoti ya Kimataifa ya Usalama wa AI (2023). Hatari za Kimfumo na Uendelevu wa Kimazingira.
Lacoste, A., et al. (2019). Quantifying the Carbon Emissions of Machine Learning. arXiv:1910.09700.
Schwartz, R., et al. (2020). Green AI. Communications of the ACM.
Kikundi cha Kazi cha Hesabu za Ufanisi wa Juu (2022). Viwango vya Vipimo vya Ufanisi wa Kihesabu.
Anthony, L. F. W., et al. (2020). Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models. ICML Workshop.

Hitimisho

Utafiti huu unaanzisha ushahidi muhimu wa kiutendaji wa ubora wa makadirio ya nishati ya AI, ukithibitisha zana zinazotumika sana huku ukibainisha vikwazo muhimu vya usahihi. Mfumo wa uthibitisho uliopendekezwa na miongozo huchangia kwa kiasi kikubwa kwa ujifunzaji wa mashine unaozingatia rasilimali na ukuzaji endelevu wa AI.