Trening jednego modelu AI może emitować tyle dwutlenku węgla, co pięć samochodów w ciągu ich życia

Centrum danych Dziekan Mouhtaropoulos | Getty; pod redakcją MIT Technology Review

Przemysł sztucznej inteligencji jest często porównywany do przemysłu naftowego: po wydobyciu i rafinacji dane, podobnie jak ropa, mogą być bardzo lukratywnym towarem. Teraz wydaje się, że metafora może sięgać jeszcze dalej. Podobnie jak jego odpowiednik na paliwa kopalne, proces głębokiego uczenia ma ogromny wpływ na środowisko.

W nowy papier , naukowcy z University of Massachusetts w Amherst przeprowadzili ocenę cyklu życia, aby wytrenować kilka popularnych dużych modeli sztucznej inteligencji. Odkryli, że proces ten może wyemitować ponad 626 000 funtów ekwiwalentu dwutlenku węgla — prawie pięć razy więcej niż przeciętny amerykański samochód (wliczając w to produkcję samego samochodu).

To wstrząsająca ocena ilościowa czegoś, co badacze AI podejrzewali od dawna. Chociaż prawdopodobnie wielu z nas pomyślało o tym w abstrakcyjnym, niejasnym poziomie, liczby naprawdę pokazują skalę problemu, mówi Carlos Gómez-Rodríguez, informatyk z Uniwersytetu A Coruña w Hiszpanii, który nie był zaangażowany w Badania. Ani ja, ani inni badacze, z którymi je omawiałem, nie myśleliśmy, że wpływ na środowisko był tak znaczący.

Ślad węglowy przetwarzania w języku naturalnym

W artykule szczegółowo przeanalizowano modelowy proces uczenia przetwarzania języka naturalnego (NLP), poddziedzinę sztucznej inteligencji, która koncentruje się na uczeniu maszyn obsługi języka ludzkiego. W ciągu ostatnich dwóch lat społeczność NLP osiągnęła kilka godnych uwagi kamieni milowych wydajności w tłumaczeniu maszynowym, uzupełnianiu zdań i innych standardowych zadaniach benchmarkingowych. Niesławny model GPT-2 OpenAI, jako jeden z przykładów, celował w pisaniu przekonujących fałszywych artykułów.

Ale takie postępy wymagały trenowania coraz większych modeli na rozległych zestawach danych ze zdaniami wydrapanymi z Internetu. To podejście jest kosztowne obliczeniowo i bardzo energochłonne.

Naukowcy przyjrzeli się czterem modelom w tej dziedzinie, które były odpowiedzialne za największy skok wydajności: Transformer, ELMo, BERT oraz GPT-2. Każdy z nich trenował na jednym GPU przez okres do jednego dnia, aby zmierzyć jego pobór mocy. Następnie wykorzystali liczbę godzin szkoleniowych podaną w oryginalnych artykułach modelu, aby obliczyć całkowitą energię zużytą w trakcie całego procesu szkoleniowego. Liczba ta została przeliczona na funty ekwiwalentu dwutlenku węgla na podstawie średniego miksu energetycznego w USA, który jest zbliżony do miksu energetycznego używanego przez Amazon AWS, największego dostawcę usług w chmurze.

Odkryli, że koszty obliczeniowe i środowiskowe szkolenia rosły proporcjonalnie do rozmiaru modelu, a następnie eksplodowały, gdy zastosowano dodatkowe kroki dostrajania w celu zwiększenia końcowej dokładności modelu. W szczególności odkryli, że proces dostrajania znany jako przeszukiwanie architektury neuronowej, który próbuje zoptymalizować model poprzez stopniowe modyfikowanie projektu sieci neuronowej za pomocą wyczerpujących prób i błędów, wiązał się z niezwykle wysokimi powiązanymi kosztami przy niewielkich korzyściach z wydajności. Bez tego najbardziej kosztowny model, BERT, miał ślad węglowy w wysokości około 1400 funtów ekwiwalentu dwutlenku węgla, zbliżony do lotu w obie strony przez Amerykę dla jednej osoby.

Co więcej, naukowcy zauważają, że liczby należy traktować wyłącznie jako wartości odniesienia. Szkolenie jednego modelu to minimalna ilość pracy, jaką możesz wykonać, mówi Emma Strubell, doktorantka z University of Massachusetts, Amherst i główna autorka artykułu. W praktyce jest znacznie bardziej prawdopodobne, że badacze sztucznej inteligencji opracują nowy model od podstaw lub zaadaptują istniejący model do nowego zestawu danych, z których każdy może wymagać znacznie większej liczby rund szkolenia i dostrajania.

Aby lepiej zrozumieć, jak może wyglądać cały proces rozwoju pod względem śladu węglowego, Strubell i jej współpracownicy wykorzystali model, który wyprodukowali w poprzedni artykuł jako studium przypadku. Odkryli, że proces budowania i testowania ostatecznego modelu, który byłby gotowy do użycia na papierze, wymagał przeszkolenia 4789 modeli w okresie sześciu miesięcy. W przeliczeniu na ekwiwalent CO2 wyemitował ponad 78 000 funtów i prawdopodobnie reprezentuje typową pracę w terenie.

Znaczenie tych liczb jest kolosalne — zwłaszcza biorąc pod uwagę obecne trendy w badaniach nad sztuczną inteligencją. Ogólnie rzecz biorąc, większość najnowszych badań nad sztuczną inteligencją pomija wydajność, ponieważ bardzo duże sieci neuronowe okazały się przydatne do różnych zadań, a firmy i instytucje, które mają duży dostęp do zasobów obliczeniowych, mogą to wykorzystać do uzyskania przewagi konkurencyjnej. mówi Gómez-Rodríguez. Tego rodzaju analizę trzeba było przeprowadzić, aby podnieść świadomość na temat wydawanych środków [...] i wywołać debatę.

To, czego prawdopodobnie wielu z nas nie rozumiało, to skala tego zjawiska, dopóki nie zobaczyliśmy tych porównań, powtórzył Siva Reddy, doktorant na Uniwersytecie Stanforda, który nie był zaangażowany w badania.

Prywatyzacja badań nad sztuczną inteligencją

Wyniki podkreślają również inny narastający problem w sztucznej inteligencji: sama intensywność zasobów potrzebnych obecnie do uzyskania wyników godnych uwagi na papierze sprawia, że ​​kontynuacja wkładu w badania staje się coraz większym wyzwaniem dla osób pracujących w środowisku akademickim.

Ten trend w kierunku trenowania ogromnych modeli na tonach danych nie jest możliwy do zrealizowania dla naukowców — zwłaszcza studentów studiów magisterskich, ponieważ nie mamy zasobów obliczeniowych — mówi Strubell. Pojawia się więc problem równego dostępu między naukowcami ze środowiska akademickiego a naukowcami z przemysłu.

Strubell i jej współautorzy mają nadzieję, że ich koledzy zwrócą uwagę na wyniki artykułu i pomogą wyrównać szanse, inwestując w rozwój wydajniejszego sprzętu i algorytmów.

Reddy się zgadza. Mówi, że ludzki mózg może robić niesamowite rzeczy przy niewielkim zużyciu energii. Większym pytaniem jest, jak możemy zbudować takie maszyny.

ukryć