Moc obliczeniowa potrzebna do trenowania sztucznej inteligencji rośnie teraz siedmiokrotnie szybciej niż kiedykolwiek wcześniej

Gracz Go Ke Jie gra mecz z programem sztucznej inteligencji Google, AlphaGo AP

W 2018 roku OpenAI odkrył, że ilość mocy obliczeniowej wykorzystywanej do trenowania największych modeli AI podwajała się co 3,4 miesiąca od 2012 roku.

Laboratorium badawcze sztucznej inteligencji z siedzibą w San Francisco ma już teraz dodano nowe dane do jego analizy. To pokazuje, jak podwojenie po 2012 r. wypada w porównaniu z historycznym czasem podwojenia od początku pola. Od 1959 do 2012 r. ilość używanej mocy podwajała się co dwa lata, zgodnie z prawem Moore'a. Oznacza to, że zasoby wykorzystywane obecnie podwajają się w tempie siedmiokrotnie szybszym niż wcześniej.

Otwórz AI

Ten dramatyczny wzrost potrzebnych zasobów podkreśla, jak kosztowne stały się osiągnięcia tej dziedziny. Pamiętaj, że powyższy wykres przedstawia skalę logarytmiczną. W skali liniowej (poniżej) możesz wyraźniej zobaczyć, jak wykorzystanie zasobów obliczeniowych wzrosło 300 000-krotnie w ciągu ostatnich siedmiu lat.

Wykres nie zawiera również niektórych z najnowszych przełomów, w tym wielkoskalowego modelu językowego Google BERT , model językowy OpenAI GPT-2 lub model AlphaStar do grania w StarCraft II firmy DeepMind.

Otwórz AI

W ciągu ostatniego roku coraz więcej naukowców biło na alarm w związku z gwałtownie rosnącymi kosztami głębokiego uczenia się. W czerwcu analiza przeprowadzona przez naukowców z University of Massachusetts w Amherst wykazała, w jaki sposób te rosnące koszty obliczeniowe bezpośrednio przekładają się na emisje dwutlenku węgla.

W swoim artykule zauważyli również, jak trend ten nasila prywatyzację badań nad sztuczną inteligencją, ponieważ podważa zdolność laboratoriów akademickich do konkurowania ze znacznie bogatszymi w zasoby prywatnymi.

W odpowiedzi na to rosnące zaniepokojenie kilka grup branżowych przedstawiło zalecenia. Allen Institute for Artificial Intelligence, firma badawcza non-profit z Seattle, zaproponowała, aby badacze zawsze publikowali finansowe i obliczeniowe koszty szkolenia ich modeli wraz z wynikami na przykład ich wydajności.

Na swoim własnym blogu OpenAI zasugerował decydentom zwiększenie funduszy dla badaczy akademickich, aby wypełnić lukę w zasobach między laboratoriami akademickimi i przemysłowymi.

Korekta: W poprzedniej wersji tego artykułu błędnie podano, że dzisiejszy czas podwojenia jest ponad siedmiokrotnie wyższy niż wcześniej. Używane zasoby podwajają się siedmiokrotnie szybciej, a sam czas podwojenia wynosi jedną siódmą w stosunku do poprzedniego czasu.

ukryć