211service.com
Dlaczego GPT-3 jest teraz najlepszą i najgorszą sztuczną inteligencją?
Otwarta sztuczna inteligencja w języku AI zachwyciła publiczność pozornym opanowaniem języka angielskiego – ale czy to wszystko iluzja?
Sierra i Lenny
24 lutego 2021
Dlaczego jest to ważne:Duże modele komputerowe, które uczą się języka naturalnego, to duży krok w kierunku sztucznej inteligencji, która może zrozumieć ludzki świat i wchodzić z nim w interakcję.
Kluczowi gracze:• OpenAI
• Google
• Facebook
Dostępność:Ale już
GPT-3 zawładnął wyobraźnią publiczności w przeciwieństwie do jakiejkolwiek sztucznej inteligencji od czasów AlphaGo firmy DeepMind czy gry w szachy firmy IBM DeepBlue.
Zbudowane przez Otwórz AI , laboratorium badawcze z siedzibą w San Francisco, jest duży model językowy — algorytm wykorzystujący głębokie uczenie, wyszkolony na tekście tysięcy książek i większości internetu, do łączenia słów i fraz. Kiedy został wprowadzony na rynek w 2020 roku, jego zdolność do naśladowania tekstu pisanego przez człowieka z niesamowitym realizmem wydawała się wielu kamieniem milowym na drodze do prawdziwej inteligencji maszyny.
Ta historia była częścią naszego wydania z marca 2021 r.
- Zobacz resztę numeru
- Subskrybuj
Oto przykład tego, co może zrobić . Część napisana kursywą była podpowiedzią człowieka.
—
i W wyniku szokującego odkrycia naukowcy odkryli stado jednorożców żyjących w odległej, wcześniej niezbadanej dolinie w Andach. Jeszcze bardziej zaskakujący dla badaczy był fakt, że jednorożce mówiły doskonale po angielsku. Stwierdzono również, że mają doskonale uczesane włosy i noszą coś, co wyglądało na makijaż Diora.
Byliśmy zszokowani odkryciem jednorożców, powiedział antropolog Daniel St. Maurice. Nie przypominały niczego, co kiedykolwiek widzieliśmy. Słyszeliśmy legendy o jednorożcach, ale nigdy nie myśleliśmy, że naprawdę istnieją.
Kiedy naukowcy po raz pierwszy przybyli do doliny, jednorożce były zaskoczone i zaskoczone obecnością ludzi, ale także podekscytowane. Jednorożce przywitały badaczy i wyjaśniły, że czekały na nich od bardzo dawna.
202110 przełomowych technologii
Jak widać, GPT-3 jest w stanie generować złożone zdania, które czyta się tak, jakby mogły być stworzone przez człowieka. Przykładowe zdania zawierają odniesienia kulturowe i wiarygodny opis reakcji naukowców. Maszyny, które potrafią używać języka w ten sposób, są ważne z kilku powodów. Język ma kluczowe znaczenie dla zrozumienia codziennego świata: ludzie używają go do komunikowania się, dzielenia się pomysłami i opisywania pojęć. Sztuczna inteligencja, która opanowała język, mogłaby w tym procesie lepiej rozumieć świat.
Duże modele językowe mają wiele praktycznych zastosowań . Zasilają lepsze chatboty, które prowadzą płynniejsze rozmowy; mogą generować artykuły i opowiadania o czymkolwiek, po otrzymaniu podpowiedzi; mogą podsumowywać fragmenty tekstu lub odpowiadać na pytania na ich temat. Dostęp do GPT-3 jest tylko za zaproszeniem, ale ludzie już używali go do zasilania dziesiątki aplikacji , od narzędzia, które generuje pomysły na start, po grę przygodową ze skryptem AI osadzoną w lochu.
GPT-3 nie jest jedynym dużym modelem językowym, który pojawi się w 2020 roku. Microsoft, Google i Facebook ogłosiły swój własny. Ale GPT-3 był zdecydowanie najlepszym generalistą. I sprawia wrażenie, że potrafi napisać wszystko: fan fiction, filozoficzne polemiki, a nawet kod. Kiedy zeszłego lata ludzie zaczęli wypróbowywać GPT-3, tysiące przykładów jego wszechstronności zalały media społecznościowe. dyskusje zaczęto nawet zastanawiać się, czy GPT-3 jest pierwszą sztuczną inteligencją ogólną.
To nie jest. Pomimo niewiarygodnie przekonujących fragmentów tekstu, jakie może się pojawić, GPT-3 nie robi nic nowego. Zamiast tego pokazuje, że rozmiar może być wszystkim. Aby zbudować GPT-3, OpenAI wykorzystało mniej więcej to samo podejście i algorytmy, które stosowało w przypadku starszego rodzeństwa, GPT-2 , ale przewyższał zarówno sieć neuronową, jak i zbiór uczący. GPT-3 ma 175 miliardów parametrów — wartości w sieci, które są dostosowywane podczas treningu — w porównaniu z 1,5 miliarda GPT-2. Został również przeszkolony na znacznie większej ilości danych.
Przed GPT-2 trenowanie modelu językowego przy użyciu głębokiego uczenia zwykle wymagało dwóch przejść: było trenowane na zbiorze danych ogólnego przeznaczenia, aby dać mu podstawową wiedzę na temat języka, a następnie trenowano na mniejszym zbiorze ukierunkowanym na określone zadanie, takie jak zrozumienie lub tłumaczenie. GPT-2 pokazał, że można uzyskać dobre wyniki na całej planszy jednym podaniem, jeśli wrzucisz więcej przykładów do większego modelu. Tak więc dzięki GPT-3 OpenAI podwoił się i stworzył największy model językowy w historii.
Jednak wyniki, które przykuły uwagę wszystkich, były często wybierane. GPT-3 często powtarza się lub zaprzecza sobie w fragmentach tekstu o długości ponad kilkuset słów. Wyjdzie z wyjkiem. GPT-3 ukrywa swoją głupotę za srebrnym językiem, ale zwykle potrzeba kilku przejść, aby wygenerować coś, co nie pokazuje pęknięć.
Powiązana historia
Nowy generator języka OpenAI GPT-3 jest szokująco dobry — i całkowicie bezmyślny Sztuczna inteligencja jest największym modelem językowym, jaki kiedykolwiek stworzono i może generować na żądanie niesamowity, podobny do człowieka tekst, ale nie przybliży nas do prawdziwej inteligencji.
Zdolności GPT-3 utrudniają również ignorowanie narastających problemów AI. Ogromne zużycie energii to zła wiadomość dla klimatu: naukowcy z Uniwersytetu w Kopenhadze w Danii oszacować że trening GPT-3 miałby mniej więcej taki sam ślad węglowy, jak jazda samochodem na odległość do Księżyca iz powrotem, gdyby był szkolony w centrum danych w pełni zasilanym paliwami kopalnymi. A koszty takiego szkolenia – szacowane przez niektórych ekspertów na co najmniej 10 milionów dolarów w przypadku GPT-3 – wskazują najnowsze badania poza zasięgiem wszystkich oprócz najbogatszych laboratoriów .
OpenAI informuje, że trening GPT-3 pochłonął kilka tysięcy petaflopów/s-dni mocy obliczeniowej. Petaflop/s-dzień to jednostka zużycia energii, która polega na wykonaniu 1015 — czyli tysiąca bilionów lub biliardów — obliczeń sieci neuronowej na sekundę w ciągu dnia. Dla porównania, GPT-2 zużywał zaledwie kilkadziesiąt petaflopów/s-dni.
Jeszcze innym problemem jest to, że GPT-3 wchłania wiele dezinformacji i uprzedzeń, które znajduje w Internecie i odtwarza je na żądanie. Jak powiedział zespół, który go zbudował w artykuł opisujący technologię : modele szkolone przez Internet mają stronniczość w skali internetowej.
Okleina ludzkości, którą GPT-3 nadaje tekstowi generowanemu maszynowo, sprawia, że łatwo jest mu zaufać. Doprowadziło to niektórych do twierdzenia, że GPT-3 i wszystkie modele językowe podobne do ludzi powinny być wyposażone w ostrzeżenie dotyczące bezpieczeństwa, naklejkę z ostrzeżeniem dla użytkownika, ostrzegającą ludzi, że rozmawiają z oprogramowaniem, a nie z człowiekiem.
Kilka miesięcy temu ktoś wypuścił a Bot zasilany GPT-3 na Reddicie , gdzie opublikował setki komentarzy i wszedł w interakcję z dziesiątkami użytkowników przez kilka dni, zanim został zdemaskowany. Duża część jego działalności była nieszkodliwa. Ale bot odpowiadał również na komentarze dotyczące myśli samobójczych, udzielając osobistych porad, które wspominały o wsparciu jego rodziców.
Pomimo tych wszystkich problemów, GPT-3 jest wygraną dla tych, którzy uważają, że większe jest lepsze. Takie modele pokazują, że moc obliczeniowa i dane mają długą drogę, aw przyszłości możemy spodziewać się ich większej liczby. Jak może wyglądać GPT-4? Możemy oczekiwać, że chatboty staną się gładsze, lepiej połączą ze sobą dłuższe fragmenty spójnego tekstu, z jeszcze szerszym opanowaniem tematów konwersacyjnych.
Ale język to tylko jeden ze sposobów rozumienia i interakcji ze światem. Modele językowe nowej generacji będą integrować inne umiejętności, takie jak rozpoznawanie obrazów. OpenAI już kieruje GPT-3 w tym kierunku dzięki sztucznej inteligencji, która używa języka do zrozumienia obrazów i obrazów do zrozumienia języka.
Jeśli chcesz poznać obecny stan głębokiego uczenia się, spójrz na GPT-3. To mikrokosmos najlepszych i najgorszych w AI.