211service.com
Brudna, tajemnicza rzeczywistość stojąca za dążeniem OpenAI do ratowania świata
Greg Brockman, współzałożyciel i CTO; Ilya Sutskever, współzałożyciel i główny naukowiec; oraz Dario Amodei, dyrektor ds. badań. Christie Tam Klok
Każdego roku pracownicy OpenAI głosują, kiedy wierzą, że sztuczna inteligencja ogólna, czyli AGI, w końcu nadejdzie. Jest to głównie postrzegane jako zabawny sposób na nawiązanie więzi, a ich szacunki znacznie się różnią. Ale w dziedzinie, która wciąż debatuje, czy podobne do człowieka systemy autonomiczne są w ogóle możliwe, połowa laboratoriów zakłada, że prawdopodobnie stanie się to w ciągu 15 lat.
W ciągu czterech krótkich lat swojego istnienia OpenAI stało się jednym z wiodących laboratoriów badawczych AI na świecie. Wyrobił sobie markę, konsekwentnie prowadząc badania, które trafiają na nagłówki, wraz z innymi graczami wagi ciężkiej AI, takimi jak DeepMind firmy Alphabet. Jest również kochany w Dolinie Krzemowej, wliczając Elona Muska i legendarnego inwestora Sama Altmana do swoich założycieli.
Przede wszystkim jest lwiona ze względu na swoją misję. Jego celem jest być pierwszą osobą, która stworzy AGI — maszynę z mocą uczenia się i rozumowania ludzkiego umysłu. Celem nie jest dominacja nad światem; laboratorium chce raczej zapewnić, że technologia jest rozwijana w bezpieczny sposób, a korzyści z niej płynące równomiernie rozprowadzane na całym świecie.
Wynika z tego, że AGI może łatwo wpaść w amok, jeśli rozwój technologii będzie podążał ścieżką najmniejszego oporu. Wąska inteligencja, rodzaj niezdarnej sztucznej inteligencji, która nas dzisiaj otacza, jest już przykładem. Teraz wiemy, że algorytmy są stronnicze i kruche; mogą popełniać wielkie nadużycia i wielkie oszustwa; a koszt ich rozwijania i prowadzenia ma tendencję do koncentrowania ich władzy w rękach nielicznych. Ekstrapolując, AGI może być katastrofalne bez starannego przewodnictwa życzliwego pasterza.
OpenAI chce być tym pasterzem i starannie stworzył swój wizerunek, aby pasował do ustawy. W dziedzinie zdominowanej przez zamożne korporacje została założona jako organizacja non-profit. Jego pierwsze ogłoszenie powiedział, że to wyróżnienie pozwoli budować wartość dla wszystkich, a nie dla akcjonariuszy. Jego czarter — dokument tak święty, że wynagrodzenie pracowników jest powiązane z tym, jak dobrze go przestrzegają — dalej deklaruje, że podstawowym obowiązkiem powierniczym OpenAI jest ludzkość. Bezpieczne osiągnięcie AGI jest tak ważne, że jeśli inna organizacja byłaby bliska osiągnięcia tego jako pierwsza, OpenAI przestałby z nią konkurować i zamiast tego współpracował. Ta kusząca narracja dobrze pasuje do inwestorów i mediów, a w lipcu Microsoft wstrzyknął laboratorium nowy miliard dolarów.
Logo OpenAI wisi w biurze. Christie Hemm Klok
Ale trzy dni w biurze OpenAI — i prawie trzy tuziny wywiadów z byłymi i obecnymi pracownikami, współpracownikami, przyjaciółmi i innymi ekspertami w tej dziedzinie — sugerują inny obraz. Istnieje rozbieżność między tym, co firma publicznie opowiada, a tym, jak działa za zamkniętymi drzwiami. Z biegiem czasu pozwoliło na zaciekłą konkurencyjność i narastającą presję na coraz większe finansowanie, aby podkopać jej założycielskie ideały przejrzystości, otwartości i współpracy. Wiele osób pracujących lub pracujących dla firmy nalegało na anonimowość, ponieważ nie byli upoważnieni do wypowiadania się lub obawiali się odwetu. Ich relacje sugerują, że OpenAI, mimo wszystkich szlachetnych aspiracji, ma obsesję na punkcie zachowania tajemnicy, ochrony swojego wizerunku i lojalności swoich pracowników.
Od najwcześniejszego poczęcia sztuczna inteligencja jako dziedzina starała się zrozumieć inteligencję podobną do ludzkiej, a następnie ją odtworzyć. W 1950 roku rozpoczął działalność Alan Turing, znany angielski matematyk i informatyk papier ze słynną już prowokacją Czy maszyny myślą? Sześć lat później, urzeczony tą dokuczliwą ideą, grupa naukowców zebrała się w Dartmouth College, aby sformalizować dyscyplinę.
To jedno z najbardziej fundamentalnych pytań w całej historii intelektualnej, prawda? mówi Oren Etzioni, dyrektor generalny Allen Institute for Artificial Intelligence (AI2), non-profit laboratorium badawczego AI z siedzibą w Seattle. To tak, czy rozumiemy pochodzenie wszechświata? Czy rozumiemy materię?
Problem w tym, że AGI zawsze pozostawała niejasna. Nikt tak naprawdę nie potrafi opisać, jak może wyglądać ani minimum tego, co powinien robić. Nie jest na przykład oczywiste, że istnieje tylko jeden rodzaj inteligencji ogólnej; ludzka inteligencja może być tylko podzbiorem. Istnieją również różne opinie na temat tego, jakiemu celowi może służyć AGI. W bardziej romantycznym ujęciu inteligencja maszyny, której nie przeszkadza potrzeba snu czy nieefektywność komunikacji międzyludzkiej, może pomóc w rozwiązaniu złożonych wyzwań, takich jak zmiany klimatyczne, ubóstwo i głód.
Ale w tej dziedzinie głośny konsensus jest taki, że tak zaawansowane zdolności zajęłyby dekady, a nawet stulecia – o ile w ogóle możliwe jest ich rozwinięcie. Wielu obawia się również, że nadgorliwe dążenie do tego celu może przynieść odwrotny skutek. W latach 70. i ponownie pod koniec lat 80. i na początku lat 90. obiecywano zawyżone i niewystarczające. Z dnia na dzień fundusze wyschły, pozostawiając głębokie blizny w całym pokoleniu badaczy. Dziedzina wydawała się zaściankiem, mówi Peter Eckersley, do niedawna dyrektor ds. badań w branżowej grupie Partnership on AI, której członkiem jest OpenAI.
Sala konferencyjna na pierwszym piętrze o nazwie Nieskończony Jest. Christie Hemm Klok
Na tym tle OpenAI wkroczył na świat z pluskiem 11 grudnia 2015 r. Nie był pierwszym, który otwarcie zadeklarował, że dąży do AGI; DeepMind zrobił to pięć lat wcześniej i został przejęty przez Google w 2014 roku. Ale OpenAI wydawał się inny. Po pierwsze, cena naklejki była szokująca: przedsięwzięcie rozpoczęłoby się od 1 miliarda dolarów od prywatnych inwestorów, w tym Muska, Altmana i współzałożyciela PayPal, Petera Thiela.
Pełna gwiazd lista inwestorów wywołała furię medialną, podobnie jak imponująca lista początkowych pracowników: Greg Brockman, który kierował technologią dla firmy płatniczej Stripe, miał zostać dyrektorem ds. technologii; Ilya Sutskever, która studiowała pod kierunkiem pioniera sztucznej inteligencji Geoffreya Hintona, byłaby dyrektorem ds. badań; a siedmiu naukowców, świeżo po studiach na najlepszych uniwersytetach lub z innych firm, tworzyłoby podstawowy zespół techniczny. (w lutym Musk ogłoszony że rozstawał się z firmą z powodu sporów dotyczących jej kierunku. Miesiąc później Altman ustąpił jako prezes akceleratora startupów Y Combinator, aby zostać CEO OpenAI.)
Ale przede wszystkim status organizacji non-profit OpenAI wydał oświadczenie. Ważne będzie, aby mieć wiodącą instytucję badawczą, która może nadać priorytet dobrym wynikom we własnym interesie, ogłoszenie powiedział . Badacze będą silnie zachęcani do publikowania swoich prac w formie artykułów, postów na blogach lub kodu, a nasze patenty (jeśli w ogóle) zostaną udostępnione światu. Chociaż nigdy nie sformułował wyraźnej krytyki, sugestia była jasna: inne laboratoria, takie jak DeepMind, nie mogły służyć ludzkości, ponieważ ograniczały je interesy komercyjne. Gdy były zamknięte, OpenAI byłby otwarty .
W krajobrazie badawczym, który stał się coraz bardziej sprywatyzowany i skoncentrowany na krótkoterminowych zyskach finansowych, OpenAI oferował nowy sposób finansowania postępu w zakresie największych problemów. To był sygnał nadziei, mówi Chip Huyen, ekspert od uczenia maszynowego, który uważnie śledził podróż laboratorium.
Na skrzyżowaniu ulic 18 i Folsom w San Francisco biuro OpenAI wygląda jak tajemniczy magazyn. Zabytkowy budynek ma szare panele i przyciemniane okna, a większość rolet jest opuszczona. Litery PIONEER BUILDING — pozostałość po dawnym właścicielu, Pioneer Truck Factory — owijają się za rogiem wyblakłym czerwonym lakierem.
Wewnątrz przestrzeń jest jasna i przewiewna. Piętro posiada kilka przestrzeni wspólnych oraz dwie sale konferencyjne. Jeden, odpowiedni rozmiar na większe spotkania, nazywa się Odyseja Kosmiczna; druga, bardziej uwielbiona budka telefoniczna, nazywa się Infinite Jest. To jest przestrzeń, do której jestem ograniczony podczas mojej wizyty. Nie wolno mi zwiedzać drugiego i trzeciego piętra, na których znajdują się biurka wszystkich, kilka robotów i prawie wszystko, co ciekawe. Kiedy przychodzi czas na wywiady, ludzie schodzą do mnie. Pracownik pilnuje mnie pomiędzy spotkaniami.
Budynek pioniera. wikimedia commons / tfinc
W piękny, błękitny dzień, kiedy przyjeżdżam na spotkanie z Brockmanem, wygląda na zdenerwowanego i ostrożnego. Nigdy wcześniej nie daliśmy komuś tak dużego dostępu, mówi z niepewnym uśmiechem. Nosi zwykłe ubrania i, jak wiele osób w OpenAI, ma bezkształtną fryzurę, która wydaje się odzwierciedlać sprawną, pozbawioną fanaberii mentalność.
31-letni Brockman dorastał na farmie hobbystycznej w Północnej Dakocie i miał, jak to opisuje, spokojne dzieciństwo. Doi krowy, zbierał jajka i zakochał się w matematyce podczas samodzielnej nauki. W 2008 roku wstąpił na Harvard z zamiarem uzyskania podwójnej specjalizacji z matematyki i informatyki, ale szybko stał się niespokojny, aby wejść do prawdziwego świata. Zrezygnował rok później, zamiast tego wstąpił do MIT, a następnie zrezygnował ponownie w ciągu kilku miesięcy. Za drugim razem jego decyzja była ostateczna. Kiedy przeniósł się do San Francisco, nigdy nie oglądał się za siebie.
Brockman zabiera mnie na lunch, aby usunąć mnie z biura podczas spotkania całej firmy. W kawiarni po drugiej stronie ulicy mówi o OpenAI z intensywnością, szczerością i zachwytem, często kreśląc paralele między jego misją a przełomowymi osiągnięciami historii nauki. Łatwo docenić jego charyzmę jako lidera. Przypominając pamiętne fragmenty przeczytanych książek, skupia się na ulubionej opowieści Doliny, wyścigu Ameryki na księżyc. (Jedną z historii, którą naprawdę kocham, jest historia woźnego, mówi, nawiązując do słynnej, ale prawdopodobnie apokryficznej opowieści. Kennedy podchodzi do niego i pyta go: „Co ty robisz?”, a on odpowiada: „Och, jestem pomagając umieścić człowieka na Księżycu!”) Jest też kolej transkontynentalna (był to właściwie ostatni megaprojekt wykonany całkowicie ręcznie… projekt na ogromną skalę, który był całkowicie ryzykowny) i żarowa żarówka Thomasa Edisona (Komitet wybitnych ekspertów powiedział: To się nigdy nie uda”, a rok później wysłał).
Greg Brockman, współzałożyciel i CTO. Zegar Christie Hemm
Brockman zdaje sobie sprawę z hazardu, jaki podjął OpenAI – i zdaje sobie sprawę, że wywołuje on cynizm i analizę. Ale z każdym odniesieniem jego przesłanie jest jasne: ludzie mogą być sceptyczni, ile tylko chcą. To wielka cena za odwagę.
Ci, którzy dołączyli do OpenAI na początku, pamiętają energię, podekscytowanie i poczucie celu. Zespół był niewielki — utworzony dzięki gęstej sieci powiązań — a kierownictwo pozostało luźne i nieformalne. Wszyscy wierzyli w płaską strukturę, w której pomysły i debata byłyby mile widziane od każdego.
Piżmo odegrało niemałą rolę w budowaniu zbiorowej mitologii. Sposób, w jaki mi to przedstawił, brzmiał: „Słuchaj, rozumiem. AGI może być daleko, ale co, jeśli nie jest? – wspomina Pieter Abbeel, profesor na Uniwersytecie Kalifornijskim w Berkeley, który pracował tam wraz z kilkoma swoimi studentami przez pierwsze dwa lata. „A co, jeśli jest to choćby 1% lub 0,1% szansy, że stanie się to w ciągu najbliższych 5–10 lat? Czy nie powinniśmy się nad tym zastanowić bardzo uważnie?”. To do mnie przemówiło, mówi.
Ale nieformalność doprowadziła również do niejasności kierunku. W maju 2016 roku Altman i Brockman odwiedzili Dario Amodei, wówczas badacz Google, który powiedział im, że nikt nie rozumie, co robią. Na koncie opublikowanym w nowojorczyk , nie było jasne, czy sam zespół też wiedział. Naszym celem w tej chwili… jest zrobienie najlepszej rzeczy, jaką można zrobić, powiedział Brockman. To trochę niejasne.
Mimo to Amodei dołączył do zespołu kilka miesięcy później. Jego siostra, Daniela Amodei, pracowała wcześniej z Brockmanem i znał już wielu członków OpenAI. Po dwóch latach, na prośbę Brockmana, dołączyła również Daniela. Wyobraź sobie – zaczynaliśmy od niczego, mówi Brockman. Po prostu mieliśmy ten ideał, że chcieliśmy, aby AGI szło dobrze.
Podczas naszego lunchu Brockman recytuje kartę jak pismo święte, wyjaśniając każdy aspekt istnienia firmy.
W marcu 2017 r., 15 miesięcy później, kierownictwo zdało sobie sprawę, że nadszedł czas na większą koncentrację. Tak więc Brockman i kilku innych kluczowych członków rozpoczęło opracowywanie wewnętrznego dokumentu, aby wytyczyć drogę do AGI. Ale proces szybko ujawnił fatalną wadę. Badając trendy w tej dziedzinie, zespół zdał sobie sprawę, że pozostawanie organizacją non-profit jest finansowo nie do utrzymania. Zasoby obliczeniowe, z których inni w tej dziedzinie korzystali, aby osiągnąć przełomowe wyniki, podwoiły się co 3,4 miesiące . Stało się jasne, że aby pozostać na czasie, mówi Brockman, potrzebowaliby wystarczającego kapitału, aby dorównać lub przekroczyć ten wykładniczy wzrost. To wymagało nowego modelu organizacyjnego, który mógłby szybko gromadzić pieniądze, a jednocześnie w jakiś sposób pozostać wiernym misji.
Bez wiedzy opinii publicznej – i większości pracowników – właśnie z myślą o tym wydano OpenAI jego statut w kwietniu 2018 r. Dokument ponownie wyartykułował podstawowe wartości laboratorium, ale subtelnie zmienił język, aby odzwierciedlić nową rzeczywistość. Oprócz zaangażowania w unikanie umożliwiania korzystania z AI lub AGI, które szkodzą ludzkości lub nadmiernie koncentrują władzę, podkreślono również potrzebę zasobów. Przewidujemy, że będziemy musieli zgromadzić znaczne zasoby, aby wypełnić naszą misję, ale zawsze będziemy sumiennie działać, aby zminimalizować konflikty interesów między naszymi pracownikami i interesariuszami, które mogłyby zagrozić szerokim korzyściom.
Spędziliśmy dużo czasu na wewnętrznych iteracjach z pracownikami, aby przekonać całą firmę do zestawu zasad, mówi Brockman. Rzeczy, które musiały pozostać niezmienne, nawet jeśli zmieniliśmy naszą strukturę.
Od lewej do prawej: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (członek personelu technicznego), Greg Brockman, Alec Radford (kierownik zespołu językowego), Christine Payne (członek personelu technicznego), Ilya Sutskever i Chris Berner (kierownik infrastruktury). Christie Hemm Klok
Ta zmiana struktury nastąpiła w marcu 2019 r. OpenAI pozbyło się statusu czysto non-profit, ustanawiając ramię ograniczonego zysku – for-profit z 100-krotnym limitem zwrotów dla inwestorów, aczkolwiek nadzorowanym przez zarząd będący częścią organizacji non-profit. Niedługo potem ogłosił miliardową inwestycję Microsoftu (choć nie ujawnił, że została ona podzielona między gotówkę i kredyty na Azure, platformę przetwarzania w chmurze Microsoftu).
Jak można się było spodziewać, ten ruch wywołał falę oskarżeń, że OpenAI wraca do swojej misji. W poście na Wiadomości hakerskie wkrótce po ogłoszeniu użytkownik zapytał, jak w ogóle ograniczałby 100-krotny limit: pierwsi inwestorzy w Google otrzymali około 20-krotny zwrot ze swojego kapitału, napisali. Założysz się, że będziesz miał strukturę korporacyjną, która zwraca rzędy wielkości więcej niż Google… ale nie chcesz „nadmiernie koncentrować władzy”? Jak to będzie działać? Czym właściwie jest władza, jeśli nie koncentracją zasobów?
Przeprowadzka wstrząsnęła również wieloma pracownikami, którzy wyrazili podobne obawy. Aby złagodzić wewnętrzne niepokoje, kierownictwo napisało FAQ w ramach serii wysoce chronionych dokumentów przejściowych. Czy mogę zaufać OpenAI? zadano jedno pytanie. Tak, zaczęła się odpowiedź, po której następował akapit z wyjaśnieniem.
Karta jest podstawą OpenAI. Służy jako trampolina dla wszystkich strategii i działań laboratorium. Podczas naszego lunchu Brockman recytuje to jak pismo święte, wyjaśniając każdy aspekt istnienia firmy. (Nawiasem mówiąc, wyjaśnia w połowie jednej recytacji, myślę, że znam wszystkie te linijki, ponieważ spędziłem dużo czasu naprawdę ślęcząc nad nimi, aby je dokładnie zrozumieć. To nie tak, że czytałem to przed spotkaniem.)
W jaki sposób zapewnisz, że ludzie będą nadal wieść sensowne życie, gdy rozwiniesz bardziej zaawansowane możliwości? Jak pisaliśmy, uważamy, że jego skutkiem powinno być zapewnienie każdemu wolności gospodarczej, aby umożliwić im znalezienie nowych możliwości, których nie można sobie dziś wyobrazić. Jak zbudujesz swoją strukturę, aby równomiernie rozprowadzić AGI? Myślę, że narzędzie jest najlepszą analogią do naszej wizji. Ale znowu, wszystko to podlega czarterowi. Jak konkurujesz, aby dotrzeć do AGI jako pierwszy bez narażania bezpieczeństwa? Myślę, że jest to absolutnie ważne zachowanie równowagi, a naszym najlepszym strzałem jest to, co znajduje się w karcie.
9 KWIETNIA 2018 5 MINUT CZYTANIA OpenAI
Dla Brockmana sztywne przestrzeganie dokumentu jest tym, co sprawia, że struktura OpenAI działa. Dopasowanie wewnętrzne jest traktowane jako najważniejsze: wszyscy pracownicy etatowi muszą pracować w tym samym biurze, z kilkoma wyjątkami. Dla zespołu ds. polityki, zwłaszcza Jacka Clarka, reżysera, oznacza to życie podzielone między San Francisco i Waszyngton. Clark nie ma nic przeciwko – w rzeczywistości zgadza się z mentalnością. Mówi, że to chwile pośrednie, takie jak pora lunchu z kolegami, pomagają utrzymać wszystkich na tej samej stronie.
Pod wieloma względami to podejście wyraźnie się sprawdza: firma ma imponująco jednolitą kulturę. Pracownicy pracują po godzinach i nieustannie rozmawiają o swojej pracy poprzez posiłki i godziny towarzyskie; wielu chodzi na te same imprezy i podpisuje się pod racjonalną filozofią skuteczny altruizm . Opowiadają dowcipy, używając terminologii uczenia maszynowego, aby opisać swoje życie: Jaka jest funkcja twojego życia? Po co optymalizujesz? Wszystko jest w zasadzie funkcją minmax. Szczerze mówiąc, inni badacze sztucznej inteligencji również uwielbiają to robić, ale osoby zaznajomione z OpenAI zgadzają się: bardziej niż inni w tej dziedzinie pracownicy traktują badania nad sztuczną inteligencją nie jako pracę, ale jako tożsamość. (w listopadzie Brockman żonaty jego roczna dziewczyna, Anna, w biurze na tle kwiatów ułożonych w logo OpenAI. Sutskever działał jako urzędnik; ręka robota była nosicielem pierścienia.)
Ale w pewnym momencie, w połowie zeszłego roku, czarter stał się czymś więcej niż tylko pożywką do rozmów w porze lunchu. Wkrótce po przejściu na ograniczony zysk kierownictwo ustanowiło nową strukturę wynagrodzeń opartą częściowo na absorpcji misji przez każdego pracownika. Obok kolumn, takich jak wiedza inżynierska i kierunek badań, w zakładce arkusza kalkulacyjnego zatytułowanej Zunifikowana drabina techniczna, ostatnia kolumna przedstawia oczekiwania związane z kulturą na każdym poziomie. Poziom 3: Rozumiesz i uwewnętrzniasz kartę OpenAI. Poziom 5: Upewniasz się, że wszystkie projekty, nad którymi ty i twoi koledzy z zespołu pracujecie, są zgodne z statutem. Poziom 7: Jesteś odpowiedzialny za przestrzeganie i ulepszanie statutu oraz rozliczanie innych członków organizacji z tego samego.
Po raz pierwszy większość ludzi usłyszała o OpenAI 14 lutego 2019 r. Tego dnia laboratorium ogłoszony imponujące nowe badania: model, który może generować przekonujące eseje i artykuły za naciśnięciem jednego przycisku. Nakarm to zdanie od Władca Pierścieni albo początek (fałszywej) wiadomości o kradzieży sklepowej Miley Cyrus, który wypluwał akapit po akapicie tekstu w tym samym tonie.
Ale był też pewien haczyk: model, zwany GPT-2, był zbyt niebezpieczny, aby go opublikować, stwierdzili naukowcy. Gdyby tak potężna technologia wpadła w niepowołane ręce, można by ją łatwo wykorzystać do wytwarzania dezinformacji na ogromną skalę.
Reakcja naukowców była natychmiastowa. Niektórzy mówili, że OpenAI robił chwyt reklamowy. GPT-2 nie był wystarczająco zaawansowany, aby stanowić zagrożenie. A jeśli tak, to po co ogłaszać jego istnienie, a potem wykluczać publiczną kontrolę? Wyglądało na to, że OpenAI próbował wykorzystać panikę wokół sztucznej inteligencji, mówi Britt Paris, adiunkt na Rutgers University, który bada dezinformację generowaną przez sztuczną inteligencję.
Jack Clark, dyrektor ds. polityki. Zegar Christie Hemm
Do maja OpenAI zrewidowało swoje stanowisko i ogłosiło plany wydania etapowego. W ciągu kolejnych miesięcy sukcesywnie wypuszczał coraz potężniejsze wersje GPT-2. W międzyczasie współpracował również z kilkoma organizacjami badawczymi w celu zbadania potencjału nadużyć algorytmu i opracowania środków zaradczych. W końcu w listopadzie wydał pełny kod, po stwierdzeniu, że: powiedziało , jak dotąd nie ma mocnych dowodów niewłaściwego użycia.
Wśród ciągłych oskarżeń o poszukiwanie rozgłosu OpenAI upierał się, że GPT-2 nie był wyczynem kaskaderskim. Był to raczej starannie przemyślany eksperyment, uzgodniony po serii wewnętrznych dyskusji i debat. Konsensus był taki, że nawet jeśli tym razem była to lekka przesada, akcja stałaby się precedensem w prowadzeniu bardziej niebezpiecznych badań. Poza tym statut przewidywał, że obawy związane z bezpieczeństwem stopniowo zmuszą laboratorium do ograniczania w przyszłości tradycyjnego publikowania.
Był to również argument, który zespół ds. polityki starannie przedstawił w swoim wpis na blogu po sześciu miesiącach , o którym rozmawiali, gdy siedziałem na spotkaniu. Myślę, że jest to zdecydowanie część historii sukcesu, powiedział Miles Brundage, naukowiec zajmujący się badaniem polityki, podkreślając coś w dokumencie Google. Tematem tej sekcji powinno być: Zrobiliśmy ambitną rzecz, teraz niektórzy ją powielają, a oto kilka powodów, dla których było to korzystne.
Ale kampania medialna OpenAI z GPT-2 również podążała za ugruntowanym wzorcem, który wzbudził nieufność szerszej społeczności AI. Z biegiem lat duże, chwiejne ogłoszenia badawcze laboratorium były wielokrotnie oskarżane o podsycanie szumu wokół sztucznej inteligencji. Niejednokrotnie krytycy oskarżali również laboratorium o mówienie o jego wynikach do punktu błędnego scharakteryzowania. Z tych powodów wielu w tej dziedzinie ma tendencję do trzymania OpenAI na dystans.
Zdjęcia okładek publikacji naukowych OpenAI wiszą na ścianie biura. Christie Hemm Klok
To nie powstrzymało laboratorium od dalszego wykorzystywania zasobów w swoim publicznym wizerunku. Oprócz artykułów naukowych publikuje swoje wyniki w wysoko opracowanych wpisach na blogach firmowych, w których robi wszystko wewnętrznie, od pisania, przez produkcję multimediów, po projektowanie okładek do każdego wydania. W pewnym momencie zaczął też tworzyć dokument o jednym ze swoich projektów, aby rywalizować 90-minutowy film o AlphaGo . firmy DeepMind . W końcu przekształcił się w niezależną produkcję, którą Brockman i jego żona Anna obecnie częściowo finansują. (Zgodziłem się również wystąpić w filmie dokumentalnym, aby przedstawić techniczne wyjaśnienie i kontekst osiągnięć OpenAI. Nie otrzymałem za to wynagrodzenia.)
A wraz ze wzrostem blowbacku należy przeprowadzić wewnętrzne dyskusje, aby temu zaradzić. Pracownicy są sfrustrowani nieustanną krytyką z zewnątrz, a kierownictwo obawia się, że osłabi to wpływ laboratorium i zdolność do zatrudniania najlepszych talentów. Wewnętrzny dokument podkreśla ten problem i strategię jego rozwiązania: Aby mieć wpływ na politykę na szczeblu rządowym, musimy być postrzegani jako najbardziej zaufane źródło badań nad ML [uczeniem maszynowym] i AGI, mówi linia pod Polityką Sekcja. Powszechne wsparcie i wsparcie ze strony społeczności naukowej jest nie tylko niezbędne do zdobycia takiej reputacji, ale wzmocni nasz przekaz. Inny, zatytułowany Strategia, brzmi: „Wyraźnie traktuj społeczność ML jako interesariuszy komunikacyjnych. Zmień nasz ton i komunikaty zewnętrzne tak, abyśmy antagonizowali je tylko wtedy, gdy świadomie się na to zdecydujemy”.
Był jeszcze jeden powód, dla którego GPT-2 wywołał tak ostry luz. Ludzie czuli, że OpenAI po raz kolejny wycofuje się ze swoich wcześniejszych obietnic otwartości i przejrzystości. Z wiadomością o przekształceniu nastawionym na zysk miesiąc później, wstrzymane badania wzbudziły w ludziach jeszcze większą podejrzliwość. Czy to możliwe, że technologia była trzymana w tajemnicy w ramach przygotowań do licencjonowania jej w przyszłości?
Ilya Sutskever, współzałożyciel i główny naukowiec. Christie Hemm Klok
Ale niewiele osób wiedziało, że nie był to jedyny raz, kiedy OpenAI zdecydowało się ukryć swoje badania. W rzeczywistości inne wysiłki były całkowicie utajnione.
Istnieją dwie dominujące teorie techniczne dotyczące tego, czego potrzeba, aby osiągnąć AGI. W jednym wszystkie niezbędne techniki już istnieją; to tylko kwestia wymyślenia, jak je skalować i składać. W drugim potrzebny jest całkowicie nowy paradygmat; głębokie uczenie, obecnie dominująca technika w sztucznej inteligencji, nie wystarczy.
Większość badaczy plasuje się gdzieś pomiędzy tymi skrajnościami, ale OpenAI konsekwentnie zasiada prawie wyłącznie na końcu spektrum skali i montażu. Większość jego przełomowych odkryć była wynikiem zatopienia znacznie większych zasobów obliczeniowych w innowacjach technicznych opracowanych w innych laboratoriach.
Brockman i Sutskever zaprzeczają, że jest to ich jedyna strategia, ale ściśle strzeżone badania laboratoryjne sugerują coś innego. Zespół o nazwie Foresight przeprowadza eksperymenty, aby sprawdzić, jak daleko mogą rozwinąć możliwości sztucznej inteligencji, trenując istniejące algorytmy przy użyciu coraz większej ilości danych i mocy obliczeniowej. Dla kierownictwa, wyniki tych eksperymentów potwierdziły jego instynkt, że najlepszym podejściem jest kompleksowa strategia laboratorium oparta na obliczeniach.
Przez około sześć miesięcy wyniki te były ukrywane przed opinią publiczną, ponieważ OpenAI postrzega tę wiedzę jako swoją główną przewagę konkurencyjną. Pracownicy i stażyści zostali wyraźnie poinstruowani, aby ich nie ujawniać, a ci, którzy odeszli, podpisali umowy o zachowaniu poufności. Dopiero w styczniu zespół, bez typowych fanfar, po cichu napisał papier na jednej z podstawowych baz danych typu open source do badań nad sztuczną inteligencją. Ludzie, którzy doświadczyli intensywnej tajemnicy wokół tego wysiłku, nie wiedzieli, co zrobić z tą zmianą. Szczególnie, inny papier z podobnymi wynikami od różnych badaczy zostały opublikowane kilka miesięcy wcześniej.
Christie Tam Klok
Na początku ten poziom tajemnicy nigdy nie był intencją, ale od tego czasu stał się nawykiem. Z biegiem czasu przywództwo odeszło od swojego pierwotnego przekonania, że otwartość jest najlepszym sposobem na zbudowanie korzystnego AGI. Teraz ci, którzy pracują w laboratorium lub pracują w laboratorium, przekonali się, jak ważne jest zachowanie ciszy. Obejmuje to nigdy nie rozmawianie z reporterami bez wyraźnej zgody zespołu ds. komunikacji. Po moich pierwszych wizytach w biurze, kiedy zacząłem kontaktować się z różnymi pracownikami, otrzymałem e-mail od szefa komunikacji z przypomnieniem, że wszystkie prośby o rozmowę muszą przejść przez nią. Kiedy odmówiłem, mówiąc, że podważyłoby to słuszność tego, co ludzie mi powiedzieli, poinstruowała pracowników, aby informowali ją o moim zasięgu. Wiadomość na Slacku od Clarka, byłego dziennikarza, pochwaliła później ludzi za to, że trzymali się mocno, gdy reporter węszył wokół.
W oświadczeniu odpowiadającym na tę zaostrzoną tajemnicę rzecznik OpenAI odniósł się do części jej statutu. Spodziewamy się, że kwestie bezpieczeństwa i ochrony ograniczą nasze tradycyjne publikowanie w przyszłości, stwierdza sekcja, przy jednoczesnym zwiększeniu znaczenia dzielenia się badaniami nad bezpieczeństwem, polityką i standardami. Rzecznik dodał również: Dodatkowo, każda z naszych publikacji przechodzi przez proces zagrożenia informacyjnego w celu oceny tych kompromisów i chcemy powoli publikować nasze wyniki, aby zrozumieć potencjalne zagrożenia i skutki, zanim zaczniemy działać na wolności.
Jedną z największych tajemnic jest projekt, nad którym obecnie pracuje OpenAI. Źródła opisały mi to jako kulminację poprzednich czterech lat badań: system AI wyszkolony na obrazach, tekstach i innych danych przy użyciu ogromnych zasobów obliczeniowych. Mały zespół został przydzielony do początkowego wysiłku, z oczekiwaniem, że inne zespoły, wraz z ich pracą, w końcu się przyłączą. W dniu, w którym ogłoszono to na spotkaniu całej firmy, stażyści nie mogli uczestniczyć. Osoby zaznajomione z planem oferują wyjaśnienie: kierownictwo uważa, że jest to najbardziej obiecujący sposób na dotarcie do AGI.
Człowiekiem kierującym strategią OpenAI jest Dario Amodei, były Googler, który obecnie pełni funkcję dyrektora ds. badań. Kiedy go spotykam, wydaje mi się bardziej niespokojną wersją Brockmana. Ma podobną szczerość i wrażliwość, ale ma atmosferę niespokojnej nerwowej energii. Kiedy mówi, wygląda na zdystansowanego, marszczy brwi, ręka z roztargnieniem szarpie jego loki.
Amodei dzieli strategię laboratorium na dwie części. Pierwszą część, która dyktuje, w jaki sposób planuje osiągnąć zaawansowane możliwości sztucznej inteligencji, porównuje do portfela zakładów inwestora. Różne drużyny w OpenAI rozgrywają różne zakłady. Na przykład zespół językowy ma swoje pieniądze na teorii postulującej, że sztuczna inteligencja może rozwinąć znaczące zrozumienie świata poprzez zwykłą naukę języka. Zespół robotyki natomiast rozwija przeciwną teorię, że inteligencja wymaga fizycznego ucieleśnienia, aby się rozwinąć.
Podobnie jak w portfelu inwestora, nie każdy zakład ma taką samą wagę. Ale dla celów naukowego rygoru, wszystko powinno zostać przetestowane przed wyrzuceniem. Amodei wskazuje GPT-2, z jego niezwykle realistycznymi tekstami generowanymi automatycznie, jako przykład tego, dlaczego ważne jest, aby zachować otwarty umysł. Mówi, że czysty język to kierunek, do którego branża, a nawet niektórzy z nas, odnosili się nieco sceptycznie. Ale teraz jest jak: „Wow, to naprawdę obiecujące”.
Z biegiem czasu, gdy różne zakłady wzrosną ponad inne, będą przyciągać bardziej intensywne wysiłki. Następnie zapylą krzyżowo i połączą się. Celem jest posiadanie coraz mniejszej liczby zespołów, które ostatecznie załamują się w jednym kierunku technicznym dla AGI. Jest to dokładnie ten proces, który rzekomo już rozpoczął najnowszy ściśle tajny projekt OpenAI.
Dario Amodei, dyrektor ds. badań. Zegar Christie Hemm
Druga część strategii, wyjaśnia Amodei, koncentruje się na tym, jak zapewnić bezpieczeństwo tak zaawansowanych systemów sztucznej inteligencji. Obejmuje to upewnienie się, że odzwierciedlają wartości ludzkie, mogą wyjaśniać logikę ich decyzji i mogą uczyć się bez krzywdzenia ludzi w tym procesie. Zespoły zajmujące się każdym z tych celów bezpieczeństwa starają się opracować metody, które można zastosować w projektach w miarę ich dojrzewania. Techniki opracowane przez zespół wyjaśniający mogą na przykład zostać wykorzystane do ujawnienia logiki stojącej za konstrukcjami zdań GPT-2 lub ruchami robota.
Amodei przyznaje, że ta część strategii jest nieco przypadkowa, opiera się mniej na ustalonych teoriach w tej dziedzinie, a bardziej na przeczuciach. W pewnym momencie zbudujemy AGI i do tego czasu chcę czuć się dobrze z tymi systemami działającymi na świecie – mówi. Wszędzie tam, gdzie aktualnie nie czuję się dobrze, tworzę i rekrutuję zespół, aby się na tym skupić.
Mimo całej pogoni za rozgłosem i zachowania tajemnicy, Amodei wygląda na szczerego, kiedy to mówi. Wydaje się, że niepokoi go możliwość porażki.
Jesteśmy w niezręcznej sytuacji: nie wiemy, jak wygląda AGI, mówi. Nie wiemy, kiedy to się stanie. Następnie z uważną samoświadomością dodaje: Umysł każdej osoby jest ograniczony. Najlepszą rzeczą, jaką znalazłem, jest zatrudnienie innych badaczy bezpieczeństwa, którzy często mają wizje inne niż naturalna rzecz, o której mogłem pomyśleć. Chcę tego rodzaju różnorodności i różnorodności, ponieważ tylko w ten sposób można wszystko złapać.
Chodzi o to, że OpenAI w rzeczywistości ma niewielką różnorodność i różnorodność – fakt, który dotarł do mnie podczas mojego trzeciego dnia w biurze. Podczas jednego lunchu, który dostałem możliwość spotkania się z pracownikami, z dużym marginesem usiadłem przy najbardziej widocznie zróżnicowanym stole. Niecałą minutę później zdałem sobie sprawę, że jedzący tam ludzie nie byli w rzeczywistości pracownikami OpenAI. Neuralink, startup Muska pracujący nad interfejsami komputer-mózg, dzieli ten sam budynek i jadalnię.
Daniela Amodei, szefowa działu kadr. Christie Hemm Klok
Według rzecznika laboratorium, spośród ponad 120 pracowników 25% to kobiety lub osoby niebinarne. W zespole wykonawczym są również dwie kobiety, a zespół kierowniczy składa się w 30% z kobiet, powiedziała, chociaż nie określiła, kto był zaliczany do tych zespołów. (Wszyscy czterej dyrektorzy wyższego szczebla, w tym Brockman i Altman, to biali mężczyźni. Spośród ponad 112 pracowników, których zidentyfikowałem na LinkedIn i innych źródłach, przytłaczająca liczba była białymi lub Azjatami.)
Szczerze mówiąc, ten brak różnorodności jest typowy dla sztucznej inteligencji. W zeszłym roku raport z nowojorskiego instytutu badawczego AI Now ustalił, że kobiety stanowiły tylko 18% autorów na wiodących konferencjach poświęconych AI, 20% profesury AI oraz 15% i 10% pracowników badawczych na Facebooku i Google. Rzecznik OpenAI powiedział, że zdecydowanie jest jeszcze wiele do zrobienia w środowisku akademickim i przemysłowym. Różnorodność i integracja to coś, co traktujemy poważnie i nieustannie pracujemy nad poprawą, pracując nad takimi inicjatywami, jak WiML, Girl Geek i nasz program Scholars.
Rzeczywiście, OpenAI próbował poszerzyć swoją pulę talentów. Rozpoczęła zdalny program Scholars dla niedostatecznie reprezentowanych mniejszości w 2018 roku. Ale tylko dwóch z pierwszych ośmiu naukowców zostało pełnoetatowymi pracownikami, mimo że zgłaszali pozytywne doświadczenia. Najczęstszy powód odmowy pobytu: wymóg zamieszkania w San Francisco. Dla Nadji Rhodes, byłej uczonej, która jest obecnie głównym inżynierem ds. uczenia maszynowego w firmie z siedzibą w Nowym Jorku, miasto było po prostu zbyt mało zróżnicowane.
Ale jeśli różnorodność jest problemem dla całej branży AI, jest to coś bardziej egzystencjalnego dla firmy, której misją jest równomierne rozpowszechnianie technologii wśród wszystkich. Faktem jest, że brakuje w nim reprezentacji grup najbardziej zagrożonych wykluczeniem.
Nie jest to wcale jasne, po prostu w jaki sposób OpenAI planuje rozpowszechniać korzyści płynące z AGI całej ludzkości, jak często mówi Brockman, powołując się na swoją misję. Kierownictwo mówi o tym w niejasny sposób i niewiele zrobiło, aby doprecyzować szczegóły. (w styczniu Instytut Przyszłości Ludzkości na Uniwersytecie Oksfordzkim) opublikował raport we współpracy z laboratorium, proponując dystrybucję korzyści poprzez dystrybucję procentu zysków. Ale autorzy przytoczyli istotne nierozwiązane kwestie dotyczące… sposobu, w jaki zostanie zaimplementowane.) To mój największy problem z OpenAI – mówi były pracownik, który wypowiadał się pod warunkiem zachowania anonimowości.
Christie Tam Klok
Wykorzystują wyrafinowane techniki techniczne, aby spróbować rozwiązać problemy społeczne za pomocą sztucznej inteligencji, powtarza Britt Paris z Rutgers. Wygląda na to, że tak naprawdę nie mają możliwości zrozumienia społeczności. Po prostu rozumieją, że jest to rodzaj lukratywnego miejsca, w którym można się teraz pozycjonować.
Brockman zgadza się, że zarówno wiedza techniczna, jak i społeczna będą ostatecznie niezbędne, aby OpenAI mógł zrealizować swoją misję. Nie zgadza się jednak z tym, że problemy społeczne trzeba rozwiązywać od samego początku. Jak dokładnie piec etykę lub te inne perspektywy? A kiedy je sprowadzasz i jak? Jedną ze strategii, którą możesz zastosować, jest od samego początku próba upieczenia wszystkiego, czego możesz potrzebować, mówi. Ja nie myśleć że ta strategia ma szanse powodzenia.
Pierwszą rzeczą, którą należy się dowiedzieć, mówi, jest to, jak będzie wyglądać AGI. Dopiero wtedy nadejdzie czas, aby upewnić się, że rozumiemy konsekwencje.
Zeszłego lata, w kilka tygodni po przejściu na model ograniczonego zysku i zastrzyku 1 miliarda dolarów od Microsoftu, kierownictwo zapewniło pracowników, że te aktualizacje nie zmienią funkcjonalnie podejścia OpenAI do badań. Microsoft był dobrze dostosowany do wartości laboratorium, a wszelkie wysiłki na rzecz komercjalizacji byłyby dalekie; pogoń za fundamentalnymi pytaniami nadal pozostawałaby w centrum pracy.
Przez jakiś czas te zapewnienia wydawały się być prawdziwe, a projekty trwały tak, jak były. Wielu pracowników nawet nie wiedziało, jakie obietnice, jeśli w ogóle, zostały złożone firmie Microsoft.
Jednak w ostatnich miesiącach presja komercjalizacji nasiliła się, a potrzeba tworzenia dochodowych badań nie wydaje się już czymś w odległej przyszłości. Dzieląc się swoją wizją laboratorium na rok 2020 prywatnie z pracownikami, przesłanie Altmana jest jasne: OpenAI musi zarabiać pieniądze, aby prowadzić badania, a nie na odwrót.
Kierownictwo powiedziało, że jest to trudny, ale konieczny kompromis – taki, który musi zarobić z powodu braku bogatych darczyńców filantropijnych. Natomiast AI2 z siedzibą w Seattle, organizacja non-profit, która ambitnie rozwija podstawowe badania nad sztuczną inteligencją, otrzymuje fundusze z samowystarczalnej (przynajmniej w przewidywalnej przyszłości) puli pieniędzy pozostawionych przez nieżyjącego już Paula Allena, miliardera najbardziej znanego ze współzałożycieli Microsoft.
Ale prawda jest taka, że OpenAI stoi przed tym kompromisem nie tylko dlatego, że nie jest bogaty, ale także dlatego, że dokonał strategicznego wyboru, aby spróbować dotrzeć do AGI przed kimkolwiek innym. Ta presja zmusza ją do podejmowania decyzji, które wydają się coraz bardziej oddalać od pierwotnej intencji. Skłania się do szumu w pośpiechu, aby przyciągnąć fundusze i talenty, strzeże swoich badań w nadziei na utrzymanie przewagi i goni za ciężką obliczeniowo strategią — nie dlatego, że jest postrzegana jako jedyna droga do AGI, ale dlatego, że wydaje się najszybsza .
Jednak OpenAI jest nadal bastionem talentów i najnowocześniejszych badań, wypełnionym ludźmi, którzy szczerze dążą do pracy dla dobra ludzkości. Innymi słowy, wciąż ma w sobie najważniejsze elementy i jest jeszcze czas, żeby to zmienić.
Pod koniec mojego wywiadu z Rhodesem, byłym zdalnym naukowcem, pytam ją o jedną rzecz dotyczącą OpenAI, której nie powinienem pominąć w tym profilu. Chyba moim zdaniem są problemy, zaczyna z wahaniem. Niektóre z nich pochodzą być może ze środowiska, z którym się borykają; niektóre z nich pochodzą od ludzi, których przyciąga, i od innych, których pomija.
Ale dla mnie wydaje mi się, że robią coś trochę dobrze, mówi. Mam wrażenie, że ludzie tam usilnie starają się.
Aktualizacja: Wprowadziliśmy pewne zmiany w tej historii po tym, jak OpenAI poprosił nas o wyjaśnienie, że kiedy Greg Brockman powiedział, że nie sądzi, aby można było wypiekać etykę w… od samego początku, kiedy rozwijał sztuczną inteligencję, chciał, aby oznaczało to, że pytania etyczne nie mogą być rozwiązane od początku, a nie żeby nie można było się do nich odnieść od początku. Poza tym, że po odejściu z Harvardu przeniósł się prosto do MIT, zamiast czekać rok. Poza tym, że wychował się nie na farmie, ale „na farmie hobbystycznej”. Brockman uważa to rozróżnienie za ważne.
Ponadto wyjaśniliśmy, że chociaż OpenAI rzeczywiście „zrezygnowało ze statusu organizacji non-profit”, zarząd, który jest częścią organizacji non-profit, nadal ją nadzoruje i że OpenAI publikuje swoje badania w formie wpisów na blogach firmowych, a nie w zamiast artykułów naukowych. Poprawiliśmy także datę publikacji artykułu przez zewnętrznych badaczy oraz afiliację Petera Eckersleya (byłego, nie obecnego dyrektora ds. badań w Partnership on AI, z którego niedawno odszedł).