AI zmaga się z kryzysem replikacji

Giganci technologiczni dominują w badaniach, ale granica między prawdziwym przełomem a prezentacją produktów może być niewyraźna. Niektórzy naukowcy mają już dość.





  • Czy Douglas Niebo strona archiwum
12 listopada 2020 r.

W zeszłym miesiącu Natura opublikowała a potępiająca odpowiedź napisany przez 31 naukowców do badanie z Google Health który ukazał się w czasopiśmie na początku tego roku. Google opisywał udane próby sztucznej inteligencji, która szukała oznak raka piersi w obrazach medycznych. Jednak według krytyków zespół Google dostarczył tak mało informacji o swoim kodzie i sposobie jego testowania, że ​​badanie nie było niczym innym jak promowaniem zastrzeżonej technologii.

Nie mogliśmy tego dłużej znieść, mówi Benjamin Haibe-Kains, główny autor odpowiedzi, który bada genomikę obliczeniową na Uniwersytecie w Toronto. Nie chodzi tu w szczególności o to badanie — to trend, którego jesteśmy świadkami od wielu lat, który zaczął nas naprawdę niepokoić.

Haibe-Kains i jego koledzy należą do rosnącej liczby naukowców, którzy sprzeciwiają się postrzeganemu brakowi przejrzystości w badaniach nad sztuczną inteligencją. Kiedy zobaczyliśmy ten artykuł z Google, zdaliśmy sobie sprawę, że jest to kolejny przykład bardzo głośnego czasopisma publikującego bardzo ekscytujące badanie, które nie ma nic wspólnego z nauką, mówi. To bardziej reklama fajnej technologii. Tak naprawdę nic z tym nie możemy zrobić.



Nauka opiera się na fundamencie zaufania, które zazwyczaj obejmuje udostępnianie wystarczających szczegółów na temat prowadzenia badań, aby umożliwić innym ich powielanie, weryfikację wyników dla siebie. W ten sposób nauka samokoryguje i odsiewa wyniki, które się nie sprawdzają. Replikacja pozwala również innym budować na tych wynikach, pomagając rozwijać się w tej dziedzinie. Nauka, której nie można powielić, odchodzi na dalszy plan.

Przynajmniej taki jest pomysł. W praktyce niewiele badań jest w pełni replikowanych, ponieważ większość badaczy jest bardziej zainteresowana uzyskiwaniem nowych wyników niż odtwarzaniem starych. Ale w dziedzinach takich jak biologia i fizyka – i ogólnie informatyka – od badaczy zazwyczaj oczekuje się dostarczenia informacji potrzebnych do ponownego przeprowadzenia eksperymentów, nawet jeśli te powtórki są rzadkie.

Ambitny noob

AI odczuwa upał z kilku powodów. Na początek jest nowicjuszem. Tak naprawdę stała się nauką eksperymentalną dopiero w ostatniej dekadzie, mówi Joelle Pineau, informatyk z Facebook AI Research i McGill University, który jest współautorem skargi. Kiedyś było to teoretyczne, ale coraz częściej przeprowadzamy eksperymenty – mówi. A nasze zaangażowanie w rzetelną metodologię pozostaje w tyle za ambicjami naszych eksperymentów.



Problem nie jest po prostu akademicki. Brak przejrzystości uniemożliwia prawidłową ocenę nowych modeli i technik sztucznej inteligencji pod kątem odporności, stronniczości i bezpieczeństwa. Sztuczna inteligencja szybko przechodzi z laboratoriów badawczych do rzeczywistych aplikacji, co ma bezpośredni wpływ na życie ludzi. Jednak modele uczenia maszynowego, które dobrze sprawdzają się w laboratorium, mogą zawieść w środowisku naturalnym — z potencjalnie niebezpiecznymi konsekwencjami. Replikacja przez różnych badaczy w różnych warunkach wcześniej ujawniłaby problemy, dzięki czemu sztuczna inteligencja stałaby się silniejsza dla wszystkich.

Powiązana historia

Sztuczna inteligencja ogólna: czy jesteśmy blisko i czy warto próbować?

Maszyna, która może myśleć jak człowiek, była wiodącą wizją badań nad sztuczną inteligencją od najwcześniejszych dni — i pozostaje jej najbardziej dzielącą ideą.

Sztuczna inteligencja już cierpi z powodu problemu z czarną skrzynką: może być niemożliwe dokładne określenie, w jaki sposób i dlaczego model uczenia maszynowego daje takie wyniki. Sprawę pogarsza brak przejrzystości w badaniach. Duże modele potrzebują jak największej liczby oczu, więcej osób testujących je i zastanawiających się, co je napędza. W ten sposób sztuczna inteligencja w opiece zdrowotnej jest bezpieczniejsza, AI w policja bardziej sprawiedliwa i chatboty mniej nienawistne.



To, co powstrzymuje proces replikacji AI tak, jak powinno, to brak dostępu do trzech rzeczy: kodu, danych i sprzętu. Według Raport o stanie SI w 2020 r. , dobrze sprawdzona coroczna analiza tej dziedziny przeprowadzona przez inwestorów Nathana Benaicha i Iana Hogartha, tylko 15% badań nad sztuczną inteligencją udostępnia swój kod. Badacze branżowi są większymi przestępcami niż ci związani z uniwersytetami. W szczególności, raport wzywa OpenAI i DeepMind do trzymania kodu w tajemnicy.

Następnie pojawia się rosnąca przepaść między tymi, którzy mają, a tymi, których nie ma, jeśli chodzi o dwa filary sztucznej inteligencji, danych i sprzętu. Dane są często zastrzeżone, takie jak informacje zbierane przez Facebooka o swoich użytkownikach, lub wrażliwe, jak w przypadku osobistej dokumentacji medycznej. A giganci technologiczni prowadzą coraz więcej badań nad ogromnymi, drogimi klastrami komputerów, do których niewiele uniwersytetów czy mniejszych firm ma dostęp do zasobów.

Weźmy jeden przykład, trenowanie generatora języka GPT-3 to Szacuje się, że będzie kosztować OpenAI od 10 do 12 milionów dolarów — i to tylko ostateczny model, nie wliczając kosztów opracowania i szkolenia jego prototypów. Prawdopodobnie można pomnożyć tę liczbę przez co najmniej jeden lub dwa rzędy wielkości, mówi Benaich, założyciel Air Street Capital, firmy VC, która inwestuje w start-upy AI. Tylko niewielka garstka dużych firm technologicznych może sobie pozwolić na taką pracę, mówi: Nikt inny nie może tak po prostu przeznaczać ogromnych budżetów na te eksperymenty.



Tempo postępu jest oszałamiające, co roku publikowane są tysiące artykułów. Ale dopóki naukowcy nie wiedzą, którym z nich ufać, trudno będzie posunąć się do przodu. Replikacja pozwala innym badaczom sprawdzić, czy wyniki nie zostały wybrane i czy nowe techniki sztucznej inteligencji naprawdę działają zgodnie z opisem. Coraz trudniej jest stwierdzić, które wyniki są wiarygodne, a które nie, mówi Pineau.

Co można zrobić? Jak wielu badaczy sztucznej inteligencji, Pineau dzieli swój czas między laboratoria uniwersyteckie i korporacyjne. Od kilku lat jest siłą napędową zmian w sposobie publikowania badań nad sztuczną inteligencją. Na przykład w zeszłym roku pomogła wprowadzić listę kontrolną rzeczy, które badacze muszą dostarczyć, w tym kod i szczegółowe opisy eksperymentów, kiedy przesyłają artykuły na NeurIPS, jedną z największych konferencji AI.

Replikacja jest nagrodą samą w sobie

Pineau pomógł również uruchomić kilka wyzwań związanych z odtwarzalnością, w których naukowcy próbują powtórzyć wyniki opublikowanych badań. Uczestnicy wybierają artykuły, które zostały przyjęte na konferencję i rywalizują o ponowne przeprowadzenie eksperymentów, korzystając z dostarczonych informacji. Ale jedyną nagrodą jest uznanie.

Ten brak zachęty stanowi przeszkodę dla takich wysiłków w całej nauce, nie tylko w sztucznej inteligencji. Replikacja jest niezbędna, ale nie jest nagradzana. Jednym z rozwiązań jest zachęcenie uczniów do wykonania pracy. Od kilku lat Rosemary Ke, doktorantka w Mila, instytucie badawczym w Montrealu założonym przez Yoshuę Bengio, zorganizowała wyzwanie odtwarzalności gdzie uczniowie próbują powtórzyć badania przesłane do NeurIPS w ramach kursu uczenia maszynowego. Z kolei niektóre udane replikacje są recenzowane i publikowane w czasopiśmie ReScience.

Odtworzenie kolejnego artykułu od zera wymaga sporo wysiłku, mówi Ke. Wyzwanie odtwarzalności docenia ten wysiłek i daje uznanie ludziom, którzy wykonują dobrą pracę. Ke i inni rozpowszechniają również informacje na konferencjach poświęconych sztucznej inteligencji za pośrednictwem warsztatów, które mają zachęcić badaczy do uczynienia ich pracy bardziej przejrzystymi. W tym roku Pineau i Ke rozszerzyli wyzwanie dotyczące odtwarzalności na siedem najważniejszych konferencji AI, w tym ICML i ICLR.

Kolejnym naciskiem na przejrzystość jest Dokumenty z kodem projekt, założony przez badacza sztucznej inteligencji Roberta Stojnica, gdy był na Uniwersytecie w Cambridge. (Stojnic jest teraz kolegą Pineau na Facebooku). Uruchomiona jako samodzielna strona internetowa, na której badacze mogli połączyć badanie z kodem, który był z nią powiązany, w tym roku Papers with Code rozpoczęło współpracę z arXiv, popularnym serwerem preprintów. Od października wszystkie artykuły dotyczące uczenia maszynowego w arXiv zawierają sekcję Papers with Code, która zawiera bezpośrednie linki do kodu, który autorzy chcą udostępnić. Celem jest, aby dzielenie się stało się normą.

Czy takie wysiłki mają znaczenie? Pineau odkrył, że w zeszłym roku, kiedy wprowadzono listę kontrolną, wzrosła liczba badaczy zawierających kod z artykułami przesłanymi do NeurIPS od mniej niż 50% do około 75% . Tysiące recenzentów twierdzi, że użyło kodu do oceny zgłoszeń. A liczba uczestników wyzwań związanych z odtwarzalnością rośnie.

Pocenie szczegółów

Ale to dopiero początek. Haibe-Kains zwraca uwagę, że sam kod często nie wystarcza do ponownego przeprowadzenia eksperymentu. Budowanie modeli AI wiąże się z wprowadzaniem wielu drobnych zmian – dodawaniem parametrów tutaj, dostosowywaniem wartości tam. Każdy z nich może stanowić różnicę między działającym a niedziałającym modelem. Bez metadanych opisujących sposób uczenia i dostrajania modeli kod może być bezużyteczny. Diabeł naprawdę tkwi w szczegółach, mówi.

Nie zawsze jest też jasne, jaki kod należy udostępnić w pierwszej kolejności. Wiele laboratoriów używa specjalnego oprogramowania do uruchamiania swoich modeli; czasami jest to zastrzeżone. Trudno powiedzieć, ile z tego kodu pomocniczego należy również udostępnić, mówi Haibe-Kains.

Pineau nie przejmuje się takimi przeszkodami. Powinniśmy mieć naprawdę wysokie oczekiwania dotyczące udostępniania kodu, mówi. Udostępnianie danych jest trudniejsze, ale są tu też rozwiązania. Jeśli badacze nie mogą udostępnić swoich danych, mogą udzielić wskazówek, aby inni mogli zbudować podobne zbiory danych. Lub możesz mieć proces, w którym niewielka liczba niezależnych audytorów uzyskała dostęp do danych, weryfikując wyniki dla wszystkich innych, mówi Haibe-Kains.

Największym problemem jest sprzęt. Ale DeepMind twierdzi, że szeroko zakrojone badania, takie jak AlphaGo lub GPT-3, mają efekt spływania, w którym pieniądze wydawane przez bogate laboratoria w końcu prowadzą do wyników, które przynoszą korzyści wszystkim. Sztuczna inteligencja, która jest niedostępna dla innych badaczy na wczesnym etapie, ponieważ wymaga dużej mocy obliczeniowej, często staje się wydajniejsza – a tym samym bardziej dostępna – w miarę rozwoju. AlphaGo Zero przewyższył oryginalne AlphaGo, wykorzystując znacznie mniej zasobów obliczeniowych, mówi Koray Kavukcuoglu, wiceprezes ds. badań w DeepMind.

Teoretycznie oznacza to, że nawet jeśli replikacja jest opóźniona, przynajmniej jest nadal możliwa. Kavukcuoglu zauważa, że ​​Gian-Carlo Pascutto, belgijski programista w Mozilli, który w wolnym czasie pisze oprogramowanie do szachów i go, był w stanie odtworzyć wersję AlphaGo Zero o nazwie Leela Zero, korzystając z algorytmów przedstawionych przez DeepMind w swoich artykułach. Pineau uważa również, że sztandarowe badania, takie jak AlphaGo i GPT-3, są rzadkie. Większość badań nad sztuczną inteligencją przeprowadzana jest na komputerach, które są dostępne dla przeciętnego laboratorium, mówi. Problem nie dotyczy wyłącznie sztucznej inteligencji. Zarówno Pineau, jak i Benaich wskazują na fizykę cząstek elementarnych, gdzie niektóre eksperymenty można przeprowadzić tylko na drogich urządzeniach, takich jak Wielki Zderzacz Hadronów.

Jednak w fizyce laboratoria uniwersyteckie przeprowadzają wspólne eksperymenty na LHC. Eksperymenty z wielką sztuczną inteligencją są zazwyczaj przeprowadzane na sprzęcie, który jest własnością firm i jest przez nie kontrolowany. Ale nawet to się zmienia, mówi Pineau. Na przykład grupa o nazwie Compute Canada tworzy klastry obliczeniowe, aby umożliwić uniwersytetom prowadzenie dużych eksperymentów AI. Niektóre firmy, w tym Facebook, również dają uczelniom ograniczony dostęp do swojego sprzętu. Nie do końca tam jest, mówi. Ale niektóre drzwi się otwierają.

Haibe-Kains jest mniej przekonany. Kiedy poprosił zespół Google Health o udostępnienie kodu sztucznej inteligencji do badań przesiewowych w kierunku raka, powiedziano mu, że potrzebuje więcej testów. Zespół powtarza to uzasadnienie w formalna odpowiedź na krytykę Haibe-Kainsa, również opublikowaną w Nature: Zamierzamy poddać nasze oprogramowanie szeroko zakrojonym testom przed jego użyciem w środowisku klinicznym, współpracując z pacjentami, dostawcami i organami regulacyjnymi w celu zapewnienia skuteczności i bezpieczeństwa. Naukowcy powiedzieli również, że nie mają pozwolenia na udostępnianie wszystkich danych medycznych, z których korzystali.

To nie wystarczy, mówi Haibe-Kains: Jeśli chcą zbudować z tego produkt, to całkowicie rozumiem, że nie ujawnią wszystkich informacji. Uważa jednak, że jeśli publikujesz w czasopiśmie naukowym lub na konferencji, masz obowiązek opublikować kod, który inni mogą uruchomić. Czasami może to oznaczać udostępnianie wersji, która jest wytrenowana na mniejszej ilości danych lub używa tańszego sprzętu. Może dać gorsze rezultaty, ale ludzie będą mogli przy nim majstrować. Granice między tworzeniem produktu a prowadzeniem badań zacierają się z minuty na minutę, mówi Haibe-Kains. Myślę, że jako pole przegramy.

Nawyki badawcze umierają ciężko

Jeśli firmy będą krytykowane za publikacje, to po co w ogóle to robić? Oczywiście istnieje pewien stopień public relations. Ale głównym powodem jest to, że najlepsze laboratoria korporacyjne są wypełnione badaczami z uniwersytetów. Do pewnego stopnia kultura w miejscach takich jak Facebook AI Research, DeepMind i OpenAI jest kształtowana przez tradycyjne nawyki akademickie. Firmy technologiczne wygrywają również, uczestnicząc w szerszej społeczności badawczej. Wszystkie duże projekty AI w prywatnych laboratoriach opierają się na warstwach i warstwach badań publicznych. I niewielu badaczy AI nie korzystało z narzędzi uczenia maszynowego typu open source, takich jak PyTorch Facebooka czy TensorFlow Google.

Ponieważ w gigantycznych firmach technologicznych przeprowadza się coraz więcej badań, pewne kompromisy między konkurującymi wymaganiami biznesu i badań staną się nieuniknione. Pytanie brzmi, jak badacze nimi nawigują. Haibe-Kains chciałby, aby czasopisma takie jak Nature dzieliły to, co publikują, na oddzielne strumienie: z jednej strony odtwarzalne badania, z drugiej strony prezentacje technologii.

Ale Pineau jest bardziej optymistyczny. Nie pracowałabym na Facebooku, gdyby nie miał otwartego podejścia do badań – mówi.

Inne duże laboratoria korporacyjne również podkreślają swoje zaangażowanie w przejrzystość. Praca naukowa wymaga analizy i powielania przez innych w tej dziedzinie, mówi Kavukcuoglu. To kluczowa część naszego podejścia do badań w DeepMind.

OpenAI wyrosło na coś zupełnie innego niż tradycyjne laboratorium, mówi Kayla Wood, rzecznik firmy. Oczywiście rodzi to pewne pytania. Zauważa, że ​​OpenAI współpracuje z ponad 80 organizacjami branżowymi i akademickimi w ramach partnerstwa na rzecz sztucznej inteligencji, aby myśleć o długoterminowych normach publikacji badań.

Pineau wierzy, że coś w tym jest. Uważa, że ​​firmy zajmujące się sztuczną inteligencją demonstrują trzeci sposób prowadzenia badań, gdzieś pomiędzy dwoma strumieniami Haibe-Kainsa. Porównuje dorobek intelektualny prywatnych laboratoriów sztucznej inteligencji z na przykład firmami farmaceutycznymi, które inwestują miliardy w leki i trzymają większość pracy za zamkniętymi drzwiami.

Dopiero okaże się, jak długofalowy wpływ praktyk wprowadzonych przez Pineau i innych. Czy nawyki zmienią się na dobre? Jaką różnicę wpłynie to na absorpcję sztucznej inteligencji poza badaniami? Wiele zależy od kierunku, w jakim podąża AI. Trend na coraz większe modele i zbiory danych — na przykład faworyzowany przez OpenAI — będzie nadal sprawiał, że najnowocześniejsza sztuczna inteligencja będzie niedostępna dla większości badaczy. Z drugiej strony nowe techniki, takie jak: kompresja modelu oraz nauka kilku strzałów , może odwrócić ten trend i umożliwić większej liczbie badaczy pracę z mniejszą, bardziej wydajną sztuczną inteligencją.

Tak czy inaczej, badania nad sztuczną inteligencją nadal będą zdominowane przez duże firmy. Jeśli jest to zrobione dobrze, nie musi to być coś złego, mówi Pineau: sztuczna inteligencja zmienia dyskusję na temat działania laboratoriów badawczych w branży. Kluczem będzie zapewnienie szerszej grupie szansy na udział. Ponieważ wiarygodność sztucznej inteligencji, od której tak wiele zależy, zaczyna się od ostrza.