Sposób, w jaki trenujemy sztuczną inteligencję, jest zasadniczo wadliwy

Obrazy Getty

Nie jest tajemnicą, że modele uczenia maszynowego zostały dostrojone i podrasowane do prawie idealnego wydajność w laboratorium często zawodzą w rzeczywistych ustawieniach. Jest to zwykle związane z niezgodnością między danymi, na których sztuczna inteligencja została przeszkolona i przetestowana, a danymi, które napotyka na świecie, czyli problemem znanym jako przesunięcie danych. Na przykład sztuczna inteligencja przeszkolona w wykrywaniu oznak choroby na wysokiej jakości obrazach medycznych będzie: borykają się z rozmazanymi lub przyciętymi obrazami uchwycony tanią kamerą w ruchliwej klinice.

Teraz grupa 40 badaczy z siedmiu różnych zespołów Google zidentyfikowała kolejna ważna przyczyna powszechnego niepowodzenia modeli uczenia maszynowego . Nazywana niedostateczną specyfikacją, może to być jeszcze większy problem niż przesunięcie danych. Prosimy o więcej modeli uczenia maszynowego, niż jesteśmy w stanie zagwarantować przy naszym obecnym podejściu, mówi Alex D’Amour, który prowadził badanie.

Powiązana historia

Medyczna sztuczna inteligencja Google była bardzo dokładna w laboratorium. Prawdziwe życie to zupełnie inna historia. Jeśli sztuczna inteligencja naprawdę ma coś zmienić dla pacjentów, musimy wiedzieć, jak działa, gdy dostają ją prawdziwi ludzie w rzeczywistych sytuacjach.

Niedookreślenie jest znanym problemem w statystykach, gdzie zaobserwowane efekty mogą mieć wiele możliwych przyczyn. D’Amour, który ma doświadczenie w rozumowaniu przyczynowym, chciał dowiedzieć się, dlaczego jego własne modele uczenia maszynowego często zawodzą w praktyce. Zastanawiał się, czy w tym przypadku problemem może być również zaniżona specyfikacja. D’Amour szybko zdał sobie sprawę, że wielu jego kolegów dostrzega ten sam problem we własnych modelach. Właściwie to zjawisko, które dzieje się wszędzie, mówi.

Wstępne śledztwo D’Amour przyspieszyło i dziesiątki badaczy Google przyjrzało się wielu różnym aplikacjom AI, od rozpoznawania obrazów po przetwarzanie języka naturalnego (NLP) do przewidywanie choroby . Odkryli, że niedostateczna specyfikacja była odpowiedzialna za słabe wyniki we wszystkich z nich. Problem tkwi w sposobie, w jaki modele uczenia maszynowego są trenowane i testowane, i nie ma łatwej naprawy.

Gazeta jest kulą destrukcyjną, mówi Brandon Rohrer, inżynier ds. uczenia maszynowego w firmie iRobot, który wcześniej pracował w Facebooku i Microsoftu i nie był w to zaangażowany.

Taki sam ale inny

Aby dokładnie zrozumieć, co się dzieje, musimy się trochę cofnąć. Z grubsza rzecz biorąc, budowanie modelu uczenia maszynowego obejmuje trenowanie go na dużej liczbie przykładów, a następnie testowanie go na wielu podobnych przykładach, których jeszcze nie widział. Kiedy model przejdzie test, gotowe.

To, na co zwracają uwagę badacze Google, to to, że ta poprzeczka jest zbyt niska. Proces uczenia może wytworzyć wiele różnych modeli, z których wszystkie pomyślnie przejdą test, ale — i to jest kluczowa część — modele te będą się różnić na małe, arbitralne sposoby, w zależności od takich rzeczy, jak losowe wartości podane węzłom w sieci neuronowej przed rozpoczęciem uczenia , sposób wybierania lub przedstawiania danych treningowych, liczba biegów treningowych itd. Te małe, często losowe różnice są zazwyczaj pomijane, jeśli nie wpływają na to, jak model wypada w teście. Okazuje się jednak, że mogą one prowadzić do ogromnych różnic w wydajności w rzeczywistym świecie.

Innymi słowy, w procesie wykorzystywanym do budowy większości modeli uczenia maszynowego nie można dziś stwierdzić, które modele będą działać w prawdziwym świecie, a które nie.

To nie to samo, co przesunięcie danych, w którym uczenie nie daje dobrego modelu, ponieważ dane uczące nie pasują do przykładów ze świata rzeczywistego. Niedookreślenie oznacza coś innego: nawet jeśli proces szkoleniowy może stworzyć dobry model, nadal może wypluć zły, ponieważ nie rozpozna różnicy. My też nie.

Badacze przyjrzeli się wpływowi niepełnej specyfikacji na szereg różnych zastosowań. W każdym przypadku wykorzystali te same procesy szkoleniowe do stworzenia wielu modeli uczenia maszynowego, a następnie przeprowadzili te modele przez testy warunków skrajnych mające na celu podkreślenie konkretnych różnic w ich wydajności.

Powiązana historia

AI zmaga się z kryzysem replikacji Giganci technologiczni dominują w badaniach, ale granica między prawdziwym przełomem a prezentacją produktów może być niewyraźna. Niektórzy naukowcy mają już dość.

Na przykład przeszkolono 50 wersji modelu rozpoznawania obrazów w ImageNet , zbiorze danych obrazów przedmiotów codziennego użytku. Jedyną różnicą pomiędzy biegami treningowymi były losowe wartości przypisane do sieci neuronowej na początku. Jednak pomimo tego, że wszystkie 50 modeli uzyskało mniej więcej takie same wyniki w teście treningowym – co sugeruje, że były równie dokładne – ich wyniki w teście warunków skrajnych bardzo się różniły.

W teście warunków skrajnych wykorzystano ImageNet-C, zbiór danych obrazów z ImageNet, które zostały poddane pikselom lub zmieniono ich jasność i kontrast, oraz Sieć obiektów , zbiór danych zawierający obrazy przedmiotów codziennego użytku w nietypowych pozach, takich jak krzesła na plecach, odwrócone czajniki i T-shirty zwisające z haczyków. Niektóre z 50 modeli radziły sobie dobrze z pikselowanymi obrazami, niektóre radziły sobie dobrze z niezwykłymi pozami; niektóre radziły sobie znacznie lepiej niż inne. Ale jeśli chodzi o standardowy proces szkolenia, wszystkie były takie same.

Naukowcy przeprowadzili podobne eksperymenty z dwoma różnymi systemami NLP i trzema medycznymi sztucznymi inteligencjami do przewidywania chorób oczu na podstawie skanów siatkówki, raka ze zmian skórnych i niewydolności nerek na podstawie dokumentacji pacjentów. Każdy system miał ten sam problem: modele, które powinny być równie dokładne, działały inaczej podczas testowania z danymi ze świata rzeczywistego, takimi jak różne skany siatkówki lub typy skóry.

Być może będziemy musieli przemyśleć, jak oceniamy sieci neuronowe, mówi Rohrer. To powoduje poważne dziury w podstawowych założeniach, które poczyniliśmy.

D'Amour zgadza się. Największym, natychmiastowym wnioskiem jest to, że musimy przeprowadzić o wiele więcej testów, mówi. Nie będzie to jednak łatwe. Testy warunków skrajnych zostały dostosowane specjalnie do każdego zadania, przy użyciu danych pobranych ze świata rzeczywistego lub danych naśladujących świat rzeczywisty. Nie zawsze jest to dostępne.

Niektóre testy warunków skrajnych są ze sobą sprzeczne: na przykład modele, które były dobre w rozpoznawaniu obrazów z pikselami, często nie radziły sobie z rozpoznawaniem obrazów o wysokim kontraście. Nie zawsze da się wytrenować jeden model, który pomyślnie przejdzie wszystkie testy warunków skrajnych.

Wielokrotny wybór

Jedną z opcji jest zaprojektowanie dodatkowego etapu procesu szkolenia i testowania, w którym wiele modeli jest produkowanych na raz, a nie tylko jeden. Te konkurencyjne modele można następnie ponownie przetestować w konkretnych zadaniach w świecie rzeczywistym, aby wybrać najlepszy do zadania.

To dużo pracy. Ale dla firmy takiej jak Google, która buduje i wdraża duże modele, może się to opłacać, mówi Yannic Kilcher, badacz uczenia maszynowego w ETH Zurich. Google mógłby zaoferować 50 różnych wersji modelu NLP, a programiści aplikacji mogliby wybrać tę, która będzie dla nich najlepsza, mówi.

D’Amour i jego koledzy nie mają jeszcze rozwiązania, ale badają sposoby na ulepszenie procesu szkoleniowego. „Musimy lepiej określić, jakie są nasze wymagania dotyczące naszych modeli”, mówi. Ponieważ często kończy się na tym, że odkrywamy te wymagania dopiero po tym, jak model zawiódł na świecie.

Jeśli sztuczna inteligencja ma mieć taki sam wpływ poza laboratorium, jak wewnątrz, niezbędna jest naprawa. Kiedy sztuczna inteligencja nie działa w realnym świecie, ludzie są mniej chętni do jej używania, mówi współautorka Katherine Heller, która pracuje w Google nad sztuczną inteligencją dla opieki zdrowotnej: Straciliśmy dużo zaufania, jeśli chodzi o zabójcze aplikacje , to ważne zaufanie, które chcemy odzyskać.

ukryć