Zbyt wielu badaczy AI uważa, że ​​rzeczywiste problemy nie mają znaczenia

Pani Tech | Getty

Każdy badacz, który koncentruje się na zastosowaniu uczenia maszynowego do rzeczywistych problemów, prawdopodobnie otrzymał odpowiedź taką jak ta: Autorzy przedstawiają rozwiązanie oryginalnego i wysoce motywującego problemu, ale jest to aplikacja, a znaczenie dla uczenia maszynowego wydaje się ograniczone. społeczność.

Te słowa pochodzą prosto z recenzji, którą otrzymałem za artykuł przesłany do Konferencja NeurIPS (Neural Information Processing Systems) , najlepsze miejsce do badań nad uczeniem maszynowym. Widziałem ten refren w recenzjach artykułów, w których wraz ze współautorami prezentowaliśmy metodę motywowaną aplikacją, i słyszałem podobne historie od niezliczonych innych.

To mnie zastanawia: jeśli społeczność uważa, że ​​dążenie do rozwiązywania poważnych problemów w świecie rzeczywistym za pomocą uczenia maszynowego ma ograniczone znaczenie, to co staramy się osiągnąć?

ten cel sztucznej inteligencji (pdf) jest przesuwanie granic inteligencji maszynowej. W dziedzinie uczenia maszynowego nowatorskie rozwiązanie zwykle oznacza nowy algorytm lub procedurę, lub – w przypadku uczenia głębokiego – nową architekturę sieci. Jak zauważyli inni, to nadmierne skupienie się na nowatorskich metodach prowadzi do plagi artykułów, które donoszą marginalne lub przyrostowe ulepszenia na zestawach danych porównawczych i wystaw wadliwe stypendium (pdf) gdy naukowcy ścigają się na szczyt tabela wyników .

Tymczasem wiele artykułów opisujących nowe zastosowania przedstawia zarówno nowatorskie koncepcje, jak i wyniki o dużym znaczeniu. Ale nawet odrobina słowa aplikacja wydaje się psuć artykuł recenzentom. W efekcie tego typu badania są marginalizowane na dużych konferencjach. Jedyną realną nadzieją ich autorów jest to, aby ich prace zostały zaakceptowane na warsztatach, które rzadko przyciągają taką samą uwagę społeczności.

Jest to problem, ponieważ uczenie maszynowe jest bardzo obiecujące w zakresie rozwoju zdrowia, rolnictwa, odkryć naukowych i nie tylko. Pierwszy obraz czarnej dziury został wyprodukowany z wykorzystaniem uczenia maszynowego. Najbardziej dokładny przewidywania struktur białkowych , ważny krok w odkrywaniu leków, są realizowane przy użyciu uczenia maszynowego. Gdyby inni w tej dziedzinie traktowali priorytetowo zastosowania w świecie rzeczywistym, jakich innych przełomowych odkryć dokonalibyśmy do tej pory?

To nie jest nowa rewelacja. Cytując klasyczny artykuł zatytułowany Uczenie maszynowe, które ma znaczenie (pdf) , przez informatyka NASA Lewy Wagstaff F : Wiele aktualnych badań nad uczeniem maszynowym straciło związek z problemami importu do szerszego świata nauki i społeczeństwa. W tym samym roku, w którym Wagstaff opublikowała swoją pracę, splotowa sieć neuronowa o nazwie AlexNet wygrała głośny konkurs na rozpoznawanie obrazów, skoncentrowany na popularnym ImageNet zestaw danych, co doprowadziło do eksplozji zainteresowania głęboka nauka . Niestety, rozłąka, którą opisała, wydaje się od tego czasu jeszcze gorsza.

Błędne pytania

Marginalizacja badań nad aplikacjami ma realne konsekwencje. Zestawy danych porównawczych, takie jak ImageNet lub ORZECH KOKOSOWY , były kluczem do rozwoju uczenia maszynowego. Umożliwiają one trenowanie algorytmów i porównywanie ich na tych samych danych. Jednak te zbiory danych zawierać uprzedzenia które można wbudować w powstałe modele.

Ponad połowa zdjęć w ImageNet (pdf) pochodzą na przykład z USA i Wielkiej Brytanii. Ta nierównowaga powoduje, że systemy nieprecyzyjnie klasyfikują obrazy w kategoriach różniących się między sobą geografia (pdf) . Popularne zestawy danych dotyczących twarzy, takie jak Baza danych twarzy AT&T , zawierają głównie mężczyzn o jasnej karnacji, co prowadzi do systemów, które mają trudności z rozpoznaniem ciemnoskóre i kobiece twarze .

Podczas gdy naukowcy prześcigają się w wymyślonych testach porównawczych, jedna na dziewięć osób na świecie umiera z głodu.

Kiedy badania nad rzeczywistymi zastosowaniami uczenia maszynowego są wykluczone z głównego nurtu, naukowcom trudno jest dostrzec wpływ ich tendencyjnych modeli, co znacznie zmniejsza prawdopodobieństwo, że będą pracować nad rozwiązaniem tych problemów.

Jednym z powodów, dla których badania aplikacji są zminimalizowane, może być to, że inni zajmujący się uczeniem maszynowym uważają, że ta praca polega po prostu na stosowaniu istniejących już metod. W rzeczywistości jednak dostosowanie narzędzi uczenia maszynowego do konkretnych problemów w świecie rzeczywistym wymaga znacznej pracy algorytmicznej i inżynieryjnej. Badacze zajmujący się uczeniem maszynowym, którzy nie zdają sobie z tego sprawy i oczekują, że narzędzia będą działać z półki, często kończą tworzenie nieefektywnych modeli. Albo oceniają wydajność modelu za pomocą metryk, które nie przekładają się na rzeczywisty wpływ, albo wybierają całkowicie zły cel.

Na przykład większość badań wykorzystujących uczenie głębokie do analizy echokardiogramu próbuje przewyższyć zdolność lekarza do przewidywania choroby. Ale przewidywanie normalna funkcja serca (pdf) w rzeczywistości zaoszczędziłoby kardiologom więcej czasu dzięki identyfikacji pacjentów, którzy nie potrzebują ich specjalistycznej wiedzy. Wiele badań wykorzystujących uczenie maszynowe w uprawie winorośli ma na celu: zoptymalizuj plony winogron (pdf) , ale winiarze chcą odpowiedniego poziomu cukru i kwasu, a nie tylko dużej ilości dużych, wodnistych jagód, mówi Drake Whitcraft z Winiarnia Whitcraft w Kalifornii.

Więcej szkody niż pożytku

Innym powodem, dla którego badania aplikacji powinny mieć znaczenie dla głównego nurtu uczenia maszynowego, jest to, że zestawy danych porównawczych w tej dziedzinie są żałośnie oderwane od rzeczywistości.

Nowe modele uczenia maszynowego są mierzone na dużych, wyselekcjonowanych zestawach danych, które są pozbawione szumu i mają dobrze zdefiniowane, wyraźnie oznaczone kategorie (kot, pies, ptak). Głębokie uczenie dobrze radzi sobie z tymi problemami, ponieważ zakłada w dużej mierze stabilny świat (pdf) .

Ale w prawdziwym świecie te kategorie stale się zmieniają w czasie lub w zależności od kontekstu geograficznego i kulturowego. Niestety odpowiedzią nie było opracowanie nowych metod, które rozwiązują trudności związane z danymi ze świata rzeczywistego; zamiast tego pojawił się nacisk na badaczy aplikacji, aby tworzyli własne zestawy danych porównawczych.

Celem tych wysiłków jest zasadniczo wciśnięcie rzeczywistych problemów w paradygmat, którego używają inni badacze uczenia maszynowego do pomiaru wydajności. Jednak zestawy danych specyficznych dla domeny prawdopodobnie nie będą lepsze niż istniejące wersje w reprezentowaniu rzeczywistych scenariuszy. Wyniki mogą wyrządzić więcej szkody niż pożytku. Ludzie, którym praca tych badaczy mogła pomóc, będą rozczarowani technologiami, które: słabo wypaść kiedy ma to największe znaczenie.

Z powodu błędnych priorytetów w tej dziedzinie ludzie, którzy próbują rozwiązać największe wyzwania świata, nie czerpią korzyści z bardzo realnej obietnicy AI. Podczas gdy naukowcy prześcigają się w wymyślonych testach porównawczych, jedna na dziewięć osób na świecie głoduje . Ziemia się ociepla oraz poziom morza się podnosi w alarmującym tempie.

Jako neurobiolog i lider myśli AI Gary Marcus kiedyś napisał (pdf) : Największy wkład AI w społeczeństwo … może i powinien ostatecznie pojawić się w dziedzinach takich jak zautomatyzowane odkrycia naukowe, prowadzące między innymi do znacznie bardziej wyrafinowanych wersji medycyny, niż jest to obecnie możliwe. Ale żeby się tam dostać, musimy upewnić się, że pole jako całość nie ugrzęźnie w lokalnym minimum.

Aby świat mógł czerpać korzyści z uczenia maszynowego, społeczność musi ponownie zadać sobie pytanie, jak to kiedyś ujął Wagstaff: Jaka jest funkcja celu pola? Jeśli odpowiedź ma mieć pozytywny wpływ na świat, musimy zmienić sposób myślenia o aplikacjach.

Hannah Kerner jest adiunktem na Uniwersytecie Maryland w College Park. Zajmuje się badaniem metod uczenia maszynowego do zastosowań teledetekcyjnych w monitoringu rolnictwa i bezpieczeństwie żywności w ramach Żniwa NASA program.

ukryć