Radykalnie nowa technika pozwala sztucznej inteligencji uczyć się praktycznie bez danych

Mityczny nosorożec. Pani Tech / Pixabay

Uczenie maszynowe zazwyczaj wymaga mnóstwa przykładów. Aby model AI rozpoznał konia, musisz pokazać mu tysiące obrazów koni. To właśnie sprawia, że ​​technologia jest kosztowna obliczeniowo – i bardzo różni się od ludzkiego uczenia się. Dziecko często musi zobaczyć tylko kilka przykładów przedmiotu, a nawet tylko jeden, zanim będzie w stanie rozpoznać go na całe życie.

W rzeczywistości dzieci czasami nie potrzebują każdy przykłady, aby coś zidentyfikować. Pokazano im zdjęcia konia i nosorożca i powiedziano, że jednorożec jest czymś pośrednim, mogą rozpoznać mityczne stworzenie w książce z obrazkami, gdy zobaczą je po raz pierwszy.

Hmm... ok, nie do końca.

MS TECH / PIXABAY

Ale już do nowy papier z University of Waterloo w Ontario sugeruje, że modele sztucznej inteligencji również powinny być w stanie to zrobić – proces, który naukowcy nazywają uczeniem się mniej niż jednorazowym lub LO-shot. Innymi słowy, model AI powinien być w stanie dokładnie rozpoznać jeszcze obiektów niż liczba przykładów, na których był szkolony. To może być wielka sprawa dla dziedziny, która staje się coraz droższa i niedostępna, ponieważ używane zestawy danych stają się coraz większe.

Jak działa mniej niż jednorazowa nauka

Naukowcy po raz pierwszy zademonstrowali ten pomysł podczas eksperymentowania z popularnym zbiorem danych wizji komputerowej znanym jako MNIST . MNIST, który zawiera 60 000 obrazów szkoleniowych z odręcznymi cyframi od 0 do 9, jest często używany do testowania nowych pomysłów w tej dziedzinie.

w poprzedni artykuł , naukowcy z MIT wprowadzili technikę destylacji gigantycznych zestawów danych do maleńkich, a jako dowód koncepcji skompresowali MNIST do zaledwie 10 obrazów. Obrazy nie zostały wybrane z oryginalnego zestawu danych, ale starannie zaprojektowane i zoptymalizowane, aby zawierały równoważną ilość informacji z pełnym zestawem. W rezultacie, gdy wyszkolony jest wyłącznie na 10 obrazach, model AI może osiągnąć prawie taką samą dokładność, jak model wyszkolony na wszystkich obrazach MNIST.

Przykładowe obrazy z zestawu danych MNIST.

WIKIMEDIA

10 obrazów „wydestylowanych” z MNIST, które mogą wytrenować model AI, aby osiągnąć 94% dokładność rozpoznawania na odręcznych cyfrach.

TONGZHOU WANG ET AL.

Badacze z Waterloo chcieli posunąć proces destylacji dalej. Jeśli można zmniejszyć 60 000 obrazów do 10, dlaczego nie zmieścić ich do pięciu? Zdali sobie sprawę, że sztuczka polegała na stworzeniu obrazów, które łączą ze sobą wiele cyfr, a następnie wprowadzają je do modelu AI z hybrydowymi lub miękkimi etykietami. (Pomyśl o koniu i nosorożcu mającym częściowe cechy jednorożca.)

Jeśli pomyślisz o cyfrze 3, to wygląda ona trochę jak cyfra 8, ale nie jak cyfra 7, mówi Ilia Sucholutsky, doktorant w Waterloo i główny autor artykułu. Etykiety miękkie próbują uchwycić te wspólne cechy. Więc zamiast mówić maszynie: „Ten obraz to cyfra 3”, mówimy: „Ten obraz to 60% cyfra 3, 30% cyfra 8 i 10% cyfra 0”.

Granice nauki LO-shot

Gdy naukowcy z powodzeniem wykorzystali miękkie etykiety, aby uzyskać naukę LO-shot na MNIST, zaczęli się zastanawiać, jak daleko może się posunąć ten pomysł. Czy istnieje ograniczenie liczby kategorii, których można nauczyć model AI na podstawie niewielkiej liczby przykładów?

Co zaskakujące, odpowiedź wydaje się brzmieć nie. Dzięki starannie zaprojektowanym miękkim etykietom nawet dwa przykłady mogą teoretycznie zakodować dowolną liczbę kategorii. Za pomocą dwóch punktów można oddzielić tysiąc klas, 10 000 klas lub milion klas, mówi Sucholutsky.

Wykreślanie jabłek (kropki zielone i czerwone) i pomarańczy (kropki pomarańczowe) według wagi i koloru.

PRZYSTOSOWANO Z UCZENIA MASZYNOWEGO 101 JASONA MAYESA NA POKŁADZIE ŚLIZGÓW

Właśnie to pokazują naukowcy w swoim najnowszym artykule, poprzez czysto matematyczną eksplorację. Odgrywają tę koncepcję za pomocą jednego z najprostszych algorytmów uczenia maszynowego, znanego jako k-najbliżsi sąsiedzi (kNN), który klasyfikuje obiekty przy użyciu podejścia graficznego.

Aby zrozumieć, jak działa kNN, weźmy jako przykład zadanie klasyfikacji owoców. Jeśli chcesz wytrenować model kNN, aby zrozumieć różnicę między jabłkami a pomarańczami, musisz najpierw wybrać funkcje, których chcesz użyć do reprezentowania każdego owocu. Być może wybierasz kolor i wagę, więc dla każdego jabłka i pomarańczy podajesz kNN jeden punkt danych z kolorem owocu jako jego wartością x i wagą jako jego wartością y. Algorytm kNN następnie wykreśla wszystkie punkty danych na wykresie 2D i rysuje linię graniczną prosto w środku między jabłkami a pomarańczami. W tym momencie wykres jest starannie podzielony na dwie klasy, a algorytm może teraz zdecydować, czy nowe punkty danych reprezentują jeden, czy drugi, w zależności od tego, po której stronie linii padają.

Aby zbadać uczenie się LO-shot za pomocą algorytmu kNN, naukowcy stworzyli serię niewielkich syntetycznych zestawów danych i starannie zaprojektowali swoje miękkie etykiety. Następnie pozwolili kNN wykreślić linie graniczne, które widział, i stwierdzili, że z powodzeniem podzielił wykres na więcej klas niż punktów danych. Naukowcy mieli również wysoki stopień kontroli nad tym, gdzie opadają linie graniczne. Używając różnych poprawek miękkich etykiet, mogli uzyskać algorytm kNN do rysowania precyzyjnych wzorów w kształcie kwiatów.

Naukowcy wykorzystali przykłady z miękką etykietą, aby wytrenować algorytm kNN do kodowania coraz bardziej złożonych linii granicznych, dzieląc wykres na znacznie więcej klas niż punktów danych. Każdy z kolorowych obszarów na wykresach reprezentuje inną klasę, podczas gdy wykresy kołowe z boku każdego wykresu przedstawiają rozkład miękkiej etykiety dla każdego punktu danych.

ILIA SUCHOLUTSKY I AL.

Oczywiście te teoretyczne poszukiwania mają pewne ograniczenia. Podczas gdy idea uczenia LO-shot powinna zostać przeniesiona do bardziej złożonych algorytmów, zadanie inżynierii przykładów z miękką etykietą staje się znacznie trudniejsze. Algorytm kNN jest interpretowalny i wizualny, umożliwiając ludziom projektowanie etykiet; sieci neuronowe są skomplikowane i nieprzeniknione, co oznacza, że ​​to samo może nie być prawdą. Destylacja danych, która działa przy projektowaniu przykładów z miękką etykietą dla sieci neuronowych, ma również poważną wadę: wymaga rozpoczęcia od gigantycznego zestawu danych, aby zmniejszyć go do czegoś bardziej wydajnego.

Sucholutsky mówi, że obecnie pracuje nad innymi sposobami projektowania tych maleńkich syntetycznych zestawów danych – niezależnie od tego, czy oznacza to projektowanie ich ręcznie, czy za pomocą innego algorytmu. Jednak pomimo tych dodatkowych wyzwań badawczych, artykuł przedstawia teoretyczne podstawy do uczenia się metodą LO-shot. Wniosek zależy od tego, jakie masz zestawy danych, prawdopodobnie możesz uzyskać ogromny wzrost wydajności, mówi.

To właśnie najbardziej interesuje Tongzhou Wang, doktorantkę z MIT, która kierowała wcześniejszymi badaniami nad destylacją danych. Artykuł opiera się na naprawdę nowatorskim i ważnym celu: uczeniu się potężnych modeli z małych zbiorów danych, mówi o wkładzie Sucholutsky'ego.

Ryan Khurana, naukowiec z Montreal AI Ethics Institute, zgadza się z tym stwierdzeniem: Co najważniejsze, „mniej niż jednorazowa nauka” radykalnie zmniejszyłaby wymagania dotyczące danych w celu zbudowania działającego modelu. Może to sprawić, że sztuczna inteligencja będzie bardziej dostępna dla firm i branż, które do tej pory były utrudnione przez wymagania dotyczące danych w tej dziedzinie. Mogłoby to również poprawić prywatność danych, ponieważ należałoby pozyskać mniej informacji od osób, aby wytrenować przydatne modele.

Sucholutsky podkreśla, że ​​badania są jeszcze wczesne, ale jest podekscytowany. Za każdym razem, gdy zaczyna prezentować swoją pracę kolegom naukowcom, ich pierwszą reakcją jest stwierdzenie, że pomysł jest niemożliwy, mówi. Kiedy nagle zdają sobie sprawę, że tak nie jest, otwierają się na zupełnie nowy świat.

ukryć