Facebook chce ulepszyć sztuczną inteligencję, prosząc ludzi o jej złamanie

Yatheesh Gowda / Pixabay

Wybuchowe sukcesy sztucznej inteligencji w ostatniej dekadzie są zazwyczaj związane z dużą ilością danych i dużą mocą obliczeniową. Ale testy porównawcze odgrywają również kluczową rolę w napędzaniu postępu — testy, z którymi badacze mogą zmierzyć się ze swoją sztuczną inteligencją, aby zobaczyć, jak zaawansowana jest. Na przykład ImageNet, publiczny zestaw danych obejmujący 14 milionów obrazów, wyznacza cel rozpoznawania obrazów. MNIST zrobił to samo w przypadku rozpoznawania pisma ręcznego i GLUE (Ogólnej oceny zrozumienia języka) do przetwarzania języka naturalnego, prowadząc do przełomu modele językowe, takie jak GPT-3 .

Stały cel zostaje wkrótce wyprzedzony. ImageNet jest aktualizowany, a GLUE został zastąpiony przez SuperGLUE, zestaw trudniejszych zadań językowych. Mimo to prędzej czy później badacze zgłoszą, że ich sztuczna inteligencja osiągnęła nadludzki poziom, przewyższając ludzi w tym lub innym wyzwaniu. I to jest problem, jeśli chcemy, aby testy porównawcze nadal napędzały postęp.

Dlatego Facebook publikuje nowy rodzaj testu, który stawia AI przeciwko ludziom, którzy robią wszystko, aby ich potknąć. Nazywa Dynabench , test będzie tak trudny, jak ludzie zdecydują się go wykonać.

Benchmarki mogą być bardzo mylące, mówi Douwe Kiela z Facebook AI Research, który kierował zespołem odpowiedzialnym za narzędzie. Zbytnie skupianie się na benchmarkach może oznaczać utratę z oczu szerszych celów. Test może stać się zadaniem.

Otrzymujesz system, który jest lepszy w teście niż ludzie, ale nie lepszy w ogólnym zadaniu, mówi. To bardzo mylące, ponieważ wygląda na to, że jesteśmy znacznie dalej niż w rzeczywistości.

Kiela uważa, że ​​w tej chwili jest to szczególny problem z NLP. Model języka, taki jak GPT-3, wydaje się inteligentny, ponieważ tak dobrze naśladuje język. Ale trudno powiedzieć, ile te systemy faktycznie rozumieją.

Pomyśl o próbie zmierzenia ludzkiej inteligencji, mówi. Możesz dawać ludziom testy IQ, ale to nie mówi ci, czy naprawdę rozumieją temat. Aby to zrobić, musisz z nimi porozmawiać, zadać pytania.

Dynabench robi coś podobnego, używając ludzi do przesłuchiwania AI. Wydany dzisiaj online, zaprasza ludzi do odwiedzenia witryny i przetestowania modeli, które za nią stoją. Na przykład możesz nadać modelowi języka stronę Wikipedii, a następnie zadać mu pytania, oceniając jego odpowiedzi.

Pod pewnymi względami pomysł jest podobny do sposobu, w jaki ludzie bawią się już GPT-3, testując jego ograniczenia, lub sposobu, w jaki chatboty są oceniane do nagrody Loebnera, konkursu, w którym boty próbują uchodzić za ludzi. Ale dzięki Dynabench awarie, które pojawiają się podczas testów, będą automatycznie przekazywane z powrotem do przyszłych modeli, dzięki czemu będą przez cały czas ulepszane.

Na razie Dynabench skupi się na modelach językowych, ponieważ są one jednym z najłatwiejszych rodzajów sztucznej inteligencji, z którymi ludzie mogą wchodzić w interakcje. Każdy mówi językiem, mówi Kiela. Nie potrzebujesz żadnej prawdziwej wiedzy, jak złamać te modele.

Ale podejście to powinno działać również w przypadku innych rodzajów sieci neuronowych, takich jak systemy rozpoznawania mowy lub obrazu. Potrzebowałbyś tylko sposobu, w jaki ludzie mogą przesyłać własne obrazy — lub kazać im rysować — aby to przetestować, mówi Kiela: Długoterminową wizją jest otwarcie go, aby każdy mógł uruchomić swój własny model i rozpocząć zbieranie własnych danych.

Chcemy przekonać społeczność AI, że istnieje lepszy sposób mierzenia postępów – dodaje. Mamy nadzieję, że zaowocuje to szybszymi postępami i lepszym zrozumieniem, dlaczego modele uczenia maszynowego wciąż zawodzą.

ukryć