Te dziwne, niepokojące zdjęcia pokazują, że sztuczna inteligencja staje się coraz mądrzejsza

Instytut Allena ds. AI

Spośród wszystkich modeli AI na świecie, GPT-3 firmy OpenAI najbardziej zawładnęła wyobraźnią publiczności. Potrafi wypluwać wiersze, opowiadania i piosenki z niewielkim podszeptem i zostało to zademonstrowane oszukiwać ludzi na myślenie, że jego wyniki zostały napisane przez człowieka. Ale jego elokwencja to raczej salonowa sztuczka, której nie należy mylić z prawdziwą inteligencją.

Niemniej naukowcy uważają, że techniki użyte do stworzenia GPT-3 mogą zawierać sekret bardziej zaawansowanej sztucznej inteligencji. GPT-3 trenował na ogromnej ilości danych tekstowych. Co by się stało, gdyby te same metody zostały przeszkolone zarówno na tekście, jak i na obrazach?

Teraz nowe badania z Allen Institute for Artificial Intelligence, AI2, przeniosły ten pomysł na wyższy poziom. Naukowcy opracowali nowy model tekstu i obrazu, znany również jako model języka wizualnego, który może generować obrazy z podpisem. Obrazy wyglądają niepokojąco i dziwacznie — nic takiego jak hiperrealistyczne podróbki generowane przez GAN — ale mogą zademonstrować obiecujący nowy kierunek, aby osiągnąć bardziej uogólnioną inteligencję, a być może także inteligentniejsze roboty.

Wypełnij puste miejsce

GPT-3 należy do grupy modeli znanych jako transformatory, które po raz pierwszy stały się popularne dzięki sukcesowi BERT firmy Google. Przed BERT modele językowe były dość złe. Miały wystarczającą moc predykcyjną, aby były przydatne w aplikacjach takich jak autouzupełnianie, ale niewystarczająca, aby wygenerować długie zdanie zgodne z zasadami gramatyki i zdrowym rozsądkiem.

BERT zmienił to, wprowadzając nową technikę o nazwie maskowanie . Polega na ukryciu różnych słów w zdaniu i poproszeniu modelki o wypełnienie pustego miejsca. Na przykład:

• Kobieta poszła do ___ poćwiczyć.
• Kupili ___ chleba na kanapki.

Chodzi o to, że jeśli model jest zmuszany do wykonywania tych ćwiczeń, często miliony razy, zaczyna odkrywać wzorce w składaniu słów w zdania, a zdania w akapity. Dzięki temu może lepiej generować i interpretować tekst, przybliżając go do zrozumienia znaczenia języka. (Google teraz używa BERT, aby wyświetlać bardziej trafne wyniki wyszukiwania w swojej wyszukiwarce .) Po tym, jak maskowanie okazało się bardzo skuteczne, naukowcy starali się zastosować je do modeli języka wizualnego, ukrywając słowa w podpisach, na przykład:

____ stoi na ziemi w pobliżu drzewa.

AI2

Tym razem modelka mogła spojrzeć na oba otaczające słowa oraz treść obrazu, aby wypełnić puste miejsce. Dzięki milionom powtórzeń mógł odkryć nie tylko wzory między słowami, ale także relacje między słowami i elementami na każdym obrazie.

Rezultatem są modele, które są w stanie powiązać opisy tekstowe z odniesieniami wizualnymi — podobnie jak dzieci mogą tworzyć połączenia między słowami, których się uczą, a rzeczami, które widzą. Modelki mogą na przykład spojrzeć na poniższe zdjęcie i napisać sensowny podpis, jak Kobiety grające w hokeja na trawie. Lub mogą odpowiedzieć na pytania na ten temat, np. Jaki jest kolor piłki? łącząc słowo piłka z okrągłym obiektem na obrazie.

Modelka w języku wizualnym mogłaby sensownie opisać to zdjęcie: „Kobiety grające w hokeja na trawie”.

JAN TORCASIO / UNSPLASH

Obraz jest wart tysiąca słów

Ale badacze AI2 chcieli wiedzieć, czy te modele rzeczywiście rozwinęły koncepcyjne zrozumienie świata wizualnego. Dziecko, które nauczyło się słowa oznaczającego przedmiot, może nie tylko wyczarować słowo, aby zidentyfikować przedmiot, ale także narysować przedmiot, gdy zostanie poproszony o słowo, nawet jeśli sam przedmiot nie jest obecny. Dlatego naukowcy poprosili modele, aby zrobiły to samo: wygenerowały obrazy z podpisów. Wszyscy zamiast tego wypluwają bezsensowne wzory pikseli.

To jest ptak! To samolot! Nie, to po prostu gobbledygook wygenerowany przez sztuczną inteligencję.

AI2

Ma to sens: przekształcanie tekstu w obrazy jest znacznie trudniejsze niż na odwrót. Podpis nie określa wszystkiego, co zawiera obraz, mówi Ani Kembhavi, która kieruje zespołem wizji komputerowej w AI2. Tak więc model musi czerpać ze zdrowego rozsądku w odniesieniu do świata, aby uzupełnić szczegóły.

Jeśli zostanie na przykład poproszony o narysowanie żyrafy idącej drogą, musi również wywnioskować, że droga jest bardziej prawdopodobnie szara niż intensywnie różowa i bardziej prawdopodobne jest, że znajduje się obok pola trawy niż nad oceanem — chociaż żadna z tych informacji nie jest wyraźna.

Tak więc Kembhavi i jego koledzy Jaemin Cho, Jiasen Lu i Hannaneh Hajishirzi postanowili sprawdzić, czy mogą nauczyć modela całej tej ukrytej wiedzy wizualnej, poprawiając swoje podejście do maskowania. Zamiast trenować model tylko po to, by przewidywać zamaskowane słowa w podpisach z odpowiednich zdjęć, nauczyli go również przewidywać zamaskowane piksele na zdjęciach na podstawie odpowiadających im podpisów.

Ostateczne obrazy generowane przez model nie są do końca realistyczne. Ale nie o to chodzi. Zawierają odpowiednie koncepcje wizualne wysokiego poziomu — odpowiednik AI dziecka rysującego postać z patyka, która reprezentuje człowieka. (Możesz sam wypróbować model tutaj .)

Przykłady obrazów wygenerowanych przez model AI2 z podpisów pod nimi.

AI2

Zdolność modeli języka wizualnego do generowania tego rodzaju obrazu stanowi ważny krok naprzód w badaniach nad sztuczną inteligencją. Sugeruje to, że model jest rzeczywiście zdolny do pewnego poziomu abstrakcji, fundamentalnej umiejętności rozumienia świata.

W dłuższej perspektywie może to mieć wpływ na robotykę. Im robot lepiej rozumie swoje otoczenie wizualne i używa języka do komunikowania się na jego temat, tym bardziej złożone zadania będzie w stanie wykonać. W perspektywie krótkoterminowej ten rodzaj wizualizacji może również pomóc naukowcom lepiej zrozumieć, czego uczą się modele sztucznej inteligencji czarnej skrzynki, mówi Hajishirzi.

W przyszłości zespół planuje więcej eksperymentować, aby poprawić jakość generowania obrazów i poszerzyć słownictwo wizualne i językowe modelu o więcej tematów, obiektów i przymiotników.

Generowanie obrazu to naprawdę brakujący element układanki, mówi Lu. Włączając to, możemy sprawić, że model uczy się lepszych reprezentacji do reprezentowania świata.

ukryć