Ten fotel z awokado może być przyszłością AI

Otwarta sztuczna inteligencja

Z GPT-3 , OpenAI pokazał, że jeden model głębokiego uczenia się można nauczyć używania języka na różne sposoby, po prostu rzucając mu ogromne ilości tekstu. Okazało się wtedy, że zamieniając tekst na piksele , to samo podejście można zastosować do trenowania sztucznej inteligencji do ukończenia niedokończonych obrazów. GPT-3 naśladuje sposób, w jaki ludzie używają słów; Image GPT-3 przewiduje, co widzimy.

Teraz OpenAI połączył te pomysły i zbudował dwa nowe modele, zwane DAJ JEJ oraz SPINACZ , które łączą język i obrazy w sposób, który sprawi, że sztuczna inteligencja lepiej rozumie zarówno słowa, jak i to, do czego się odnoszą.

Żyjemy w wizualnym świecie, mówi Ilya Sutskever, główny naukowiec OpenAI. Na dłuższą metę będziesz mieć modele, które rozumieją zarówno tekst, jak i obrazy. Sztuczna inteligencja będzie w stanie lepiej zrozumieć język, ponieważ będzie mogła zobaczyć, co oznaczają słowa i zdania.

Powiązana historia

Nowy generator języka OpenAI GPT-3 jest szokująco dobry — i całkowicie bezmyślny

Sztuczna inteligencja jest największym modelem językowym, jaki kiedykolwiek stworzono, i może generować na żądanie niesamowity, podobny do człowieka tekst, ale nie przybliży nas do prawdziwej inteligencji.

Mimo całej sprytu GPT-3, jego wyniki mogą wydawać się oderwane od rzeczywistości, jakby nie wiedział, o czym mówi. To dlatego, że tak nie jest. Ugruntowując tekst na obrazach, badacze z OpenAI i nie tylko próbują nadać modelom językowym a lepsze zrozumienie codziennych pojęć których ludzie używają do zrozumienia rzeczy.

DALL·E i CLIP podchodzą do tego problemu z różnych stron. Na pierwszy rzut oka CLIP (Contrastive Language-Image Pre-training) to kolejny system rozpoznawania obrazu. Tyle że nauczył się rozpoznawać obrazy nie na podstawie oznakowanych przykładów w wyselekcjonowanych zestawach danych, jak robi to większość istniejących modeli, ale na obrazach i ich podpisach zaczerpniętych z Internetu. Uczy się, co znajduje się na obrazie, z opisu, a nie z jednowyrazowej etykiety, takiej jak kot lub banan.

CLIP jest wytrenowany przez uzyskanie przewidywania, który podpis z losowego wyboru 32 768 jest poprawny dla danego obrazu. Aby to rozwiązać, CLIP uczy się łączyć różne obiekty z ich nazwami i słowami, które je opisują. Pozwala to następnie identyfikować obiekty na obrazach poza zestawem treningowym. Większość systemów rozpoznawania obrazu jest wyszkolona do identyfikowania określonych typów obiektów, takich jak twarze na nagraniach wideo z monitoringu lub budynki na obrazach satelitarnych. Podobnie jak GPT-3, CLIP może uogólniać zadania bez dodatkowego szkolenia. Jest również mniej prawdopodobne niż w przypadku innych najnowocześniejszych modeli rozpoznawania obrazów, że zostaną zwiedzione przez wrogie przykłady, które zostały subtelnie zmienione w sposób, który zwykle myli algorytmy, nawet jeśli ludzie mogą nie zauważyć różnicy.

Zamiast rozpoznawać obrazy, DALL·E (które, jak sądzę, jest kalamburem WALL·E/Dali) rysuje je. Ten model jest mniejszą wersją GPT-3, która została również wytrenowana na parach tekst-obraz pobranych z Internetu. Mając krótki podpis w języku naturalnym, na przykład obraz przedstawiający kapibarę siedzącą na polu o wschodzie słońca lub przekrój orzecha włoskiego, DALL·E generuje wiele pasujących do niego obrazów: dziesiątki kapibar o różnych kształtach i rozmiarach przed pomarańczowym i żółtym tłem; rząd po rzędzie orzechów włoskich (choć nie wszystkie w przekroju).

Bądź surrealistyczny

Wyniki są uderzające, choć wciąż mieszana torba. Podpis witrażu z wizerunkiem niebieskiej truskawki daje wiele poprawnych wyników, ale także niektóre z niebieskimi okienkami i czerwonymi truskawkami. Inne nie zawierają niczego, co przypominałoby okno lub truskawkę. Wyniki prezentowane przez zespół OpenAI w poście na blogu nie zostały wybrane ręcznie, ale sklasyfikowane przez CLIP, który wybrał 32 obrazy DALL·E dla każdego podpisu, które jego zdaniem najlepiej pasują do opisu.

Tekst na obraz to wyzwanie badawcze, które istnieje od jakiegoś czasu, mówi Mark Riedl, który pracuje nad NLP i kreatywnością obliczeniową w Georgia Institute of Technology w Atlancie. Ale to imponujący zestaw przykładów.

Obrazy narysowane przez DALL·E do podpisu Mała rzodkiewka daikon w tutu wyprowadza psa

Aby przetestować zdolność DALL·E do pracy z nowatorskimi koncepcjami, naukowcy umieścili w nim podpisy opisujące obiekty, o których myśleli, że wcześniej nie widzieli, takie jak fotel z awokado i ilustracja przedstawiająca rzodkiewkę daikon w tutu spacerującą z psem. W obu tych przypadkach sztuczna inteligencja generowała obrazy, które łączyły te koncepcje w wiarygodne sposoby.

Fotele w szczególności wyglądają jak krzesła i awokado. Najbardziej zaskoczyło mnie to, że model może łączyć dwie niepowiązane ze sobą koncepcje i łączyć je w sposób, który daje coś w rodzaju funkcjonalnego, mówi Aditya Ramesh, która pracowała nad DALL·E. Dzieje się tak prawdopodobnie dlatego, że przepołowione awokado wygląda trochę jak fotel z wysokim oparciem, z dołem jako poduszką. W przypadku innych podpisów, takich jak ślimak zrobiony z harfy, wyniki są gorsze, z obrazami, które łączą ślimaki i harfy w dziwny sposób.

DALL·E to rodzaj systemu, który Riedl wyobrażał sobie, aby poddać się Test Lovelace 2.0 , eksperyment myślowy, który wymyślił w 2014 roku. Test ma zastąpić test Turinga jako punkt odniesienia do pomiaru sztucznej inteligencji. Zakłada, że ​​jedną z cech inteligencji jest umiejętność łączenia pojęć w kreatywny sposób. Riedl sugeruje, że poproszenie komputera o narysowanie obrazka mężczyzny trzymającego pingwina jest lepszym sprawdzianem sprytu niż poproszenie chatbota, aby oszukał człowieka w rozmowie, ponieważ jest to bardziej otwarte i trudniejsze do oszukania.

Prawdziwym testem jest sprawdzenie, jak daleko można wypchnąć sztuczną inteligencję poza swoją strefę komfortu, mówi Riedl.

Obrazy narysowane przez DALL·E do podpisu „ślimak zrobiony z harfy”

Zdolność modelu do generowania syntetycznych obrazów z dość kapryśnego tekstu wydaje mi się bardzo interesująca, mówi Ani Kembhavi z Allen Institute for Artificial Intelligence (AI2), który również opracował system generujący obrazy z tekstu . Wyniki wydają się być zgodne z pożądaną semantyką, co moim zdaniem jest imponujące. Jaemin Cho, kolega Kembhavi, również jest pod wrażeniem: Istniejące generatory tekstu na obraz nie wykazały tego poziomu kontroli przy rysowaniu wielu obiektów ani zdolności rozumowania przestrzennego DALL·E, mówi.

Jednak DALL·E już wykazuje oznaki zmęczenia. Umieszczenie zbyt wielu obiektów w podpisie zwiększa jego zdolność do śledzenia tego, co rysować. A przeformułowanie podpisu słowami, które oznaczają to samo, czasami daje różne wyniki. Istnieją również oznaki, że DALL·E naśladuje obrazy, które napotkał w Internecie, zamiast tworzyć nowe.

Jestem trochę podejrzliwy wobec przykładu daikon, który stylistycznie sugeruje, że mógł zapamiętać jakąś sztukę z Internetu, mówi Riedl. Zauważa, że ​​szybkie wyszukiwanie przynosi wiele rysunkowych obrazów antropomorfizowanych daikonów. Mówi, że GPT-3, na którym bazuje DALL·E, jest znany z zapamiętywania.

Mimo to większość badaczy sztucznej inteligencji zgadza się, że ugruntowanie języka w zrozumieniu wizualnym jest dobrym sposobem na ulepszenie sztucznej inteligencji.

Przyszłość będzie składać się z takich systemów, mówi Sutskever. I oba te modele są krokiem w kierunku tego systemu.

ukryć