Modele językowe, takie jak GPT-3, mogą zwiastować nowy typ wyszukiwarki

Pixabay

W 1998 roku kilku absolwentów Stanford opublikowało artykuł opisujący nowy rodzaj wyszukiwarka : W tym artykule przedstawiamy Google, prototyp dużej wyszukiwarki, która intensywnie wykorzystuje strukturę obecną w hipertekście. Google zaprojektowano tak, aby skutecznie przeszukiwać i indeksować sieć oraz generować znacznie bardziej satysfakcjonujące wyniki wyszukiwania niż istniejące systemy.

Powiązana historia

Ta wszechwiedząca sztuczna inteligencja uczy się, czytając całą sieć bez przerwy Diffbot tworzy największy w historii wykres wiedzy, stosując rozpoznawanie obrazów i przetwarzanie języka naturalnego na miliardach stron internetowych.

Kluczową innowacją był algorytm o nazwie PageRank, który klasyfikował wyniki wyszukiwania, obliczając ich trafność dla zapytania użytkownika na podstawie jego linków do innych stron w sieci. Z tyłu PageRank Google stał się bramą do Internetu, a Sergey Brin i Larry Page zbudowali jedną z największych firm na świecie.

Teraz zespół badaczy Google opublikował propozycja radykalnego przeprojektowania który odrzuca podejście rankingowe i zastępuje je jednym dużym modelem języka AI — przyszłą wersją BERT lub GPT-3 . Chodzi o to, aby zamiast szukać informacji na obszernej liście stron internetowych, użytkownicy zadawaliby pytania, a model językowy wyszkolony na tych stronach odpowiadałby na nie bezpośrednio. Takie podejście może zmienić nie tylko sposób działania wyszukiwarek, ale także sposób, w jaki z nimi współdziałamy.

Wiele problemów z istniejącymi modelami językowymi trzeba będzie najpierw rozwiązać. Po pierwsze, sztuczna inteligencja może czasami generować tendencyjne i toksyczne odpowiedzi na zapytania – problem, który badacze z Google i nie tylko wskazałem .

Nowe podejście do rankingu PageRank

Wyszukiwarki stały się szybsze i dokładniejsze, nawet gdy sieć eksplodowała. Sztuczna inteligencja jest teraz używana do oceniania wyników, a Google używa BERT do zrozumienia zapytań lepszy. Jednak pod tymi poprawkami wszystkie popularne wyszukiwarki nadal działają w taki sam sposób, jak 20 lat temu: strony internetowe są indeksowane przez roboty indeksujące (oprogramowanie, które nieprzerwanie czyta sieć i przechowuje listę wszystkiego, co znajdzie), wyniki pasujące do zapytania użytkownika są zebrane z tego indeksu, a wyniki są uszeregowane.

Ten schemat wyszukiwania indeksu, a następnie rankingu przetrwał próbę czasu i rzadko był kwestionowany lub poważnie przemyślany, pisze Donald Metzler i jego koledzy z Google Research. (Metzler odrzucił prośbę o komentarz.)

Problem polega na tym, że nawet najlepsze dzisiejsze wyszukiwarki wciąż odpowiadają listą dokumentów zawierających żądane informacje, a nie samą informacją. Wyszukiwarki również nie są dobre w odpowiadaniu na zapytania, które wymagają odpowiedzi pochodzących z wielu źródeł. To tak, jakbyś poprosił lekarza o poradę i zamiast prostej odpowiedzi otrzymał listę artykułów do przeczytania.

Metzler i jego koledzy są zainteresowani wyszukiwarką, która zachowuje się jak ludzki ekspert. Powinna generować odpowiedzi w języku naturalnym, zsyntetyzowanym z więcej niż jednego dokumentu, i potwierdzać swoje odpowiedzi odniesieniami do dowodów potwierdzających, tak jak mają to robić artykuły Wikipedii.

Powiązana historia

Dlaczego GPT-3 jest teraz najlepszą i najgorszą sztuczną inteligencją

Otwarta sztuczna inteligencja w języku AI zachwyciła publiczność pozornym opanowaniem języka angielskiego – ale czy to wszystko iluzja?

Duże modele językowe prowadzą nas do tego celu. Wyszkolony w większości stron internetowych i setkach książek, GPT-3 czerpie informacje z wielu źródeł, aby odpowiadać na pytania w języku naturalnym. Problem polega na tym, że nie śledzi tych źródeł i nie może dostarczyć dowodów na swoje odpowiedzi. Nie ma sposobu, aby stwierdzić, czy GPT-3 papuguje wiarygodne informacje lub dezinformację – czy po prostu wyrzuca bzdury, które sam wymyślił.

Metzler i jego koledzy nazywają modele językowe dyletantami — wydaje się, że wiedzą dużo, ale ich wiedza jest głęboka. Twierdzą, że rozwiązaniem jest zbudowanie i wyszkolenie przyszłych BERT i GPT-3, aby zachować zapisy, skąd pochodzą ich słowa. Żadne takie modele nie są jeszcze w stanie tego zrobić, ale w zasadzie jest to możliwe i prace w tym kierunku są prowadzone na wczesnym etapie.

Od dziesięcioleci poczyniono postępy w różnych obszarach wyszukiwania, od odpowiadania na zapytania, przez podsumowywanie dokumentów, po strukturyzację informacji, mówi Ziqi Zhang z Uniwersytetu w Sheffield w Wielkiej Brytanii, który zajmuje się wyszukiwaniem informacji w sieci. Jednak żadna z tych technologii nie zmieniła wyszukiwania, ponieważ każda z nich dotyczy konkretnych problemów i nie można ich uogólniać. Ekscytującym założeniem tego artykułu jest to, że duże modele językowe są w stanie robić wszystkie te rzeczy jednocześnie, mówi.

Jednak Zhang zauważa, że ​​modele językowe nie sprawdzają się dobrze w przypadku przedmiotów technicznych lub specjalistycznych, ponieważ w tekście jest mniej przykładów, z których są szkoleni. W sieci jest prawdopodobnie setki razy więcej danych dotyczących e-commerce niż danych dotyczących mechaniki kwantowej – mówi. Dzisiejsze modele językowe są również przekrzywione w kierunku angielskiego, przez co nieanglojęzyczne części sieci nie będą obsługiwane.

Hanna Hajishirzi, która studiuje przetwarzanie języka naturalnego na Uniwersytecie Waszyngtońskim, z zadowoleniem przyjmuje ten pomysł, ale ostrzega, że ​​w praktyce wystąpią problemy. 'Wierzę, że modele dużych języków są bardzo ważne i potencjalnie stanowią przyszłość wyszukiwarek, ale wymagają dużej pamięci i zasobów obliczeniowych' - mówi. „Nie sądzę, aby zastąpiły indeksowanie”.

Mimo to Zhang jest podekscytowany możliwościami. W przeszłości nie było to możliwe, ponieważ wielkie modele językowe wystartowały dopiero niedawno, mówi. Jeśli to zadziała, zmieni nasze doświadczenie wyszukiwania.

Aktualizacja: zmieniliśmy tekst, aby wyraźniej przedstawiał problemy z istniejącymi dużymi modelami językowymi.

ukryć