Dziedzina przetwarzania języka naturalnego goni za niewłaściwym celem

Pani Tech | Unsplash

Na typowym corocznym spotkaniu Stowarzyszenie Lingwistyki Komputerowej (ACL), program to parada tytułów takich jak Ustrukturyzowany autoenkoder wariacyjny do kontekstowej odmiany morfologicznej. Ten sam techniczny smak przenika gazety, pogadanki badawcze i wiele pogawędek na korytarzu.

W tym roku konferencja jednak w lipcu coś się zmieniło — i nie chodziło tylko o format wirtualny. Rozmowy uczestników były niezwykle introspekcyjne na temat podstawowych metod i celów przetwarzania języka naturalnego (NLP), gałęzi sztucznej inteligencji skupiającej się na tworzeniu systemów analizujących lub generujących ludzki język. Artykuły w tegorocznej nowości Ścieżka tematyczna zadawane pytania typu: Czy obecne metody? naprawdę wystarczająco osiągnąć ostateczne cele w tej dziedzinie? Co nawet czy te cele?

Moi koledzy i ja w Poznanie żywiołów , firma badająca sztuczną inteligencję z siedzibą w Connecticut i Nowym Jorku, uważa niepokój za uzasadniony. W rzeczywistości uważamy, że dziedzina wymaga transformacji, nie tylko w zakresie projektowania systemu, ale także w mniej efektownym obszarze: ewaluacji.

Obecny duch czasu NLP powstał w wyniku pół dekady ciągłych ulepszeń w ramach standardowego paradygmatu oceny. Zdolność pojmowania systemów była generalnie mierzona na wzorcowe zestawy danych składający się z tysięcy pytań, z których każdemu towarzyszą fragmenty zawierające odpowiedź. Kiedy głębokie sieci neuronowe ogarnęły pole w połowie 2010 roku, przyniosły skok wydajności. Kolejne rundy pracy utrzymywały coraz bliższe wyniki do 100% (lub przynajmniej do tego samego poziomu z ludźmi).

Więc badacze publikowaliby nowe zestawy danych parzysty trudniejsze pytania , tylko po to, aby jeszcze większe sieci neuronowe szybko publikowały imponujące wyniki. Wiele z dzisiejszych badań nad czytaniem ze zrozumieniem wymaga ostrożnego dopracowywania modeli, aby uzyskać kilka punktów procentowych więcej na najnowszych zestawach danych. Stan techniki stał się praktycznie rzeczownikiem własnym: pokonaliśmy SOTA on Drużyna o 2,4 punktu!

Ale wiele ludzie w ten pole są coraz bardziej znużeni takim pogonią za tabelami wyników. Co tak naprawdę zyskał świat, jeśli potężna sieć neuronowa osiąga SOTA w pewnym benchmarku o punkt lub dwa? Nie jest tak, że komukolwiek zależy na odpowiadaniu na te pytania dla niego samego; zdobycie tabeli liderów to ćwiczenie akademickie, które może nie sprawić, że narzędzia w świecie rzeczywistym będą lepsze. Rzeczywiście, wiele widocznych ulepszeń wynika nie z ogólnych zdolności rozumienia, ale z niezwykłych umiejętności modeli wykorzystywanie fałszywy wzory w danych. Czy ostatnie postępy naprawdę przekładają się na pomaganie ludziom w rozwiązywaniu problemów?

Takie wątpliwości są czymś więcej niż abstrakcyjnym niepokojem; to, czy systemy są naprawdę sprawne w rozumieniu języka, ma dla społeczeństwa realną stawkę. Oczywiście rozumienie pociąga za sobą szeroki zestaw umiejętności. W przypadku prostszych zastosowań — takich jak pobieranie faktów z Wikipedii lub ocena opinii w recenzjach produktów — nowoczesne metody radzisz sobie całkiem nieźle . Ale kiedy ludzie wyobrażają sobie komputery, które rozumieją język, wyobrażają sobie znacznie bardziej wyrafinowane zachowania: narzędzia prawne, które pomagają ludziom analizować ich kłopoty; asystenci naukowi, którzy syntetyzują informacje z całej sieci; roboty lub postacie z gier, które wykonują szczegółowe instrukcje.

Dzisiejsze modele nie są nawet bliskie osiągnięcia tego poziomu zrozumienia – i nie jest jasne, czy kolejny artykuł SOTA przybliży tę dziedzinę.

W jaki sposób społeczność NLP skończyła z taką luką między ocenami na papierze a umiejętnościami w świecie rzeczywistym? Na liście ACL stanowisko papierowe , moi koledzy i ja argumentujemy, że w dążeniu do osiągnięcia trudnych punktów odniesienia, ewaluacje straciły z oczu prawdziwe cele: te wyrafinowane aplikacje niższego szczebla. Aby pożyczyć linijkę z artykułu, naukowcy NLP trenują, aby zostać profesjonalnymi sprinterami, rozglądając się po siłowni i przyjmując ćwiczenia, które wyglądają na trudne.

Aby ewaluacje były bardziej zgodne z celami, warto rozważyć, co powstrzymuje dzisiejsze systemy.

Człowiek czytający fragment zbuduje szczegółową reprezentację bytów, miejsc, wydarzeń i ich relacji – mentalny model świata opisany w tekście. Czytelnik może następnie uzupełnić brakujące szczegóły w modelu, ekstrapolować scenę do przodu lub do tyłu, a nawet postawić hipotezę o alternatywnych alternatywach.

Ten rodzaj modelowania i rozumowania jest dokładnie tym, co muszą robić zautomatyzowani asystenci badaczy lub postacie z gier – i wyraźnie brakuje tego w dzisiejszych systemach. Badacz NLP może zwykle zepsuć najnowocześniejszy system czytania ze zrozumieniem w ciągu kilku prób. Jeden niezawodna technika jest sondowanie systemowego modelu świata, który może pozostawić nawet straszliwego GPT-3 bełkot o cykloptycznych źdźbłach trawy.

Nasycenie zautomatyzowanych czytników modelami światowymi będzie wymagało poważnych innowacji w projektowaniu systemów, jak omówiono w kilka Ścieżka tematyczna zgłoszenia . Ale nasz argument jest bardziej podstawowy: jakkolwiek systemy są wdrażane, jeśli muszą mieć wierne modele świata, to ewaluacje powinny systematycznie sprawdzać, czy mają wierne modele świata.

Powiedziane tak śmiało, że może to wydawać się oczywiste, ale rzadko się to robi. Grupy badawcze, takie jak Instytut Allena ds. AI mieć proponowane inne sposoby zaostrzenia ocen, takie jak kierowanie się do różnych struktur językowych, zadawanie pytań, które opierają się na wielu etapach rozumowania, a nawet agregacja wiele wzorce . Inni badacze, tacy jak Yejin Choi grupa na Uniwersytecie Waszyngtońskim skupiła się na testowaniu pospolity sens , który wciąga aspekty modelu świata. Takie wysiłki są pomocne, ale generalnie nadal koncentrują się na kompilowaniu pytań, na które dzisiejsze systemy mają trudności z odpowiedzią.

Proponujemy bardziej fundamentalną zmianę: aby skonstruować bardziej sensowne oceny, badacze NLP powinni zacząć od dokładnego określenia, co powinien zawierać światowy model systemu, aby był użyteczny dla dalszych aplikacji. Takie konto nazywamy szablonem porozumienia.

Jednym szczególnie obiecującym testem dla tego podejścia są historie fikcyjne. Oryginalne historie są bogate w informacje, nie można ich używać w Google i są kluczowe dla wielu aplikacji, co czyni je idealnym sprawdzianem umiejętności czytania ze zrozumieniem. Opierając się na literaturze kognitywnej dotyczącej czytelników, nasz dyrektor generalny David Ferrucci zaproponował czteroczęściowy szablon do testowania zdolności systemu AI do rozumienia historii.

• Przestrzenny: Gdzie wszystko się znajduje i jak jest umieszczone w całej historii?
• Tymczasowy: Jakie wydarzenia mają miejsce i kiedy?
• Przyczynowy: W jaki sposób wydarzenia mechanicznie prowadzą do innych wydarzeń?
• Motywacyjne: Dlaczego postacie decydują się na podejmowanie działań?

Poprzez systematyczne zadawanie tych pytań o wszystkie byty i zdarzenia w opowieści, badacze NLP mogą oceniać zrozumienie systemów w sposób zasadniczy, badając modele świata, których systemy faktycznie potrzebują.

Pocieszające jest widzieć, jak społeczność NLP zastanawia się, czego brakuje w dzisiejszych technologiach. Mamy nadzieję, że takie myślenie doprowadzi do znacznych inwestycji nie tylko w nowe algorytmy, ale także w nowe i bardziej rygorystyczne sposoby mierzenia zrozumienia maszyn. Taka praca może nie trafić na tak wiele nagłówków, ale podejrzewamy, że inwestycja w tym obszarze popchnie pole do przodu przynajmniej tak bardzo, jak kolejny gigantyczny model.

Jesse Dunietz jest naukowcem w Poznanie żywiołów , gdzie zajmuje się opracowywaniem rygorystycznych ocen systemów czytania ze zrozumieniem. Jest również projektantem edukacyjnym dla MIT Pracownia Komunikacji i pisarz naukowy .

ukryć