Sztuczna inteligencja pomaga podsumować najnowsze osiągnięcia AI

Pani Tech | howadesign/rzeczownik projekt

Wiadomości: Nowy model AI streszczenia literatury naukowej mogą teraz pomóc naukowcom w przedzieraniu się i identyfikowaniu najnowszych, nowatorskich artykułów, które chcą przeczytać. 16 listopada Allen Institute for Artificial Intelligence (AI2) wprowadził model na swój flagowy produkt, Uczony semantyczny , oparta na sztucznej inteligencji wyszukiwarka artykułów naukowych. Zapewnia jednozdaniowe podsumowanie tl;dr (za długie; nie czytałem) pod każdym artykułem informatycznym (na razie), gdy użytkownicy korzystają z funkcji wyszukiwania lub przechodzą na stronę autora. Praca została również przyjęta na konferencję Empirical Methods for Natural Language Processing w tym tygodniu.

Zrzut ekranu funkcji tl;dr w Semantic Scholar.

AI2

Kontekst: W erze przeładowania informacjami używanie sztucznej inteligencji do podsumowywania tekstu było popularnym problemem przetwarzania języka naturalnego (NLP). Istnieją dwa ogólne podejścia do tego zadania. Jednym z nich jest ekstrakcyjny, który ma na celu znalezienie zdania lub zestawu zdań z tekstu dosłownie, który oddaje jego istotę. Druga nazywana jest abstrakcyjną, która polega na generowaniu nowych zdań. Podczas gdy techniki ekstrakcyjne były kiedyś bardziej popularne ze względu na ograniczenia systemów NLP, postępy w generowaniu języka naturalnego w ostatnich latach sprawiły, że język abstrakcyjny jest znacznie lepszy.

Jak to zrobili: Abstrakcyjny model AI2 wykorzystuje to, co znane jest jako transformator — rodzaj architektury sieci neuronowej wynalezionej po raz pierwszy w 2017 roku, która od tego czasu napędza wszystkie główne postępy w NLP, w tym GPT-3 firmy OpenAI . Naukowcy najpierw nauczyli transformator na podstawie ogólnego zbioru tekstu, aby ustalić jego podstawową znajomość języka angielskiego. Proces ten nazywany jest treningiem wstępnym i jest częścią tego, co sprawia, że ​​transformatory są tak potężne. Następnie dopracowali model — innymi słowy, przeszkolili go dalej — w zakresie konkretnego zadania, jakim jest podsumowanie.

Dane dostrajające: Naukowcy najpierw stworzyli zbiór danych o nazwie SciTldr, który zawiera około 5400 par artykułów naukowych i odpowiadające im podsumowania w jednym zdaniu. Aby znaleźć te wysokiej jakości streszczenia, najpierw polowali na nie na OpenReview, publicznej platformie do składania referatów na konferencję, na której badacze często publikują własne, jednozdaniowe streszczenie swoich prac. Dało to kilka tysięcy par. Następnie badacze zatrudnili komentatorów, aby podsumowali więcej artykułów, czytając i dalej kondensując streszczenia, które zostały już napisane przez recenzentów.

Aby jeszcze bardziej uzupełnić te 5400 par, naukowcy skompilowali drugi zestaw danych obejmujący 20 000 par artykułów naukowych i ich tytułów. Badacze wyczuli, że skoro same tytuły są formą podsumowania, dodatkowo pomogłyby modelowi poprawić jego wyniki. Zostało to potwierdzone eksperymentalnie.

Funkcja tl; dr jest szczególnie przydatna do przeglądania dokumentów na urządzeniach mobilnych.

AI2

Ekstremalne podsumowanie: Podczas gdy wiele innych wysiłków badawczych podjęło zadanie podsumowania, ten wyróżnia się poziomem kompresji, jaki może osiągnąć. Artykuły naukowe zawarte w zbiorze danych SciTldr mają średnio 5000 słów. Ich podsumowania w jednym zdaniu wynoszą średnio 21. Oznacza to, że każdy artykuł jest skompresowany średnio 238 razy w stosunku do jego rozmiaru. Kolejna najlepsza metoda abstrakcyjna polega na kompresji artykułów naukowych średnio tylko 36,5 razy. Podczas testów weryfikatorzy ocenili również podsumowania modelu jako bardziej pouczające i dokładne niż poprzednie metody.

Następne kroki: Jak mówi Daniel Weld, profesor na Uniwersytecie Waszyngtońskim i kierownik grupy badawczej Semantic Scholar, AI2 już teraz pracuje nad ulepszeniem swojego modelu na wiele sposobów. Po pierwsze, planują wytrenować model, aby obsługiwał coś więcej niż tylko artykuły z dziedziny informatyki. Po drugie, być może częściowo ze względu na proces szkolenia, odkryli, że podsumowania tl;dr czasami za bardzo pokrywają się z tytułem artykułu, zmniejszając ich ogólną użyteczność. Planują zaktualizować proces uczenia modelu, aby ukarać takie nakładanie się, aby z czasem nauczył się unikać powtórzeń.

W dłuższej perspektywie zespół będzie również pracował nad podsumowaniem wielu dokumentów naraz, co może być przydatne dla naukowców wchodzących w nową dziedzinę, a być może nawet dla decydentów, którzy chcą szybko przyspieszyć. Jesteśmy naprawdę podekscytowani, że możemy tworzyć spersonalizowane briefingi badawcze, mówi Weld, w których możemy podsumować nie tylko jeden artykuł, ale zestaw sześciu ostatnich postępów w określonym podobszarze.

ukryć