Nauka w pigułce

Koncepcyjna ilustracja przedstawiająca komputer, dokumenty i sztuczną inteligencję Minji Księżyc

Zespół naukowców z MIT i innych ośrodków opracował sieć neuronową, która może czytać artykuły naukowe i sporządzać krótkie streszczenie w języku angielskim. Taki system mógłby pomóc redaktorom, pisarzom i naukowcom przeskanować dużą liczbę artykułów, aby wstępnie zorientować się, o co im chodzi. Podejście to można również zastosować w tłumaczeniu maszynowym i rozpoznawaniu mowy.

Profesor fizyki Marin Soljačić, studenci Rumen Dangovski i Li Jing wraz z kolegami opracowali sieci neuronowe, aby rozwiązać drażliwe problemy fizyki, kiedy zdali sobie sprawę, że mogą zastosować część swojej wiedzy z zakresu fizyki do ulepszenia niektórych algorytmów sztucznej inteligencji.

Sieci neuronowe naśladują jeden sposób, w jaki ludzie się uczą: komputer analizuje wiele różnych przykładów i identyfikuje kluczowe wzorce. Chociaż takie systemy są szeroko stosowane do rozpoznawania wzorców, często mają trudności z skorelowaniem informacji z długich ciągów danych, takich jak praca naukowa. Inne techniki używane do poprawy tej zdolności — w tym jedna zwana długotrwałą pamięcią krótkoterminową (LSTM) — nie radzą sobie z zadaniami przetwarzania języka naturalnego, które wymagają naprawdę długotrwałej pamięci.

Podczas gdy sieci neuronowe są zazwyczaj oparte na mnożeniu macierzy, zespół Soljačića opracował sieć opartą na wektorach obracających się w przestrzeni wielowymiarowej. Wykorzystuje to, co nazywają rotacyjną jednostką pamięci (RUM), którą wymyślili, aby pomóc w niektórych trudnych problemach fizycznych, takich jak zachowanie światła w złożonych materiałach inżynierskich. Następnie przystosowali go do przetwarzania w języku naturalnym, aby pomóc w zapamiętywaniu i przywoływaniu.

Zasadniczo każde słowo w tekście jest reprezentowane przez wektor. Każde kolejne słowo przesuwa ten wektor w jakimś kierunku, reprezentowanym w teoretycznej przestrzeni, która ostatecznie może mieć tysiące wymiarów. Pod koniec procesu końcowy wektor lub zbiór wektorów jest tłumaczony z powrotem na odpowiadający mu ciąg słów.

Kiedy zespół przesłał tę samą informację prasową na temat artykułu badawczego przez konwencjonalną sieć neuronową opartą na LSTM i przez system oparty na RUM, system LSTM dał to powtarzalne i dość techniczne podsumowanie: Baylisascariasis, zabija myszy, zagraża szczurowi leśnemu allegheny i powoduje choroby takie jak ślepota lub poważne konsekwencje. Ta infekcja, zwana baylisascariasis, zabija myszy, zagraża szczurowi leśnemu allegheny i powoduje choroby takie jak ślepota lub poważne konsekwencje. Ta infekcja, zwana baylisascariasis, zabija myszy, zagrażając algheny woodrat.

System RUM dał znacznie bardziej czytelne podsumowanie: Szopy miejskie mogą zarażać ludzi bardziej niż wcześniej zakładano. 7 procent ankietowanych osób uzyskało pozytywny wynik testu na obecność przeciwciał glisty szopa pracza. Ponad 90 procent szopów w Santa Barbara jest żywicielem tego pasożyta.

Od tego czasu naukowcy rozszerzyli system, aby mógł podsumowywać całe artykuły, a nie tylko komunikaty prasowe.

ukryć