Baidu ma nową sztuczkę do uczenia AI znaczenia języka

Znaki typograficzne MS Tech / Źródło: Unsplash

Na początku tego miesiąca chiński gigant technologiczny po cichu zdetronizował Microsoft i Google w trwającej rywalizacji w sztucznej inteligencji. Firmą był Baidu, najbliższy chiński odpowiednik Google'a, a konkurencją była General Language Understanding Evaluation, inaczej znana jako GLUE.

GLUE jest powszechnie akceptowanym wzorcem tego, jak dobrze system AI rozumie ludzki język. Składa się z dziewięciu różnych testów, takich jak wybieranie nazw osób i organizacji w zdaniu i zastanawianie się, do czego odnosi się taki zaimek, gdy istnieje wiele potencjalnych poprzedników. Dlatego model języka, który ma wysokie wyniki w GLUE, może obsługiwać różne zadania związane z czytaniem ze zrozumieniem. Z pełnego wyniku 100, przeciętna osoba zdobywa około 87 punktów . Baidu jest teraz pierwszym zespołem, który swoim modelem ERNIE przekroczył 90.

ten publiczna tablica wyników dla GLUE ciągle się zmienia, a wkrótce inny zespół prawdopodobnie przebije Baidu. Ale to, co jest godne uwagi w osiągnięciu Baidu, to to, że ilustruje, w jaki sposób badania nad sztuczną inteligencją korzystają z różnorodności współpracowników. Badacze Baidu musieli opracować technikę specjalnie dla języka chińskiego, aby zbudować ERNIE (co oznacza Enhanced Representation through kNowledge IntEgration). Tak się jednak składa, że ​​ta sama technika sprawia, że ​​lepiej rozumie się również angielski.

Poprzednik ERNIEGO

Aby docenić ERNIE, rozważ model, którym został zainspirowany: BERT firmy Google . (Tak, oboje mają imiona po Ulica Sezamkowa postacie .)

Zanim BERT (Bidirectional Encoder Representations from Transformers) powstał pod koniec 2018 roku, modele w języku naturalnym nie były takie świetne. Byli dobrzy w przewidywaniu następnego słowa w zdaniu – a więc dobrze nadawali się do zastosowań takich jak Autouzupełnianie – ale nie byli w stanie utrzymać ani jednego toku myśli w nawet małym fragmencie. To dlatego, że nie rozumieli znaczenia, takiego jak słowo, do którego może się odnosić.

Ale BERT to zmienił. Poprzednie modele nauczyły się przewidywać i interpretować znaczenie słowa, biorąc pod uwagę tylko kontekst, który pojawił się przed nim lub po nim — nigdy oba jednocześnie. Innymi słowy, byli jednokierunkowy .

Z kolei BERT bierze pod uwagę wcześniejszy kontekst oraz po słowie na raz, robiąc to dwukierunkowy . Robi to za pomocą techniki znanej jako maskowanie. W danym fragmencie tekstu BERT losowo ukrywa 15% słów, a następnie próbuje je odgadnąć od pozostałych. Dzięki temu może dokonywać dokładniejszych prognoz, ponieważ ma dwa razy więcej wskazówek, z których można korzystać. W zdaniu Mężczyzna poszedł do ___ kupić mleko, na przykład zarówno początek, jak i koniec zdania dają wskazówki dotyczące brakującego słowa. ___ to miejsce, do którego możesz się udać i gdzie możesz kupić mleko.

Stosowanie maskowania jest jedną z kluczowych innowacji radykalne ulepszenia w zadaniach w języku naturalnym i jest jednym z powodów, dla których modele takie jak niesławny GPT-2 OpenAI mogą pisać niezwykle przekonującą prozę bez odchodzenia od głównej tezy.

Z angielskiego na chiński iz powrotem

Kiedy badacze Baidu zaczęli opracowywać własny model językowy, chcieli wykorzystać technikę maskowania. Zdali sobie jednak sprawę, że muszą go poprawić, aby dostosować go do języka chińskiego.

W języku angielskim słowo to służy jako jednostka semantyczna — co oznacza, że ​​słowo całkowicie wyrwane z kontekstu nadal zawiera znaczenie. Tego samego nie można powiedzieć o znakach w języku chińskim. Chociaż niektóre postacie mają nieodłączne znaczenie, takie jak ogień (火, huŏ ), woda woda, shuĭ ) lub drewno (木, ślepy ), większość nie, dopóki nie zostaną połączone z innymi. Znak 灵 ( lyng ), na przykład może oznaczać sprytny (机灵, Jiling ) lub dusza (dusza, línghún ), w zależności od dopasowania. I znaki w rzeczowniku własnym, takim jak Boston (波士顿, bōshìdùn ) lub USA (Stany Zjednoczone, mikser ) nie oznaczają tego samego po rozdzieleniu.

Dlatego naukowcy przeszkolili ERNIE w nowej wersji maskowania, która ukrywa ciągi znaków, a nie pojedyncze. Nauczyli go również rozróżniać między znaczącymi a losowymi ciągami, aby mógł odpowiednio maskować właściwe kombinacje znaków. W rezultacie ERNIE lepiej rozumie, w jaki sposób słowa kodują informacje w języku chińskim i jest znacznie dokładniejsze w przewidywaniu brakujących elementów. Okazuje się to przydatne w zastosowaniach takich jak tłumaczenie i wyszukiwanie informacji z dokumentu tekstowego.

Naukowcy bardzo szybko odkryli, że to podejście faktycznie działa lepiej również w języku angielskim. Choć nie tak często, jak chiński, angielski podobnie ma ciągi słów, które wyrażają znaczenie inne niż suma ich części. Rzeczowniki właściwe, takie jak Harry Potter i wyrażenia, takie jak odłupywanie starego bloku, nie mogą być sensownie analizowane przez rozdzielenie ich na pojedyncze słowa.

Tak więc dla zdania:

Harry Potter to seria powieści fantasy napisanych przez J.K. Rowling.

BERT może to zamaskować w następujący sposób:

[maska] Potter to seria [maska] powieści fantasy [maska] autorstwa J. [maska] Rowling.

Ale ERNIE zamiast tego zamaskowałby to w ten sposób:

Harry Potter to [maska] [maska] [maska] powieści fantasy autorstwa [maska] [maska] [maska].

W ten sposób ERNIE uczy się bardziej niezawodnych przewidywań opartych na znaczeniu, a nie na statystycznych wzorcach użycia słów.

Różnorodność pomysłów

Najnowsza wersja ERNIE wykorzystuje również kilka innych technik szkoleniowych. Uwzględnia kolejność zdań i odległości między nimi, na przykład, aby zrozumieć logiczny ciąg akapitu. Co najważniejsze, wykorzystuje metodę zwaną ciągłym szkoleniem, która pozwala mu trenować na nowych danych i nowych zadaniach, nie zapominając o tych, których nauczył się wcześniej. Dzięki temu z czasem staje się coraz lepszy w wykonywaniu szerokiego zakresu zadań przy minimalnej ingerencji człowieka.

Baidu aktywnie korzysta z ERNIE, aby dostarczać użytkownikom bardziej trafne wyniki wyszukiwania, usuwać zduplikowane artykuły w swoim kanale informacyjnym i poprawiać zdolność asystenta AI, Xiao Du, do dokładnego odpowiadania na prośby. Opisała również najnowszą architekturę ERNIE w gazecie które zostaną zaprezentowane na konferencji Association for the Advancement of Artificial Intelligence w przyszłym roku. W ten sam sposób, w jaki ich zespół opierał się na współpracy Google z BERT, naukowcy mają nadzieję, że inni również skorzystają z ich pracy z ERNIE.

Kiedy zaczynaliśmy tę pracę, myśleliśmy konkretnie o pewnych cechach języka chińskiego, mówi Hao Tian, ​​główny architekt Baidu Research. Ale szybko odkryliśmy, że ma zastosowanie poza tym.

Aby więcej takich historii trafiało bezpośrednio do Twojej skrzynki odbiorczej, zapisz się do naszego nominowanego przez Webby biuletynu AI The Algorithm. Jest wolne.

ukryć