211service.com
Jest nowy sposób na oswojenie językowej sztucznej inteligencji, aby cię nie zawstydzała
Obraz tekstu wyjściowego przez model AI GPT-2. Pani Tech
W ciągu ostatnich dwóch lat w poddziedzinie sztucznej inteligencji przetwarzania języka naturalnego nastąpił ogromny postęp. Na przykład model językowy opracowany przez laboratorium badawcze OpenAI z San Francisco, zwany GPT-2, został wykorzystany do generować fikcję , artykuły z fałszywymi wiadomościami i praktycznie nieskończony Wybierz grę tekstową w stylu własnej przygody .
Ale tego rodzaju modele są w gruncie rzeczy ogromnymi systemami przewidywania tekstu, które nie biorą pod uwagę sensu, więc zdania, które tworzą, są bardziej prawdopodobne, że są powierzchownie płynne niż naprawdę znaczące. Trudno powiedzieć modelowi, aby trzymał się konkretnego tematu, na przykład opieki zdrowotnej. Jeszcze modele takie jak GPT-2 nadal można grać wytwarzać rasistowskie i toksyczne produkty, czyniąc je jeszcze mniej użytecznymi.
Teraz naukowcy z Uber AI mają rozwinięty sposób na sterowanie tymi modelami językowymi, ułatwiający użytkownikom określenie tematu, a nawet sentymentu generowanych zdań. Biorąc pod uwagę podpowiedź Kwestia skoncentrowana na, na przykład, modelu, któremu nakazano skoncentrować się na wojsku, może przynieść taki wynik: problem koncentrował się na fakcie, że rząd wydał miliardy na wojsko i że nie mógł rozmieścić wojsk w czas. Gdyby zamiast tego powiedziano jej, aby skupiła się na polityce, wynik mógłby wyglądać mniej więcej tak: kwestia skupiała się na jednej sekcji prawodawstwa. Nie jest jasne, czy komisja zagłosuje za przedłużeniem prawa.
Chociaż model nadal nie rozumie znaczenia, technika zapewnia większą kontrolę. To przybliża nas o krok do wprowadzenia skoków w języku generowanym przez sztuczną inteligencję do aplikacji bardziej specyficznych dla domeny, takich jak chatboty w służbie zdrowia lub usługach finansowych. Może być również używany do odciągania modeli od uzyskiwania obraźliwych wyników.
Technika wykorzystuje dwa oddzielne modele statystyczne. Pierwszy to po prostu oryginalny model języka, taki jak GPT-2, który konstruuje zdania na podstawie prawdopodobieństw pojawienia się pewnych słów obok innych. Drugi model ocenia, jak dobrze dane wyjściowe pierwszego modelu wyświetlają pożądany atrybut — na przykład, czy trzymają się określonego tematu lub określonego sentymentu. Jeśli pożądanym atrybutem jest temat, taki jak przestrzeń, model może ocenić wyniki pierwszego modelu na podstawie liczby odpowiednich słów, które zawiera, takich jak planeta, galaktyka i orbita. Jeśli atrybut jest sentymentem takim jak pozytywność, model oceny można wytrenować, aby oceniać emocjonalną zawartość jego słów.
Kiedy wstępny monit zostanie wprowadzony do pierwszego modelu, rozpoczyna się proces przewidywania kolejnych słów. Ale po każdym słowie sprawdza swój wynik z modelem oceny i dostosowuje się na podstawie informacji zwrotnej. Ostatnie zdanie kończy się pożądanym atrybutem, zachowując jednocześnie płynność gigantycznego modelu językowego.
Nowa metoda jest bardzo elastyczna i może łączyć wiele celów. Można by skierować na przykład na pisanie o gotowaniu z negatywnym tonem. Ma również tę zaletę, że jest wydajny obliczeniowo. Inne metody mogą koncentrować wyniki modelu językowego na konkretnych tematach lub emocjach, ale mogą wymagać znacznego przeszkolenia. W skali GPT-2 jest to kosztowne zarówno pod względem środowiskowym, jak i finansowym. Student taki jak ja nie ma tych zasobów, mówi Sumanth Dathathri, która studiuje w Caltech i jest współautorem artykułu podczas stażu w Uber. Nowa metoda pozwala całkowicie uniknąć ponownego uczenia się, zapewniając większą kontrolę nad istniejącym już modelem.
Zespół przewiduje, że ta technika będzie wykorzystywana w wielu różnych zastosowaniach, czy to w systemach dialogowych, systemach tłumaczeniowych, czy nawet w sztuce. W 2016 roku laboratorium rozwinęło podobna metoda do kontrolowania generowania obrazów, a nie języka. Było wielu artystów, którzy używali go do tworzenia pięknych rzeczy, wspomina Jason Yosinski, członek-założyciel Uber AI, który nadzorował gazetę. Widziałem wielu innych artystów robiących to samo tutaj.
Aby więcej takich historii trafiało bezpośrednio do Twojej skrzynki odbiorczej, zapisz się do naszego nominowanego przez Webby biuletynu AI The Algorithm. Jest wolne.