Facebook twierdzi, że jego nowy chatbot pokonuje Google jako najlepszy na świecie

Mimo całego postępu, jaki poczyniły chatboty i wirtualni asystenci, nadal są okropnymi rozmówcami. Większość z nich jest bardzo zorientowana na zadania: ty stawiasz żądanie, a oni spełniają. Niektóre są bardzo frustrujące: wydaje się, że nigdy nie dostają tego, czego szukasz. Inne są strasznie nudne: brakuje im wdzięku ludzkiego towarzysza. To dobrze, gdy chcesz tylko ustawić minutnik. Jednak w miarę jak boty te stają się coraz bardziej popularne jako interfejsy do wszystkiego, od handlu detalicznego przez opiekę zdrowotną po usługi finansowe, niedociągnięcia stają się coraz bardziej widoczne.

Teraz Facebook ma otwarte oprogramowanie nowy chatbot twierdzi, że może mówić o prawie wszystkim w interesujący i interesujący sposób. Blender może nie tylko pomóc wirtualnym asystentom rozwiązać wiele ich niedociągnięć, ale także oznaczać postęp w kierunku większej ambicji napędzającej większość badań nad sztuczną inteligencją: replikacji inteligencji. Dialog jest rodzajem problemu „zakończonej sztucznej inteligencji” – mówi Stephen Roller, inżynier ds. badań z Facebooka, który współprowadził projekt. Aby rozwiązać dialog, musiałbyś rozwiązać całą sztuczną inteligencję, a jeśli rozwiążesz dialog, rozwiązałeś całą sztuczną inteligencję.

Zdolność Blendera wynika z ogromnej skali danych treningowych. Po raz pierwszy został przeszkolony na 1,5 miliarda publicznie dostępnych konwersacji Reddit, aby dać mu podstawę do generowania odpowiedzi w dialogu. Następnie został dopracowany za pomocą dodatkowych zestawów danych dla każdej z trzech umiejętności: rozmowy, które zawierały jakieś emocje , aby nauczyć go empatii (jeśli użytkownik mówi, że dostałem awans, może powiedzieć, Gratulacje!); rozmowy pełne informacji z ekspertem, aby nauczyć go wiedzy; oraz rozmowy między osobami o różnych osobowościach , aby nauczyć go osobowości. Otrzymany model jest 3,6 razy większy niż Chatbot Google Meena , który został ogłoszony w styczniu — tak duży, że nie może zmieścić się na jednym urządzeniu i zamiast tego musi działać na dwóch chipach obliczeniowych.

Przykład rozmowy człowieka z Blenderem.

FACEBOOK

W tym czasie Google ogłosił, że Meena jest najlepszym chatbotem na świecie. Jednak we własnych testach Facebooka 75% oceniających ludzi uznało Blender za bardziej angażujący niż Meena, a 67% uznało, że brzmi bardziej jak człowiek. Chatbot w 49% przypadków oszukał również ludzi, którzy oceniali, że jego dzienniki rozmów były bardziej ludzkie niż dzienniki rozmów między prawdziwymi ludźmi – co oznacza, że ​​między nimi nie było dużej różnicy jakościowej. Google nie odpowiedziało na prośbę o komentarz do czasu publikacji tej historii.

Jednak pomimo tych imponujących wyników, umiejętności Blendera wciąż nie zbliżają się do ludzkich. Do tej pory zespół oceniał chatbota tylko na krótkich rozmowach z 14 turami. Naukowcy podejrzewają, że gdyby gadał dłużej, wkrótce przestałby mieć sens. Te modele nie są w stanie zagłębić się w szczegóły, mówi Emily Dinan, druga liderka projektu. Nie są w stanie zapamiętać historii rozmów dłużej niż kilka tur.

Blender ma również tendencję do halucynacji wiedzy lub zmyślania faktów – bezpośrednie ograniczenie technik głębokiego uczenia używanych do jej budowania. Ostatecznie generuje zdania z korelacji statystycznych, a nie z bazy wiedzy. W rezultacie może połączyć szczegółowy i spójny opis np. znanej celebryty, ale z całkowicie fałszywymi informacjami. Zespół planuje poeksperymentować z integracją bazy wiedzy z generowaniem odpowiedzi chatbota.

Osoby oceniające porównały wieloobrotowe konwersacje z różnymi chatbotami.

FACEBOOK

Innym poważnym wyzwaniem dla każdego otwartego systemu chatbotów jest zapobieganie mówieniu przez niego toksycznych lub stronniczych rzeczy. Ponieważ takie systemy są ostatecznie szkolone w mediach społecznościowych, mogą skończyć się zwracaniem witriolu Internetu. (To niesławne zdarzyło się Chatbot Microsoftu Tay w 2016 r.) Zespół próbował rozwiązać ten problem, prosząc pracowników społecznościowych o odfiltrowanie szkodliwego języka z trzech zestawów danych, których używał do dostrajania, ale nie zrobił tego samego w przypadku zestawu danych Reddit ze względu na jego rozmiar. (Każdy, kto spędził dużo czasu na Reddit, będzie wiedział, dlaczego może to być problematyczne.)

Zespół ma nadzieję poeksperymentować z lepszymi mechanizmami bezpieczeństwa, w tym klasyfikatorem języka toksycznego, który mógłby dwukrotnie sprawdzić odpowiedź chatbota. Badacze przyznają jednak, że takie podejście nie będzie kompleksowe. Czasami zdanie typu „Tak, to świetnie” może wydawać się w porządku, ale w delikatnym kontekście, na przykład w odpowiedzi na rasistowski komentarz, może nabrać szkodliwych znaczeń.

W dłuższej perspektywie zespół Facebook AI jest również zainteresowany opracowywaniem bardziej wyrafinowanych agentów konwersacyjnych, które mogą odpowiadać na wskazówki wizualne, a nie tylko na słowa. Jeden z projektów rozwija na przykład system o nazwie Image Chat, który może prowadzić rozsądną i indywidualną rozmowę na temat zdjęć, które użytkownik może wysłać.

ukryć