Google twierdzi, że jego nowy chatbot Meena jest najlepszy na świecie

Kategoria: Sztuczna inteligencja Opublikowany 30 stycznia

Firma Google wydała chatbota zasilanego siecią neuronową o nazwie Meena twierdzi, że jest lepszy niż jakikolwiek inny chatbot.

Połykanie danych: Meena została przeszkolona w zakresie 341 gigabajtów publicznych rozmów w mediach społecznościowych — 8,5 razy więcej danych niż GPT-2 OpenAI. Google twierdzi, że Meena może mówić praktycznie o wszystkim, a nawet potrafi wymyślać (złe) żarty .

Dlaczego jest to ważne: Otwarta rozmowa, która obejmuje szeroki zakres tematów, jest trudna, a większość chatbotów nie nadąża. W pewnym momencie większość mówi rzeczy, które nie mają sensu lub ujawniają brak podstawowej wiedzy o świecie. Chatbot, który unika takich błędów, znacznie przyczyni się do tego, że sztuczna inteligencja poczuje się bardziej ludzka, a postacie w grach wideo będą bardziej realistyczne.

Sens i specyfika: Aby przetestować Meenę, Google opracował nową metrykę, którą nazywa średnią wrażliwością i szczegółowością (SSA), która wychwytuje ważne atrybuty naturalnych rozmów, takie jak to, czy każda wypowiedź ma sens w kontekście — co potrafi wiele chatbotów — i jest specyficzne dla tego, co właśnie zostało powiedziane, co jest trudniejsze.

Co masz na myśli? Na przykład, jeśli powiesz, że lubię tenisa, a chatbot odpowie To fajnie, odpowiedź ma sens, ale nie jest konkretna. Wiele chatbotów polega na takich sztuczkach, aby ukryć fakt, że nie wiedzą, o czym mówisz. Z drugiej strony odpowiedź taka jak Ja też – nie mogę się nacieszyć Rogerem Federerem jest specyficzna. Google wykorzystał crowdworkers do generowania przykładowych rozmów i oceniania wypowiedzi w około 100 rozmowach. Meena uzyskała wynik SSA na poziomie 79%, w porównaniu z 56% dla Mitsuku, najnowocześniejszego chatbota, który przez ostatnie cztery lata zdobywał Nagrodę Loebnera. Nawet partnerzy do rozmów międzyludzkich zdobyli w tym nowym teście tylko 86%.

Czy mogę porozmawiać z Meeną? Jeszcze nie. Google twierdzi, że nie wyda publicznego demo, dopóki nie sprawdzi modelu pod kątem bezpieczeństwa i stronniczości, co prawdopodobnie jest dobrą rzeczą. Kiedy Microsoft wypuścił swojego chatbota Tay na Twitterze w 2016 roku, w ciągu kilku godzin zaczął wyrzucać rasistowskie, mizoginistyczne inwektywy.