211service.com
Asystenci AI mówią głupie rzeczy, a my zaraz dowiemy się dlaczego
Brat Polska | Flickr
Siri i Alexa są wyraźnie dalekie od ideału, ale jest nadzieja, że stały postęp w uczeniu maszynowym sprawi, że wkrótce staną się elokwentnymi pomocnikami. Nowy test może jednak pomóc wykazać, że do opanowania języka przez systemy sztucznej inteligencji wymagane jest zupełnie inne podejście.
Opracowany przez naukowców z Instytut Allena ds. AI (AI2), organizacja non-profit z siedzibą w Seattle, Wyzwanie rozumowania AI2 (ARC) będzie stawiać pytania wielokrotnego wyboru z przedmiotów ścisłych na poziomie szkoły podstawowej. Każde pytanie będzie wymagało zrozumienia, jak działa świat. Projekt jest opisany w powiązanym artykuł naukowy (pdf).
Oto jedno pytanie: Który przedmiot poniżej nie jest wykonany z materiału wyhodowanego w naturze? (A) bawełniana koszula (B) drewniane krzesło (C) plastikowa łyżka (D) kosz na trawę
Takie pytanie jest łatwe dla każdego, kto wie, że plastik to nie coś, co rośnie. Odpowiedź nawiązuje do zdroworozsądkowego obrazu świata, który posiadają nawet małe dzieci.
Właśnie tego zdrowego rozsądku brakuje sztucznej inteligencji stojącej za asystentami głosowymi, chatbotami i oprogramowaniem do tłumaczenia. I to jeden z powodów, dla których tak łatwo się mylą.
Systemy językowe, które opierają się na uczeniu maszynowym, mogą często dostarczać przekonujących odpowiedzi na pytania, jeśli widziały już wiele podobnych przykładów. Na przykład program przeszkolony na wielu tysiącach czatów wsparcia IT może w ograniczonych sytuacjach uchodzić za pomocnika pomocy technicznej. Ale taki system zawaliłby, gdyby zadano mu coś, co wymagałoby szerszej wiedzy.
Musimy użyć naszego zdrowego rozsądku, aby wypełnić luki wokół języka, który widzimy, aby stworzyć spójny obraz tego, co zostało powiedziane, mówi Peter Clark, główny badacz projektu ARC. Maszyny nie mają tego zdrowego rozsądku i dlatego widzą tylko to, co jest wyraźnie napisane, i pomijają wiele implikacji i założeń, które leżą u podstaw tekstu.
Nowy test jest częścią inicjatywy AI2 mającej na celu nasycenie systemów AI takim rozumieniem świata. Jest to ważne, ponieważ określenie, jak dobrze system językowy rozumie to, co mówi, może być trudne.
Na przykład w styczniu badacze z Microsoftu i innej grupy z Alibaba opracowali programy pytań i odpowiedzi, które przewyższały ludzi w prostym teście zwanym Zestawem Danych Odpowiedzi na Pytania Stanforda. Postępom tym towarzyszyły nagłówki głoszące, że programy AI mogą teraz czytać lepiej niż ludzie. Ale programy nie mogły odpowiadać na bardziej złożone pytania ani czerpać z innych źródeł wiedzy.
Firmy technologiczne będą w ten sposób nadal reklamować możliwości systemów AI. Microsoft ogłasza dzisiaj, że opracował oprogramowanie zdolne do tłumaczenia angielskich wiadomości na chiński i odwrotnie, z wynikami, które niezależni wolontariusze uważają za równe pracy profesjonalnych tłumaczy. Badacze firmy wykorzystali zaawansowane techniki głębokiego uczenia się, aby osiągnąć nowy poziom dokładności. Chociaż jest to potencjalnie bardzo przydatne, system miałby problemy, gdyby został poproszony o przetłumaczenie rozmowy lub tekstu z nieznanej domeny, takiej jak notatki medyczne.
Gary Marcus , profesor NYU, który argumentował za znaczeniem zdrowego rozsądku w sztucznej inteligencji, jest zachęcony przez wyzwanie AI2. Myślę, że to świetne antidotum na powierzchowne testy porównawcze, które stały się tak powszechne w dziedzinie uczenia maszynowego, mówi. Powinno to naprawdę zmusić badaczy AI do poprawy ich gry.