Oprogramowanie AI idzie w górę w stosunku do uczniów klas czwartych w testach naukowych

O której porze roku futro królika byłoby najgrubsze? Program komputerowy o nazwie Aristo może ci to powiedzieć, ponieważ w podręczniku dla czwartej klasy czytał o niedźwiedziach, które rosną grubsze skóry zimą, i wie, że króliki też są ssakami. Uczy się do standardowych egzaminów z przedmiotów ścisłych w stanie Nowy Jork.

Aristo jest rozwijany przez naukowców z Instytut Allena ds. Sztucznej Inteligencji w Seattle, którzy chcą dać maszynom miarę zdrowego rozsądku na temat świata. Prezes Instytutu, Oren Etzioni , mówi, że najlepszym sposobem na porównanie rozwoju ich cyfrowego potomstwa jest użycie testów przeznaczonych dla dzieci w wieku szkolnym. Próbuje przekonać innych badaczy sztucznej inteligencji do przyjęcia standardowych testów szkolnych jako sposobu mierzenia postępów w tej dziedzinie.

Możemy postawić nasze zrozumienie postępów w sztucznej inteligencji i języku naturalnym na obiektywnych podstawach, mówi Etzioni. Możliwość porównania zalet różnych podejść powinna ułatwić identyfikację obiecujących podejść i przyspieszyć postępy, mówi.

Na początku października Instytut Allena ogłosi konkurs, w którym rzuci wyzwanie naukowcom stworzenie oprogramowania, które będzie odpowiadało na pytania naukowe ósmej klasy. Konkurs odbywa się na stronie data science Kaggle , gdzie uczestnicy będą mogli uzyskać dostęp do tysięcy pytań praktycznych, aby przeszkolić swoje oprogramowanie. Nagroda w wysokości 50 000 $ zostanie przyznana twórcy oprogramowania, które zdobędzie najlepsze wyniki w pytaniach, których wcześniej nie widział.

W tej chwili Aristo nie jest blisko zdania egzaminu z przedmiotów ścisłych czwartej klasy. To wymaga wyniku 65 procent. Aristo może odpowiedzieć tylko na pytania wielokrotnego wyboru, które stanowią około dwóch trzecich testu. Wynika około 75 procent na tych, które nie zawierają diagramów i 45 procent na tych, które je zawierają, mówi Etzioni. Aristo zdobywa 63 procent punktów w ósmej klasie pytań wielokrotnego wyboru, które wykluczają diagramy.

Możesz zobaczyć Arysto odpowiedz na wybrane pytania czwartej klasy na stronie Instytutu Allena. Oprogramowanie wykorzystuje algorytmy rozumowania, aby odpowiadać na pytania z wykorzystaniem wiedzy zebranej z przewodników naukowych i Internetu.

Znalezienie sposobu na umieszczenie nawet odrobiny zdrowego rozsądku w oprogramowaniu jest głównym wyzwaniem w sztucznej inteligencji, które może doprowadzić do tego, że komputery pomogą nam na wiele nowych sposobów. Jeśli chcemy budować systemy, które są solidne i bardziej naturalne, z którymi ludzie będą pracować, będą potrzebować tych umiejętności, mówi Etzioni.

Jest to pogląd podzielany przez innych czołowych badaczy, w tym rozwijające się laboratorium sztucznej inteligencji Facebooka, które chce umożliwić wirtualnym asystentom prowadzenie podstawowej rozmowy (patrz: „Uczenie maszyn do zrozumienia nas”). Jednym z powodów, dla których obecni wirtualni asystenci, tacy jak Siri firmy Apple lub Cortana firmy Microsoft, są bardzo ograniczone, jest to, że muszą sobie radzić bez zdrowego rozsądku. Używają tego, co mówisz, aby wybierać z portfolio wstępnie zaprogramowanych reguł.

Ernest Davis , profesor na Uniwersytecie Nowojorskim, zgadza się, że sposób na porównanie zdrowego rozsądku maszyny może pomóc w tej dziedzinie. Uważa jednak, że testy szkolne nie są dobrym wyborem.

Korzystanie z testów stworzonych dla dzieci ma tę zaletę, że badacze nie czynią przypadkowo lub celowo zbyt łatwym benchmarkiem w swojej dziedzinie, mówi. Ale ponieważ dzieci o wiele lepiej rozumieją świat niż maszyny, testy pisane dla nich nie mogą być użyte do zbadania umiejętności, które są najważniejsze dla postępu w inteligentnym oprogramowaniu, mówi.

To, co jest trudne dla ludzi, bardzo różni się od tego, co jest trudne dla maszyn, mówi Davis, który pracuje również nad zapewnieniem zdrowego rozsądku oprogramowaniu. Standaryzowane testy dla ludzi nie pokrywają zbyt dobrze rodzajów problemów, które są trudne dla komputerów.

Davis mówi, że lepszą alternatywą byłoby tworzenie pytań egzaminacyjnych specjalnie dla maszyn. Jedno z przykładowych pytań, które stworzył, sugeruje, że egzamin naukowy stworzony dla maszyn może wydawać się bardzo prosty dla czwartoklasisty: ulubiona krowa Sally zmarła wczoraj. Krowa prawdopodobnie ożyje a) jutro; b) w ciągu tygodnia; c) w ciągu roku; d) w ciągu kilku lat; e) krowa już nigdy nie będzie żywa.

Etzioni odpowiada, że ​​chociaż pytania egzaminu szkolnego nie sprawdzają bezpośrednio podstawowego zdrowego rozsądku, wymagają go w sposób dorozumiany, ponieważ jest on potrzebny do interpretacji pytań. Tylko za pomocą pytań stworzonych dla ludzi możemy naprawdę powiedzieć, że mierzymy maszyny według naszych własnych standardów, mówi. Zrównanie ludzi i maszyn ma sens.

ukryć