Nowa, wciągająca klasa wykorzystuje sztuczną inteligencję i VR do nauczania języka mandaryńskiego

Obraz uczniów stojących w wciągającym środowisku wirtualnym Instytut Politechniczny Rensselaer

Często najlepszym sposobem na naukę języka jest zanurzenie się w środowisku, w którym ludzie nim mówią. Ciągła ekspozycja, wraz z presją komunikowania się, pomaga szybko przyswoić i przećwiczyć nowe słownictwo. Ale nie każdy ma możliwość życia lub studiowania za granicą.

W ramach nowej współpracy z IBM Research, Rensselaer Polytechnic Institute (RPI), uniwersytet z siedzibą w Troy w stanie Nowy Jork, oferuje teraz swoim studentom studiującym język chiński inną opcję: wirtualne środowisko 360 stopni, które teleportuje ich na ruchliwe ulice Pekinu lub zatłoczona chińska restauracja. Uczniowie mogą targować się ze sprzedawcami ulicznymi lub zamawiać jedzenie, a środowisko jest wyposażone w różne możliwości sztucznej inteligencji, aby reagować na nie w czasie rzeczywistym. Chociaż klasa jest w dużej mierze eksperymentalna, jest używana po raz pierwszy na sześciotygodniowym kursie zaliczeniowym na uniwersytecie tego lata.

Projekt został zainspirowany przez dwóch członków wydziału RPI, którzy często korzystali z gier fabularnych, aby pomóc swoim uczniom w nauce języka chińskiego. Równolegle w ciągu ostatnich kilku lat kilka studia odkryli, że interaktywne środowiska uczenia się mogą zwiększyć rozumienie i zapamiętywanie języka. Jedno badanie opublikowane w 2018 r. również że nauka japońskiego w wirtualnym środowisku 3D sprawiła, że ​​uczniowie chętniej przyswajali słownictwo, które napotkali przypadkowo podczas symulacji. Na podstawie tych pomysłów profesorowie nawiązali współpracę z IBM Research, aby zbadać, czy mogą odtworzyć takie korzyści dla własnych studentów.

Oprócz otaczania uczniów cyfrowymi projekcjami sceny, środowisko wykorzystuje kilka rodzajów czujników, aby dynamicznie dostosowywać się do słów i działań uczniów. Mikrofony noszone przez uczestników przesyłają dźwięk bezpośrednio do algorytmów rozpoznawania mowy. Kamery śledzą ich ruchy i gesty, aby zarejestrować, kiedy wskazują różne obiekty lub podchodzą do różnych wirtualnych agentów. Jeśli uczeń wskazuje na danie w restauracji i pyta, co to jest, wirtualny agent może odpowiedzieć, podając nazwę i opis. Technologia generowania narracji pozwala również każdemu agentowi konstruować bardziej wyrafinowane odpowiedzi na pytania z rękawa (Jaka jest historia dania?) przy użyciu wiedzy z Wikipedii. (Tematy rozmów są jednak nadal nieco ograniczone do dowolnego zadania, które uczeń próbuje wykonać).

Kamery i czujniki śledzą gesty uczniów, dzięki czemu mogą swobodnie wskazywać obiekty w scenie, aby się zaangażować. Instytut Politechniczny Rensselaer

Wiele technologii w środowisku to produkty dostępne na rynku, które zostały wplecione w spójną całość. Ale kilka musiało zostać opracowanych specjalnie dla tego projektu. Na przykład chiński mandaryński ma pięć tonów, które stanowią wyzwanie dla wielu nowych uczniów, ale są kluczowe dla przekazania znaczenia. Powiedz słowo sprzedaj (卖 szlifowanie ) trochę się nie zgadza i możesz w końcu powiedzieć kup (买 mi ) zamiast. Dlatego naukowcy stworzyli algorytm do analizy tonów w wymowie uczniów. Porównuje je z native speakerami i pokazuje, czym się różnią, a następnie zapewnia dźwiękową i wizualną informację zwrotną bezpośrednio w środowisku. Pozwala uczniom zapytać wirtualnego agenta, jak coś powiedzieć i natychmiast rozpocząć ćwiczenie nowego słownictwa.

Hui Su, dyrektor Laboratorium Systemów Cognitive and Immersive, współpracującego między IBM Research i RPI, które kierowało inicjatywą, mówi, że jego zespół jest wciąż na wczesnym etapie rozumienia, na ile jest skuteczny. Jednak podczas pilotażu przeprowadzonego pod koniec 2017 r. naukowcy stwierdzili jakościowo, że zwiększyło to zaangażowanie uczniów i radość z nauki języków oraz pomogło im szybko przyswoić nowe słowa.

Na przykład przed ćwiczeniem z zamawiania restauracji uczniowie nie byli uczeni, jak płacić za jedzenie, ale dzięki obserwowaniu rówieśników i rozmowie z wirtualnymi agentami, wielu nauczyło się niezbędnego do tego słownictwa. To była trochę niespodzianka, mówi Su. Jeden z uczniów skomentował, że tak powinno się uczyć języka – dodaje.

Algorytm daje uczniom wizualną informację zwrotną na temat ich wymowy. Instytut Politechniczny Rensselaer

W pierwszym roku nowy kurs będzie prawie przez połowę czasu wykorzystywał środowisko wirtualne, a przez resztę tradycyjną klasę, chociaż ten układ może się zmienić w przyszłości.

Jeśli klasa dostarcza mocnych dowodów na poprawę wyników uczenia się uczniów, może służyć jako model dla innych. Najbardziej oczywistym pomysłem byłoby rozszerzenie go na inne języki. Ale może być również wykorzystywany poza uniwersytetami do trenowania kadry kierowniczej, szkolenia personelu rządowego lub prowadzenia jakichkolwiek innych działań przygotowawczych, które mogłyby skorzystać z symulacji scenariuszy i odgrywania ról.

Ostatecznie inicjatywa pomoże naukowcom w długoterminowej misji zrozumienia, w jaki sposób środowiska kognitywne i wciągające mogą wpływać na uczenie się, współpracę i tworzenie sensów, mówi Su.

Aby więcej takich historii trafiało bezpośrednio do Twojej skrzynki odbiorczej, zapisz się do naszego nominowanego przez Webby biuletynu AI The Algorithm. Jest wolne.

ukryć