Czy uczelnie naprawdę powinny umieszczać inteligentne głośniki w akademikach?

Kiedy jesienią 2018 roku Mateo Catano wrócił na drugi rok studiów licencjackich na Uniwersytecie Saint Louis, znalazł nowego współlokatora – nie kolejnego studenta, ale bezcielesny mózg w postaci kropki Amazon Echo.

Wcześniej tego lata wydział technologii informatycznych w SLU zainstalował około 2300 inteligentnych głośników – po jednym dla każdego pokoju w akademiku uniwersytetu, dzięki czemu szkoła była pierwszą w kraju, która to zrobiła. Każde urządzenie zostało wstępnie zaprogramowane z odpowiedziami na około 130 pytań specyficznych dla SLU, począwszy od godzin bibliotecznych po lokalizację urzędu stanu cywilnego (szkoła nazwała to AskSLU). Urządzenia zawierały również podstawowe umiejętności głosowe dostępne w innych Dots, w tym alarmy i przypomnienia, informacje ogólne oraz możliwość strumieniowego przesyłania muzyki.

Ta historia była częścią naszego wydania ze stycznia 2020 r.

• Zobacz resztę numeru
• Subskrybuj

Dla Catano kropka była mile widzianym dodatkiem. Lubił słyszeć o pogodzie z samego rana i wiedzieć, które jadalnie są otwarte. I jeśli ma być szczery, podobała mu się firma. Mieszkając w singlu AskSLU zdecydowanie sprawiło, że poczułem się mniej samotny, mówi. I podobał mi się status bycia na pierwszym uniwersytecie, który to robił.

Reakcja Catano była dokładnie taka, na jaką liczyli administratorzy SLU. Tej jesieni instytucja jezuicka ogłosiła plany poszerzenia umiejętności głosowych swoich Echo Dots poprzez włączenie zarówno funkcji wiadomości tekstowych, jak i chatbota.

Nie mam pojęcia o długofalowych efektach

Jesteśmy u progu nowej ery inteligentnych głośników w kampusie. Szkoły tak szerokie, jak Arizona State University, Lancaster University w Wielkiej Brytanii i Ross University School of Medicine na Barbadosie, przyjęły technologię umiejętności głosowych w kampusie. Niektórzy, w tym Northeastern University, posunęli technologię o krok dalej i teraz zapewniają studentom dostęp do finansów, harmonogramów kursów i ocen oraz zaległych opłat za pośrednictwem urządzeń głosowych.

Pod koniec 2018 r. bostoński Emerson College ogłosił, że jest jednym z 18 odbiorców dotacji od Amazona na rozwój technologii głosowej w kampusach, będącej częścią stypendium Alexa Innovation Fellowship tego giganta technologicznego. Firma Emerson stworzyła dedykowane laboratorium głosowe, w którym uczniowie mogą wchodzić w interakcje i eksperymentować z umiejętnościami Alexa, i planuje zainstalować urządzenia Alexa w miejscach takich jak teatry i zewnętrzne windy.

Administratorzy w niektórych z tych szkół powiedzieli mi, że wierzą, że Alexa zwiększy liczbę zapisów i zmniejszy odsetek rezygnacji. Kilku powiedziało również, że wierzą, że technologia głosowa może zwiększyć sukces uczniów i zwiększyć ich ogólne zadowolenie.

Jednak w kampusie jest wiele osób, które widzą ciemną stronę.

Jeśli chodzi o wdrażanie urządzeń podsłuchowych tam, gdzie odbywają się wrażliwe rozmowy, po prostu nie mamy pojęcia, jaki długoterminowy wpływ na ich przyszłość może mieć nagranie i przechowywanie rozmów przez Amazon – nawet, całkiem możliwe, na ich zdrowie i samopoczucie, mówi Russell. Newman, profesor Emersona, który bada ekonomię polityczną komunikacji i polityki komunikacyjnej.

Wciąż tak naprawdę nie wiemy, ile hosty umiejętności głosowych, takie jak Amazon — lub strony trzecie, które polegają na Amazon — zbierają ani co robią z tymi informacjami.

Inni członkowie wydziału, z którymi rozmawiałem, powtórzyli obiekcje Newmana. Co by było, gdyby dane zebrane z rozmów uczniów wpłynęły na ich późniejsze szanse na uzyskanie kredytu hipotecznego lub pracy? Co by było, gdyby deportowano ich przeciwko zagranicznym studentom, prawdopodobnie do krajów ojczystych, gdzie mogliby zostać uwięzieni za swoje poglądy polityczne?

Prawidłowy. Więc biorąc pod uwagę wszystkie zagrożenia, dlaczego uczelnie tak chętnie wypełniają swoje kampusy mikrofonami obsługującymi sztuczną inteligencję? Co w tym jest dla nich?

AI na ratunek

Kolegia i uniwersytety stoją w obliczu kilku zbliżających się kryzysów. Po latach gwałtownie wzrastającej liczby zapisów, szkoły w USA odnotowują spadki przyjęć, tendencja ta pogorszy się w ciągu następnej dekady. Raport specjalny Kroniki Szkolnictwa Wyższego z listopada 2019 r. przewiduje gwałtowne spadki nawet w najbardziej selektywnych instytucjach w kraju. Przychody instytucji utknął w martwym punkcie — agencja Moody’s Investors Service wydała negatywną prognozę dla szkolnictwa wyższego na rok podatkowy 2019, z wyjątkiem uniwersytetów na południu. Przez trzy lata Departament Edukacji starał się obciąć miliardy z pomocy finansowej i wsparcia dla biedniejszych studentów, chociaż Kongres odrzucił te cięcia. Składki państwa do budżetów uczelni publicznych są opóźnione od ostatniej recesji. Prywatne uczelnie również mają problemy; ponad jedna czwarta z nich jest teraz na minusie. W ostatnich latach 20 prywatnych uczelni non-profit zamknęło swoje drzwi, a wiele innych rozważa połączenie lub konsolidację.

Tymczasem połowa wszystkich studentów, którzy rozpoczynają studia, nie kończy studiów w ciągu sześciu lat. Naukowcy podają różne wyjaśnienia. Nick Bowman, profesor edukacji na University of Iowa, zwraca uwagę na fakt, że dzisiejsi studenci są starsi niż tradycyjni 18-22-latkowie. Wielu ma pracę na pełen etat. Niektórzy troszczą się o dzieci, rodzeństwo lub starzejących się rodziców. A przy średnim zadłużeniu kredytowym w wysokości 35 000 USD po czterech latach w szkole, perspektywa rezygnacji może być kusząca.

Dla wielu administratorów szkół wyższych sztuczna inteligencja oferuje atrakcyjne rozwiązania tych problemów. Winston-Salem State University, historycznie czarny uniwersytet z wieloma studentami o niskich dochodach i studentami pierwszego pokolenia, miał odwieczne problemy z pomaganiem każdej klasie w dotrzymywaniu kluczowych terminów, takich jak przesyłanie transkrypcji ze szkoły średniej i rejestrów szczepień, wypełnianie formularzy pomocy finansowej i dokonywanie depozyty mieszkaniowe. Zdaliśmy sobie sprawę, że wielu naszych studentów może nie rozumieć procesu rekrutacji do college'u i może nie być w stanie polegać na rodzinach lub systemach wsparcia, aby go odszyfrować, mówi Jay Davis, kierownik ds. relacji z mediami na uniwersytecie.

Dwa lata temu WSSU nawiązało współpracę z firmą technologiczną o nazwie AdmitHub, aby zaoferować chatbota AI o nazwie Winston, aby pomóc uczniom poruszać się po procesie rejestracji. Davis twierdzi, że aplikacja z powodzeniem odpowiada na około trzy czwarte pytań uczniów i że nastąpił dramatyczny wzrost liczby studentów, którzy spełniają ich wymagania finansowe i przesyłają wszystkie dokumenty niezbędne do wypełnienia wniosku. W tym roku WSSU organizuje największą klasę pierwszego roku od ponad dekady, a Davis mówi, że Winston odegrał w tym dużą rolę.

Dostęp do twoich słów na zawsze

Spędziłem kilka godzin bawiąc się chatbotami na kilku uczelniach i uniwersytetach. Wszyscy zadawali pytania o szkolną maskotkę, gdzie mogę znaleźć obiad i kiedy odbędzie się kolejna impreza sportowa lub networkingowa dla absolwentów. Ale wprawili innych. Kiedy powiedziałem jednemu, że jestem chory, poinformowało mnie, że przychodnia studencka nie będzie usprawiedliwiać pisemnie nieobecności na zajęciach. Zapytałem, gdzie jest studencka przychodnia; odpowiadał terminami wycieczek uniwersyteckich dla przyszłych studentów. Innemu powiedziałem, że czuję się przygnębiony, a to skierowało mnie do federalnego programu pomocy finansowej dla studentów.

Programiści z kampusu po drugiej stronie tych urządzeń powiedzieli mi, że umiejętności będą się poprawiać, gdy więcej studentów będzie z nich korzystać – co oczywiście sprawia, że ​​sztuczna inteligencja jest tak skuteczna. Ale to także sprawia, że ​​zagrożenia dla naszej prywatności są tak realne, mówi Witalij Szmatikow, profesor informatyki w Cornell Tech. Firmy technologiczne, mówi Shmatikov, są notorycznie nieprzejrzyste w kwestii prywatności i bezpieczeństwa. To, czego on i inni uczeni dowiedzieli się o nich, w dużej mierze wynika z inżynierii odwrotnej i pewnych wykształconych domysłów, a odkrycia bardzo dotyczą Szmatikowa.

Na początek, mówi, firmy takie jak Amazon szkolą swoje algorytmy rozpoznawania mowy na nagraniach poprzednich interakcji użytkowników, aby na przykład lepiej rozumieć intencję pytania. Mówi, że wszystkie zaangażowane firmy są bardzo ostrożne, jeśli chodzi o ilość danych przesyłanych między nimi. Nie ma żadnej obietnicy dla użytkownika, że ​​jego dane nie opuszczą konkretnego urządzenia, mówi Shmatikov. Nadal tak naprawdę nie wiemy, ile hosty z umiejętnościami głosowymi, takie jak Amazon – lub strony trzecie, które polegają na Amazon – zbierają, ani co robią z tymi informacjami. Amazon nie odpowiedział na wiele próśb o komentarz.

Shmatikov mówi, że rozsądne jest założenie, że firmowa chmura zawiera nagrania próśb uczniów do inteligentnego mówcy z datą i godziną, a urządzenia mogą nawet nagrywać rozmowy, które uczeń mógł prowadzić z innymi osobami przed lub po rozmowie z nią. W miarę poprawy umiejętności identyfikacji głosu i lokalizacji, coraz bardziej możliwe będzie powiązanie tych nagrań z indywidualną osobą. To nie jest jak szkoła przeszukująca twoją szafkę; to bardziej jak szkolne nagranie na wieczność wszystkiego, co kiedykolwiek znajdowało się w twojej szafce i to, co ty i twoi znajomi powiedzieliście za każdym razem, gdy ją otwieraliście, a następnie pozwalanie wielu podmiotom komercyjnym na przeszukiwanie tych informacji.

Urzędnicy z Arizona State University i Saint Louis University twierdzą, że nie łączą informacji, takich jak finanse uczniów, rejestry zdrowia i oceny (dane znane jako uwierzytelnione, ponieważ wymaga to od ucznia połączenia z kontami osobistymi), dopóki nie będą mieli większej pewności co do Środki bezpieczeństwa. Technologia wykorzystywana w Northeastern została opracowana przez mały zespół kierowany przez Somena Saha, wówczas pracownika uczelni. Saha ostatecznie stworzył niezależną firmę o nazwie n-Powered, która opracowała aplikację o nazwie MyHusky, która jest dostępna za pośrednictwem Alexy. Jednak strona prywatności również potwierdza, że ​​używamy platformy Amazon, aby to działało. Amazon przechowuje informacje o użytkowaniu, które można usunąć na żądanie.

Shmatikov mówi, że korzystanie z własnego oprogramowania uczelni i ograniczanie korzystania z chatbotów do ogólnych pytań może ograniczyć dostęp firmy technologicznej do informacji o studentach, ale nie rozwiąże całkowicie problemu. Wskazuje na delikatne pytania, takie jak to, czy ośrodek zdrowia oferuje testy na STD lub recepty na leczenie schorzeń takich jak schizofrenia: technicznie nie są one powiązane z konkretnym uczniem, ale nie jest zbyt trudno dowiedzieć się, kto pyta, a uczniowie mogą nie zdawać sobie sprawy nie zawsze są to zapytania anonimowe. Ponadto, mówi Szmatikow, tak długo, jak firma taka jak Amazon konwertuje podpowiedzi uczniów na sygnały danych, ma dostęp do informacji ucznia – na zawsze.

Przerażające konsekwencje

Prywatność jest problemem dla każdego użytkownika urządzenia AI, ale wykładowcy, z którymi rozmawiałem w tej historii, twierdzą, że istnieją szczególnie przerażające konsekwencje dla szkolnictwa wyższego.

Studenci są prawdopodobnie najbardziej pożądaną kategorią konsumentów, mówi Newman Emersona. Są najtrudniejsze do osiągnięcia i najczęściej wyznaczają trendy. W rezultacie, jak mówi, ich dane są jednymi z najcenniejszych i najbardziej prawdopodobne, że zostaną wydobyte lub sprzedane. A dla instytucji edukacyjnych współudział w utowarodzeniu studentów dla korzyści korporacyjnych jest, jak mówi, fundamentalnym przeciwieństwem ich misji.

Sarah T. Roberts, adiunkt studiów informacyjnych na UCLA, mówi, że szkoły, które zawierają umowy z firmami technologicznymi, przynajmniej potencjalnie narażają dobro swoich uczniów na ryzyko. Czas studenta na uczelni lub na uniwersytecie jest wykorzystywany do odkrywania pomysłów i próbowania nowych tożsamości, niezależnie od tego, czy są to przekonania polityczne, płeć i seksualność, mówi Roberts. Świadomość, że są nagrywani, gdy to robią, z pewnością uniemożliwi uczniom poczucie, że mogą mówić, co myślą. Warto też pamiętać, mówi, że wielu studentów pochodzi z krajów, w których ujawnianie swojej seksualności lub przekonań politycznych może być niebezpieczne.

W Northeastern jeden ze studentów stworzył petycję online, żądając od uniwersytetu usunięcia wszystkich urządzeń Alexa. Częściowo brzmi: Alexas są dobrze udokumentowane jako ukradkowe urządzenia podsłuchowe, które są wykorzystywane do wyostrzania taktyk marketingowych Amazona… Przynajmniej Northeastern University wymusza w przestrzeniach studenckich obce urządzenie, o które nikt nie prosił. W najgorszym przypadku lekkomyślnie naruszają prywatność swoich uczniów na polecenie darczyńcy korporacyjnego. Na początku grudnia petycja miała 125 podpisów.

W firmie Emerson studenci i inni pracownicy wydziału dołączyli do Newmana, tworząc komisję mającą na celu opracowanie polityki prywatności dla kampusu. Mówi, że przynajmniej chciałby widzieć znaki ostrzegawcze umieszczone wszędzie tam, gdzie znajduje się urządzenie podsłuchowe. Mówi, że do tej pory administracja współpracowała, a wdrożenie jakichkolwiek urządzeń zostało opóźnione.

Potrzebujemy bezpiecznego sposobu na eksperymentowanie z tymi technologiami i zrozumienie konsekwencji ich użycia, a nie tylko kontynuowanie ślepego marszu w kierunku inwigilacji w celu osiągnięcia zysku, mówi Newman. Są to wyrafinowane aplikacje, które mają dożywotnie konsekwencje dla analizowanych przez nie jednostek, aż do nieznanych jeszcze celów. Wszyscy musimy być tutaj naprawdę rozsądni i rozważni.

Kathryn Miles jest niezależną pisarką i autorką Quakeland: na drodze do kolejnego niszczycielskiego trzęsienia ziemi w Ameryce . Jej historia The Little Coin That Ate Quebec ukazała się w numerze z maja/czerwca 2018 roku.

ukryć