Oprogramowanie monitorujące uczniów podczas testów utrwala nierówności i narusza ich prywatność

Zdjęcie Iris Wang na Unsplash

Pandemia koronawirusa była dobrodziejstwem dla branży nadzorującej testy. Około pół tuzina firm w USA twierdzi, że ich oprogramowanie może dokładnie wykrywać i zapobiegać oszustwom w testach online. egzamin , HonorLock , Proctoria , ProctorU , Odpowiedź a inne szybko się rozrosły, odkąd uczelnie i uniwersytety przestawiły się na zajęcia zdalne.

Chociaż nie ma oficjalnego zestawienia, można rozsądnie powiedzieć, że co miesiąc na całym świecie odbywają się miliony algorytmicznie opracowanych testów. Proctoria powiedział New York Times w maju ten biznes wzrósł o 900% w ciągu pierwszych kilku miesięcy pandemii, do tego stopnia, że ​​w samym kwietniu firma przeprowadziła 2,5 miliona testów na całym świecie.

Jestem bibliotekarzem uniwersyteckim i z bliska widziałem wpływ tych systemów. Mój własny pracodawca, University of Colorado Denver, ma kontrakt z Proctorio.

Stało się dla mnie jasne, że algorytmiczne postępowanie jest nowoczesną technologią nadzoru, która wzmacnia białą supremację, seksizm, ableizm i transfobię. Korzystanie z tych narzędzi jest naruszeniem prywatności uczniów i często naruszeniem praw obywatelskich.

Jeśli jesteś uczniem przystępującym do testu opracowanego według algorytmów, działa on w następujący sposób: kiedy zaczynasz, oprogramowanie zaczyna nagrywać kamerę, dźwięk i odwiedzane witryny internetowe z komputera. Mierzy twoje ciało i obserwuje cię przez cały czas trwania egzaminu, śledząc twoje ruchy, aby określić, co uważa za oszustwa. Jeśli zrobisz coś, co oprogramowanie uzna za podejrzane, zaalarmuje twojego profesora, aby obejrzał nagranie i podał mu oznaczone kolorami prawdopodobieństwo twojego wykroczenia akademickiego.

W zależności od tego, która firma stworzyła oprogramowanie, użyje do tego kombinacji uczenia maszynowego, sztucznej inteligencji i biometrii (w tym rozpoznawania twarzy, wykrywania twarzy lub śledzenia oczu). Problem w tym, że rozpoznawanie i wykrywanie twarzy okazały się rasistowski , seksistowski , oraz transfobiczny nad , oraz nad , oraz nad Ponownie.

Ogólnie rzecz biorąc, technologia ma wzór wzmocnienia ucisku strukturalnego lubić rasizm i seksizm . Teraz te same uprzedzenia pojawiają się w oprogramowaniu do nadzoru testów, które nieproporcjonalnie szkodzi zmarginalizowanym uczniom.

Pewna czarnoskóra kobieta na moim uniwersytecie powiedziała mi kiedyś, że za każdym razem, gdy używała oprogramowania Proctorio do kontroli testów, zawsze skłaniało ją to do oświetlania twarzy większą ilością światła. Oprogramowanie nie mogło zweryfikować jej tożsamości i tak często odmawiano jej dostępu do testów, że musiała udać się do swojego profesora, aby dokonać innych ustaleń. Jej biali rówieśnicy nigdy nie mieli tego problemu.

Podobne rodzaje dyskryminacji mogą mieć miejsce, jeśli uczeń jest osobą trans lub nie jest osobą binarną. Ale jeśli jesteś białym cis mężczyzną (jak większość programistów tworzących oprogramowanie do rozpoznawania twarzy), prawdopodobnie wszystko będzie dobrze.

Uczniowie z dziećmi również są karani przez te systemy. Jeśli kiedykolwiek próbowałeś odpowiadać na e-maile, opiekując się dziećmi, wiesz, jak niemożliwe może być uzyskanie choćby kilku nieprzerwanych minut przed komputerem. Ale kilka programów nadzorujących będzie oznaczać dźwięki w pokoju lub każdego, kto opuszcza pole widzenia kamery, jako nikczemne. Oznacza to, że studenci ze schorzeniami, którzy muszą często korzystać z toalety lub podawać leki, byliby uważani za podobnie podejrzanych.

Poza wszystkimi sposobami, w jakie oprogramowanie nadzorujące może dyskryminować uczniów, algorytmiczne opiekowanie się jest również znaczącą ingerencją w prywatność. Produkty te filmują uczniów w ich domach i często wymagają od nich wykonania skanów pomieszczeń, które wymagają użycia kamery do pokazania otoczenia. W wielu przypadkach profesorowie mogą w dowolnym momencie uzyskać dostęp do nagrań swoich uczniów, a nawet pobrać te nagrania na swoje komputery osobiste. Mogą również zobaczyć lokalizację każdego ucznia na podstawie jego adresu IP.

Prywatność jest najważniejsza dla bibliotekarzy takich jak ja, ponieważ patroni powierzają nam swoje dane. Po 11 września, kiedy Patriot Act upoważnił Departament Bezpieczeństwa Wewnętrznego USA do: dostęp do ewidencji patronów biblioteki w swoich poszukiwaniach terrorystów wielu bibliotekarzy zaczęło używać oprogramowania, które usuwało akta patrona po zwrocie książki. Produkty, które naruszają prywatność ludzi i dyskryminują ich, są sprzeczne z moim etos zawodowy , i bardzo niepokojące jest to, że takie produkty są chętnie przyjmowane przez instytucje szkolnictwa wyższego.

Ta gorliwość byłaby nieco bardziej zrozumiała, gdyby istniały jakiekolwiek dowody na to, że te programy rzeczywiście zrobiły to, co twierdzą. O ile mi wiadomo, nie ma ani jednego recenzowanego lub kontrolowanego badania, które wykazałoby, że oprogramowanie nadzorujące skutecznie wykrywa lub zapobiega oszustwom. Biorąc pod uwagę, że uniwersytety szczycą się podejmowaniem decyzji opartych na dowodach, jest to rażące niedopatrzenie.

Na szczęście trwają ruchy, aby zakazać oprogramowania do przetwarzania oraz zakazać technologii rozpoznawania twarzy na kampusach , jak również rachunki kongresowe zakazać rządowi federalnemu USA używania rozpoznawania twarzy. Ale nawet jeśli technologia rozpoznawania twarzy zostałaby zakazana, oprogramowanie nadzorujące nadal mogłoby istnieć jako program śledzący ruchy oczu i ciał uczniów. Chociaż może to być mniej rasistowskie, to… nadal dyskryminować przeciwko osobom niepełnosprawnym, rodzicom karmiącym piersią oraz osobom neuroatypowym. Tych produktów nie można zreformować; powinny zostać porzucone.

Oszukiwanie nie jest zagrożeniem dla społeczeństwa, w które chciałyby ci wierzyć firmy zajmujące się testowaniem. Nie osłabia wartości stopni naukowych ani nie obniża reputacji uczelni, a studenci nie próbują oszukać ich drogę do bycia twoim chirurgiem . Technologia nie wymyśliła warunków do oszukiwania i nie będzie tym, co ją powstrzyma. Najlepszą rzeczą, jaką możemy zrobić w szkolnictwie wyższym, to zacząć od radykalnej idei: ufający uczniom . Wybierzmy współczucie zamiast inwigilacji.

Shea Swauger jest bibliotekarzem akademickim i badaczem na University of Colorado Denver.

ukryć