211service.com
Porażka egzaminu w Wielkiej Brytanii przypomina nam, że algorytmy nie mogą naprawić uszkodzonych systemów
Pani Tech | AP, Getty
Kiedy Wielka Brytania po raz pierwszy zaczęła szukać alternatywy dla kwalifikacji kończących szkołę, założenie to wydawało się całkiem rozsądne. Covid-19 uniemożliwił studentom zdawanie egzaminów osobiście, ale rząd nadal chciał mieć sposób na ocenę ich pod kątem decyzji o przyjęciu na uniwersytet.
Głównym przedmiotem jej obaw była kwestia sprawiedliwości. Nauczyciele przewidzieli już wyniki egzaminów swoich uczniów, ale poprzednie badania wykazali, że mogą one być stronnicze ze względu na wiek, płeć i pochodzenie etniczne. Po serii paneli eksperckich i konsultacje Ofqual, Urząd Kwalifikacji i Egzaminów, zwrócił się do algorytmu. Od tego momentu wszystko potoczyło się strasznie źle.
Prawie 40% studentów w końcu otrzymali wyniki egzaminów obniżonych z przewidywań nauczycieli, co groziło utratą miejsc na uniwersytecie. Analiza algorytmu ujawnił również, że nieproporcjonalnie zaszkodził uczniom z klasy robotniczej i społeczności znajdujących się w niekorzystnej sytuacji oraz zawyżył wyniki uczniów ze szkół prywatnych. 16 sierpnia setki śpiewały Pieprzyć algorytm przed budynkiem brytyjskiego Departamentu Edukacji w Londynie, aby zaprotestować przeciwko wynikom. Następnego dnia Ofqual miał uchylił swoją decyzję . Uczniowie będą teraz nagradzani albo przewidywanymi wynikami nauczyciela, albo algorytmem — w zależności od tego, która z tych wartości jest wyższa.
Klęska wydaje się być podręcznikowym przykładem dyskryminacja algorytmiczna . Ci, którzy mają od rozcięty algorytm wskazali, jak przewidywalne było to, że wszystko pójdzie nie tak; był on szkolony, po części, nie tylko na podstawie wcześniejszych wyników w nauce każdego ucznia, ale także wyników wcześniejszych egzaminów wstępnych w szkole ucznia. Takie podejście mogło jedynie doprowadzić do ukarania wybitnych wartości odstających na rzecz spójnej średniej.
Jednak źródło problemu leży głębiej niż złe dane lub kiepski projekt algorytmiczny. Popełniono bardziej fundamentalne błędy zanim Ofqual nawet zdecydował się na zastosowanie algorytmu. W gruncie rzeczy regulator stracił z oczu ostateczny cel: pomóc studentom w przejściu na uniwersytet w czasach niepokoju. W tej bezprecedensowej sytuacji system egzaminacyjny powinien zostać całkowicie przemyślany.
To po prostu spektakularna porażka wyobraźni, mówi Hye Jung Han, badacz z Human Rights Watch w USA, który koncentruje się na prawach dzieci i technologii. Po prostu nie kwestionowali samego założenia tak wielu swoich procesów, nawet jeśli powinni.
Na poziomie podstawowym Ofqual miał przed sobą dwa potencjalne cele po odwołaniu egzaminów. Pierwszym z nich było uniknięcie inflacji ocen i ujednolicenie wyników; drugim było jak najdokładniejsze ocenianie studentów w sposób przydatny przy rekrutacji na studia. Zgodnie z zarządzeniem sekretarza stanu nadał priorytet pierwszemu celowi. Myślę, że w tym momencie był problem, mówi Hannah Fry, starszy wykładowca na University College London i autorka książki Witaj świecie: jak być człowiekiem w erze maszyny . Optymalizowali się na niewłaściwą rzecz. Wtedy w zasadzie nie ma znaczenia, jaki jest algorytm — nigdy nie będzie doskonały.
Po prostu nastąpiła spektakularna porażka wyobraźni.
Hye Jung Han
Cel całkowicie ukształtował sposób, w jaki Ofqual zajął się rozwiązywaniem problemu. Potrzeba standaryzacji przeważyła nad wszystkim innym. Następnie organ regulacyjny wybrał logicznie jedno z najlepszych narzędzi standaryzacyjnych, model statystyczny, do przewidywania rozkładu wyników egzaminów wstępnych w 2020 r., który odpowiadałby rozkładowi z 2019 r.
Gdyby Ofqual wybrał inny cel, sprawy potoczyłyby się zupełnie inaczej. Prawdopodobnie zrezygnowałby z algorytmu i współpracował z uniwersytetami, aby zmienić sposób, w jaki oceny egzaminów są ważone w procesie rekrutacji. Gdyby spojrzeli o krok dalej niż ich najpilniejszy problem i przyjrzeli się, jaki jest cel wystawiania ocen — pójście na uniwersytet, zdobycie pracy — mogliby elastycznie współpracować z uniwersytetami i zakładami pracy, aby powiedzieć: „Hej, w tym roku oceny będą wyglądać inaczej, co oznacza, że wszelkie ważne decyzje, które tradycyjnie były podejmowane na podstawie ocen, również muszą być elastyczne i należy je zmienić, mówi Han.
Koncentrując się na postrzeganej słuszności rozwiązania algorytmicznego, Ofqual zaślepił się na rażące nierówności całego systemu. Han mówi, że jest wrodzona niesprawiedliwość w definiowaniu problemu w przewidywaniu ocen uczniów tak, jakby pandemia się nie wydarzyła. W rzeczywistości ignoruje to, co już wiemy, czyli to, że pandemia ujawniła wszystkie te cyfrowe przepaści w edukacji.
Niepowodzenia Ofqual nie są wyjątkowe. W raporcie Opublikowane w zeszłym tygodniu przez Oxford Internet Institute naukowcy odkryli, że jedną z najczęstszych pułapek, w jakie wpadają organizacje podczas wdrażania algorytmów, jest przekonanie, że naprawią naprawdę złożone problemy strukturalne. Projekty te nadają się do magicznego myślenia, mówi Gina Neff, profesor nadzwyczajny w instytucie, współautorka raportu. W jakiś sposób algorytm po prostu zmyje wszelkie uprzedzenia nauczyciela, zmyje wszelkie próby oszukiwania lub oszukiwania systemu.
Myślę, że to pierwszy raz, kiedy cały naród jednocześnie odczuł niesprawiedliwość algorytmu.
Hannah Fry
Ale prawda jest taka, że algorytmy nie mogą naprawić uszkodzonych systemów. Dziedziczą wady systemów, w których są umieszczone. W tym przypadku to studenci i ich przyszłość ostatecznie ponieśli największy ciężar krzywdy. Myślę, że to pierwszy raz, kiedy cały naród jednocześnie odczuł niesprawiedliwość algorytmu, mówi Fry.
Fry, Neff i Han martwią się, że to nie koniec algorytmicznych gaf. Pomimo nowej społecznej świadomości problemów, projektowanie i wdrażanie uczciwych i korzystnych algorytmów jest szczerze naprawdę trudne.
Niemniej jednak zachęcają organizacje do jak najlepszego wykorzystania lekcji wyciągniętych z tego doświadczenia. Najpierw wróć do celu i krytycznie zastanów się, czy jest właściwy. Po drugie, oceń problemy strukturalne, które należy naprawić, aby osiągnąć cel. (Kiedy rząd odwołał egzamin w marcu, powinien to być sygnał do opracowania innej strategii, która pozwoli znacznie większej ekologii decydentów na uczciwą ocenę wyników uczniów, mówi Neff.)
Na koniec wybierz rozwiązanie, które jest łatwe do zrozumienia, wdrożenia i zakwestionowania, zwłaszcza w czasach niepewności. W tym przypadku, mówi Fry, oznacza to rezygnację z algorytmu na rzecz wyników przewidywanych przez nauczyciela: nie mówię, że to jest idealne, mówi, ale to przynajmniej prosty i przejrzysty system.