Stronniczy algorytm medyczny faworyzował białych ludzi w programach opieki zdrowotnej

Kategoria: Sztuczna inteligencja Opublikowany 25 października

Badanie zwróciło uwagę na zagrożenia nieodłącznie związane z wykorzystywaniem danych historycznych do uczenia algorytmów uczenia maszynowego w celu prognozowania.

Wiadomości: Algorytm, którego wielu amerykańskich świadczeniodawców używa do przewidywania, którzy pacjenci będą najbardziej potrzebować dodatkowej opieki medycznej, uprzywilejowuje białych pacjentów nad czarnymi, według naukowców z UC Berkeley, których badanie zostało opublikowane w Science . Skutecznie podbił kolejkę do specjalnych zabiegów na złożone schorzenia, takie jak problemy z nerkami czy cukrzyca.

Badania: Naukowcy przekopali się przez prawie 50 000 rekordów z dużego, nieujawnionego szpitala akademickiego. Odkryli, że biali pacjenci otrzymywali wyższe oceny ryzyka, a zatem częściej byli wybierani do dodatkowej opieki (np. częstsze wizyty pielęgniarskie lub dedykowane wizyty) niż czarni pacjenci, którzy w rzeczywistości byli równie chorzy. Naukowcy obliczyli, że nastawienie zmniejszyło odsetek czarnoskórych pacjentów, którzy otrzymali dodatkową pomoc, o ponad połowę.

Co to było za oprogramowanie? Naukowcy nie powiedzieli, ale Washington Post określa go jako Optum, którego właścicielem jest ubezpieczyciel UnitedHealth. Mówi, że jej produkt jest używany do zarządzania ponad 70 milionami istnień ludzkich. Chociaż badacze skupili się tylko na jednym konkretnym narzędziu, zidentyfikowali tę samą wadę w 10 najczęściej używanych algorytmach w branży. Każdego roku narzędzia te są wspólnie stosowane do około 150 do 200 milionów ludzi w Stanach Zjednoczonych.

Jak wkradł się błąd: Rasa nie była czynnikiem przy podejmowaniu decyzji przez algorytm (to byłoby nielegalne); wykorzystał historię medyczną pacjentów, aby przewidzieć, ile prawdopodobnie będą kosztować system opieki zdrowotnej. Ale koszt nie jest miarą ślepą na rasę: z powodów społeczno-ekonomicznych i innych czarnoskórzy pacjenci w przeszłości ponosili niższe koszty opieki zdrowotnej niż biali pacjenci z takimi samymi schorzeniami. W rezultacie algorytm dał białym pacjentom te same wyniki, co pacjentom rasy czarnej, którzy byli znacznie bardziej chorzy.

Mała oszczędność: Naukowcy współpracowali z Optum, aby rozwiązać ten problem. Zmniejszyli rozbieżność o ponad 80%, tworząc wersję, która przewiduje zarówno przyszłe koszty pacjenta, jak i liczbę zaostrzeń choroby przewlekłej w nadchodzącym roku. Tak więc błąd algorytmiczny można skorygować, jeśli – i niestety, jest duży, jeśli – można go złapać.

Dlaczego jest to ważne: Badanie jest ostatnim, które pokazuje pułapki alokacji ważnych zasobów zgodnie z zaleceniami algorytmów. Tego rodzaju wyzwania występują nie tylko w opiece zdrowotnej, ale także w zatrudnianiu, ocenie kredytowej, ubezpieczeniach i sądownictwie karnym.

Czytaj dalej: nasze interaktywne wyjaśnienie, w jaki sposób stronniczość AI wpływa na system prawa karnego i dlaczego tak trudno ją wyeliminować.