211service.com
Czy systemy rozpoznawania twarzy są dokładne? Zależy od Twojej rasy.
Wszystko, co wiemy o systemach rozpoznawania twarzy używanych przez FBI i policję, sugeruje, że oprogramowanie ma wbudowane uprzedzenia rasowe. To nie jest celowe — jest to artefakt dotyczący sposobu projektowania systemów i danych, na których są one szkolone. Ale to jest problematyczne. Organy ścigania w coraz większym stopniu polegają na takich narzędziach, aby pomóc w dochodzeniach kryminalnych, zwiększając ryzyko, że coś może pójść nie tak.
Organy ścigania nie przedstawiły wielu szczegółów na temat tego, w jaki sposób wykorzystują systemy rozpoznawania twarzy, ale w czerwcu Government Accountability Office wydał raport, w którym stwierdził, że FBI nie przetestowało prawidłowo systemu dopasowywania twarzy ani ogromnej sieci bazy danych dopasowania twarzy na poziomie stanu, do których ma dostęp.
I chociaż najnowocześniejsze systemy dopasowywania twarzy mogą być dokładne w prawie 95 procentach w bazach danych zdjęć policyjnych, zdjęcia te są robione w kontrolowanych warunkach z ogólnie współpracującymi obiektami. Zdjęcia wykonane w mniej niż idealnych warunkach, na przykład w złym oświetleniu lub przedstawiające nietypowe pozy i mimikę, mogą prowadzić do błędów.
Ilustracja autorstwa Sophii Foster-Dimino
Algorytmy mogą być również stronnicze ze względu na sposób, w jaki są trenowane, mówi Anil Dżain , szef grupy badań biometrycznych na Michigan State University. Aby działać, oprogramowanie dopasowujące twarze musi najpierw nauczyć się rozpoznawać twarze na podstawie danych treningowych, czyli zestawu obrazów, które dostarczają oprogramowaniu informacje o różnicach twarzy. Jeśli płeć, grupa wiekowa lub rasa są niedostatecznie reprezentowane w danych treningowych, zostanie to odzwierciedlone w wydajności algorytmu, mówi Jain.
W 2012 roku Jain i kilku kolegów wykorzystało zestaw zdjęć policyjnych z biura szeryfa hrabstwa Pinellas na Florydzie, aby zbadać działanie kilku dostępnych na rynku systemów rozpoznawania twarzy, w tym systemów od dostawców zaopatrujących organy ścigania. Algorytmy były konsekwentnie mniej dokładny na kobiety, Afroamerykanie i młodsze osoby. Najwyraźniej zostali przeszkoleni na podstawie danych, które nie były wystarczająco reprezentatywne dla tych grup, mówi Jain.
Jeśli twój zestaw treningowy jest silnie nastawiony na konkretny wyścig, twój algorytm lepiej rozpozna ten wyścig, mówi Alice O’Toole , kierownik laboratorium badawczego percepcji twarzy na Uniwersytecie Teksańskim w Dallas. O’Toole i kilku kolegów znaleziony w 2011 że algorytm opracowany w krajach zachodnich lepiej rozpoznawał twarze rasy kaukaskiej niż twarze wschodnioazjatyckie. Podobnie algorytmy wschodnioazjatyckie działały lepiej na twarzach wschodnioazjatyckich niż na kaukaskich.
W ciągu kilku lat od tych badań dokładność algorytmów komercyjnych znacznie się poprawiła w wielu obszarach, a Jain twierdzi, że różnice w wydajności między różnymi płciami i rasami mogły się zmniejszyć. Ale dostępnych jest tak mało informacji o testach, że trudno to stwierdzić. Nowsze podejścia do rozpoznawania twarzy, takie jak systemy głębokiego uczenia opracowane przez Google i Facebook, mogą popełniać ten sam rodzaj błędów, jeśli dane treningowe są niezrównoważone, mówi.
Jonathon Phillips, inżynier elektronik w Narodowym Instytucie Standardów i Technologii, przeprowadza testy wydajności komercyjnych algorytmów. Mówi, że możliwe jest zaprojektowanie testu do pomiaru uprzedzeń rasowych w systemach dopasowywania twarzy. W rzeczywistości eksperci ds. prywatności wezwał do wymaganie takich testów.
FBI i MorphoTrust, dostawca oprogramowania do rozpoznawania twarzy dla biura, nie odpowiedział na e-mailowe pytania od Przegląd technologii MIT dotyczące tego, czy testują działanie swoich algorytmów według rasy, płci lub wieku.
Ustalenia między sprzedawcami a wieloma stanowymi organami ścigania stosującymi rozpoznawanie twarzy również nie są jasne. Ale Pete Langenfeld, kierownik ds. analizy cyfrowej i identyfikacji w Policji Stanowej Michigan, mówi, że jego organizacja nie testuje dokładności dla poszczególnych grup. Powiedział, że nie wie, czy dostawca, który dostarczył technologię, przeprowadza takie testy, ale dodał, że są to informacje zastrzeżone, a firma nie jest zobowiązana do ujawniania tych informacji.