Co się stanie, gdy algorytm się pomyli?

W pierwszej z czterech części serii na FaceID, prowadząca Jennifer Strong bada fałszywe aresztowanie Roberta Williamsa przez policję w Detroit. Dziwne w męce Willliamsa nie było to, że policja użyła rozpoznawania twarzy do jego identyfikacji – po prostu gliniarze mu o tym powiedzieli. Nie ma prawa mówiącego, że muszą. Odcinek zaczyna rozpakowywać zawiłości tej technologii i wprowadza kilka drażliwych pytań dotyczących jej użycia.

Spotykamy się:

• Robert i Melissa Williams
• Peter Fussey, Uniwersytet Essex
• Hamid Khan, Stop Koalicji Szpiegowskiej LAPD

Kredyty:

Ten odcinek został zrelacjonowany i wyprodukowany przez Jennifer Strong, Tate Ryan-Mosley i Emmę Cillekens. Pomogli nam Karen Hao i Benji Rosen. Redagują nas Michael Reilly i Gideon Lichfield. Naszym dyrektorem technicznym jest Jakub Górski. Specjalne podziękowania dla Kyle'a Thomasa Hemingwaya i Erica Mongeona.

Pełna transkrypcja odcinka:

Robert Williams: Byłem całkowicie zszokowany i oszołomiony tym, że zostałem aresztowany w biały dzień, na oczach mojej córki, na oczach mojej żony, na oczach moich sąsiadów. To była jedna z najbardziej szokujących rzeczy, jakie kiedykolwiek mi się przydarzyły.

Jennifer Silna: To jest Robert Williams. Opisuje, co wydarzyło się w styczniu poza jego domem na zamożnych przedmieściach Detroit o nazwie Farmington Hills.

Jennifer Silna: Dzień zaczął się jak każdy inny.

Robert Williams: To był nudny czwartek.

Jennifer Silna: Wstał, poszedł do pracy. Ale potem zrobiło się dziwnie.

Robert Williams: Przez telefon z Melissą około 4.

Jennifer Silna: Melissa jest jego żoną. Są w trakcie rozmowy, kiedy słyszy drugą linię.

Robert Williams: Klikam. Mówię „Cześć?”

– Robercie?

A ja na to: „Kto to jest?”

– Musisz zejść i oddać się.

'Kto to jest?'

— Oficer, ktoś z trzeciego komisariatu.

— A ja muszę się oddać za co?

Więc powiedział: „Nie mogę ci tego powiedzieć”.

A ja na to: „W takim razie nie mogę zejść”.

- No cóż, jeśli zejdziesz, będzie ci znacznie łatwiej. Nie chcesz, żebyśmy wyszli do twojej pracy, prawda?

W tym momencie myślę, że to żart.

Więc mówię: „Słuchaj, stary, jeśli mnie chcesz, przyjdź po mnie. Będę w domu. Przynieś nakaz. I rozłączam się z nim.

Jennifer Silna: Melissa czeka w domu na mamę i córkę i idzie się z nimi przywitać, kiedy się zatrzymują.

Melissa Williams: I kiedy przechodziłem, wyjrzałem, a radiowóz był na zewnątrz.

A ja powiedziałem: „Och, więc to nie był żart. Naprawdę są tu ludzie.

I podeszli do drzwi.

Odpowiedziałem.

A oni jakby wetknęli stopę w drzwi i powiedzieli: „Wyślij Roberta”.

A ja powiedziałem: „Nie ma go tutaj”.

A oni powiedzieli: „Właśnie widzieliśmy, jak wysiadał z tej furgonetki”.

A ja powiedziałem: „To była moja mama. Nie ma go tutaj.'

Jennifer Silna: Najwyraźniej coś jest bardzo nie tak, ale oni nie wiedzą, co to jest.

Robert Williams: Musi być błędna tożsamość czy coś. Nie wiem, dlaczego policja z Detroit jest w moim domu.

Jennifer Silna: Okazuje się, że byli tam, ponieważ oprogramowanie do rozpoznawania twarzy błędnie dopasowało jego zdjęcie z prawa jazdy do nagrania z kamery bezpieczeństwa osoby kradnącej zegarki.

Robert Williams: Zatrzymuję się na podjeździe tutaj, zatrzymuję się w moim zwykłym miejscu, wyskakuję. Kiedy zamykam drzwi, samochód stoi na podjeździe, blokując mi wejście. I zaparkowali w ten sposób, po drugiej stronie podjazdu, jakbym miał się wycofać czy coś i spróbować wystartować.

Melissa Williams: Gdy tylko zamknął drzwi, byli tuż przy nim.

A ja wciąż tu byłam, bo miałam dziewczyny, które już zaczęły go skuwać, zanim tam wyszliśmy.

Jennifer Silna: Powiedział córce, żeby wróciła do środka, że ​​policja popełniła błąd i zaraz wróci. Ale nie wrócił.

Policja zabrała go do aresztu, a noc spędził w więzieniu. Nadal nie miał pojęcia, co się dzieje. I był zły.

Ale mówi, że jako czarny człowiek musiał zastanowić się, co może się stać, jeśli to pokaże. Więc zachował spokój – i czekał.

Następnego ranka funkcjonariusze pokazali mu kilka zdjęć mężczyzny kradnącego zegarki. Tyle że te zdjęcia nie były jego. Byli kimś innym.

Robert Williams: - Więc to nie ty?

Popatrzyłem. Powiedziałem: „Nie, to nie ja”.

Odwraca kolejny papier. Mówi: „Myślę, że to też nie jesteś ty?

Podniosłem ten papier i przyłożyłem do twarzy. A ja powiedziałem: „To nie ja”.

Pomyślałem: „Mam nadzieję, że nie sądzicie, że wszyscy czarni wyglądają tak samo”.

A potem mówi: „Komputer mówi, że to ty”.

Gdyby po prostu przyniósł ze sobą zdjęcie, mógłby obejrzeć je w górę iw dół, a potem wyjść i powiedzieć: „och, mój zły”. Nie chciałem ci przeszkadzać.

Jennifer Silna : Niezwykłe w tej historii nie jest to, że do znalezienia podejrzanego użyto identyfikatora twarzy. Niezwykłe jest to, że powiedziano Robertowi Williamsowi, ponieważ policja nie musi tego ujawniać. Rozpoznawanie twarzy nie jest regulowane. Nie tak, jak to jest używane przez organy ścigania. Nie tak, jak to wykorzystują pracodawcy.

Jestem Jennifer Strong. I to jest pierwszy odcinek nowej serii badającej, co się dzieje, gdy wszystko wokół nas zostaje zautomatyzowane. Zaczynamy od czteroczęściowego spojrzenia na rozpoznawanie twarzy i działania policji. Spotkamy ludzi budujących tę technologię, walczących z nią i próbujących regulować sposób jej używania.

Jennifer Silna: Pomyśl o tym w ten sposób. Rozpoznawanie twarzy jest wykorzystywane jako wyszukiwarka przestępców. Twoja twarz to wyszukiwane hasło.

Uważano, że do 2016 r. twarze połowy dorosłych Amerykanów były przechowywane w systemach używanych przez policję do nazywania podejrzanych. Niektórzy nazywają to wiecznym składem. Ale naród może być w punkcie zwrotnym, zarówno w związku z policją, jak iz tą technologią. W czerwcu giganci technologiczni Amazon i Microsoft wstrzymali sprzedaż swoich produktów Face ID organom ścigania. IBM całkowicie przestał go sprzedawać. Następnie Nowy Jork uchwalił ustawę zapewniającą nadzór nad wszystkimi technologiami nadzoru, pomimo sprzeciwu ze strony NYPD. A po tym, jak bezprawne aresztowanie Roberta Williamsa wyszło na jaw, policja w Detroit twierdzi, że będzie używać identyfikacji twarzy tylko w celu zbadania brutalnych przestępstw. I zrobią to ze nieruchomymi zdjęciami, ponieważ jest bardziej prawdopodobne, że dadzą one dokładne dopasowanie. Ale czy to wystarczy?

Piotr Fussey: OK, więc w tej chwili jesteśmy we wschodnim Londynie, w miejscu zwanym Stratford.

Jennifer Silna: W lutym przed pandemią wybrałem się na spacer z Peterem Fusseyem.

Piotr Fussey: Który historycznie był obszarem wielu niedostatków, który miał strasznie dużo inwestycji tuż przed igrzyskami olimpijskimi w 2012 r., które odbyły się tutaj.

Jennifer Silna: To miejsce, w którym londyńska policja testuje kamery, które dopasowują twarze do tożsamości w czasie rzeczywistym. Jesteś częścią zespołu pracującego nad krajową strategią nadzoru. Czy to prawda?

Piotr Fussey: Więc jesteśmy częścią projektu badawczego. Przyglądamy się powstającym technologiom i implikacjom dotyczącym praw człowieka, niezależnie od tego. Pracuję również z regulatorem kamer monitorujących w Wielkiej Brytanii i kieruję częścią jego strategii dotyczącej praw człowieka.

Jennifer Silna: Studiował nadzór technologiczny przez ponad 20 lat.

Piotr Fussey : Zacząłem oglądać telewizję przemysłową, kamery CCTV. Są bardzo znajomi na ulicy, CCTV. Zawsze dziwiło mnie, jak mało ludzi się tym przejmuje. Byłbym, wiesz, dziwny argument, dlaczego powinniśmy regulować. I spotkało się to w dużej mierze z obojętnością. A rozpoznawanie twarzy wydaje się zupełnie inne. Uchwycił publiczną wyobraźnię. Jest w mediach na co dzień.

Prezenter: Cóż, twoja twarz może powiedzieć ludziom o wiele więcej, niż myślisz. W nowym świecie technologii rozpoznawania twarzy można śledzić każdy Twój ruch.

Prezenter: Ci kupujący o tym nie wiedzą, ale komputer skanuje ich twarze, porównując ich cechy z rysami znanych złodziei sklepowych.

Mężczyzna, z którym przeprowadzono wywiad: To jest straszne. To naruszenie prywatności.

Wywiad z kobietą: Ta technologia jest instalowana bez nadzoru publicznego i odpowiedzialności.

Druga kobieta, z którą przeprowadzono wywiad: Jesteśmy zastraszani, żeby zrobić nam zdjęcie, żeby zdobyć nasze klucze.

Prezenter: Nawet gwiazda pop Taylor Swift potajemnie wdrożyła technologię, aby wykorzenić prześladowców.

Jennifer Silna: Ale podczas gdy publiczne oburzenie doprowadziło niektóre miejsca do zakazania tej technologii, w tym centra technologiczne, takie jak San Francisco i Cambridge w stanie Massachusetts, gdzie znajduje się siedziba MIT, londyńska policja przetestowała bardzo agresywną wersję tej technologii w 10 różnych miejscach publicznych.

Piotr Fussey: To, co widzisz w Wielkiej Brytanii, to rozpoznawanie twarzy na żywo, co oznacza, że ​​istnieje baza danych osób, którymi interesuje się policja. Następnie, gdy opinia publiczna przechodzi obok kamery, każda z tych osób jest skanowana, a następnie porównywana z tą bazą danych. Tutaj inwigilujesz przed, wiesz, jakimkolwiek przestępstwem.

Jennifer Silna: Dla policji to jedno, aby trzymać zdjęcie kogoś, aby spróbować zidentyfikować go w systemie. I to jest coś zupełnie innego, gdy identyfikacja na żywo dzieje się w czasie rzeczywistym.

Piotr Fussey: Tak, dokładnie tak. I myślę, że to naprawdę ważna część debaty, która często się gubi.

Inną różnicą jest to, że istniejące kamery CCTV lub analogowy nadzór człowieka o niskiej technologii nie obejmują przechwytywania, przetwarzania, utrzymywania i zarządzania danymi biometrycznymi, które są specjalną kategorią danych i są powszechnie postrzegane jako uciążliwe. ćwiczyć.

Jennifer Silna: I ta specjalna kategoria danych musi być bezpiecznie sortowana i przechowywana. I jak podkreśla, żaden człowiek nie jest w stanie przetworzyć objętości, która jest przechwytywana przez te systemy.

Piotr Fussey: Rodzi to na przykład kilka poważnych pytań, na ile jest to proporcjonalne. Jak konieczne jest biometryczne skanowanie dziesiątek tysięcy ludzi tylko dlatego, że jesteś zainteresowany rozmową z kimś. Teraz, jeśli jest to znany zabójca na wolności, albo przykład, który zawsze jest podawany, wiesz, zbliżający się atak terrorystyczny, to jest inaczej. Wokół tego można wysunąć o wiele silniejszy argument o konieczności i proporcjonalności, ale mniej, jeśli jest to tylko ktoś, z kim chcesz porozmawiać o incydencie z antyspołecznym zachowaniem lub czymś w tym rodzaju.

Jennifer Silna: Cóż, drugie pytanie, kiedy mówisz, że ludzie nie mogą przetwarzać tych informacji, ale także nie jest jasne, czy technologia może to zrobić. Co się stanie, jeśli zostaniesz błędnie zidentyfikowany?

Piotr Fussey: Jeśli kamera mówi, że jesteś podejrzanym, jesteś kimś na ich liście obserwacyjnej, ile razy wiemy, że to prawda? W naszych badaniach stwierdziliśmy, że było to poprawne osiem razy na 42. Tak więc przez sześć pełnych dni, siedząc w policyjnych furgonetkach, osiem razy.

Jennifer Silna: Zrobił jedyną niezależną recenzję tych badań i stwierdził, że była ona dokładna w mniej niż 20% przypadków.

Piotr Fussey: Może działać znakomicie w warunkach laboratoryjnych. Ale wiecie, na zewnątrz, jak środowisko, w którym się teraz znajdujemy, światło blednie, jest zimowe światło. Wiele informacji wywiadowczych dotyczących wielu przestępstw wiąże się z gospodarką nocną. Rozpoznawanie twarzy działa gorzej w słabym świetle i związane są z tym różnego rodzaju problemy.

Jennifer Silna: Jest również mniej skuteczny w różnych grupach demograficznych.

Piotr Fussey: A więc nie tylko pochodzenie etniczne czy rasowe, ale także płeć. A to z kolei sprowadza się do całej kwestii dotyczącej praw osób transpłciowych i wieku. Na przykład twarze dzieci przekazują mniej informacji niż twarz osoby po czterdziestce, takiej jak ja. Ważne jest to, że jeśli policja korzysta z technologii, która nie jest tak skuteczna dla różnych grup, to jeśli nie są świadomi tych ograniczeń i jeśli nie są w stanie w jakiś sposób je złagodzić, to nie można powiedzieć, że stosują technologii zgodnej z prawami człowieka.

Jennifer Silna: Jak pogodzić prawa człowieka ze strategią nadzoru?

Piotr Fussey: Często myślimy o bezpieczeństwie jako opozycji wobec praw człowieka.

To, co oczywiście jest pierwszym obowiązkiem państw wynikającym z deklaracji praw człowieka ONZ, to zapewnienie przez państwa bezpieczeństwa swoim obywatelom. Tak więc często pojawia się takie zestawienie wolności i bezpieczeństwa, które mnie i moim kolegom uznalibyśmy za nieprzydatne. Wiesz, możesz mieć jedno i drugie, ale nie możesz mieć żadnego.

Jennifer Silna: Udajemy się do innego miejsca, które chce mi pokazać.

Piotr Fussey: Na samym końcu tego mostu widać słup z kilkoma kamerami. Gdybyś szedł tym mostem w kierunku tych kamer, dotarłbyś do punktu, w którym znajdował się znak mówiący, że działa rozpoznawanie twarzy. Teraz, jeśli chciałbyś kontynuować swoją podróż, musiałbyś przejść obok tych kamer. Jednak policja twierdziła, że ​​to był proces. Więc jeśli nie chciałeś być częścią tego procesu, musiałeś się odwrócić. A dotarcie do tego samego punktu poza tymi kamerami zajęłoby około 20 minut objazdu.

Jennifer Silna: OK, więc ta część jest naprawdę ważna.

Piotr Fussey: Tutaj nie ma prawdziwej znaczącej zgody. Jeśli wycofasz zgodę, ponieważ nie chcesz być przed kamerą, powinieneś mieć możliwość wycofania zgody bez kary. W przeciwnym razie nie jest to zgoda.

Jennifer Silna: Coś innego. Idąc ulicą, czy zdajesz sobie sprawę z czasów, kiedy przechodzisz z publicznego chodnika na beton będący własnością firmy? Czy wiesz, że po kilku krokach Twoje prawa do prywatności mogą się różnić?

Piotr Fussey: A więc tutaj, gdzie stoimy, poza centrum handlowym Westfield, jest przestrzeń prywatna. Ale czujemy, że to publiczne. Wokół jest mnóstwo ludzi. Ma poczucie przestrzeni publicznej. Co się jednak dzieje, gdy idziesz 30 metrów w lewo, znajdujesz się w miejscu publicznym, a wszystkie kamery są własnością władz publicznych. A jeśli przejdziesz 30 metrów w naszą prawą stronę, należą one do prywatnych firm.

Jennifer Silna: A co z tą nad twoją głową?

Piotr Fussey: Który? Ten? Więc tak, to jest własnością prywatnej firmy.

Jennifer Silna: Różnica sprowadza się do prostego punktu. Grupy publiczne są odpowiedzialne przed opinią publiczną.

Face ID działa poprzez odwzorowanie unikalnego zestawu pomiarów między twoimi cechami, takich jak odstęp między oczami, długość nosa i krzywizny ust. Najwcześniejsze systemy zostały wynalezione w latach 60. XX wieku. Ale przez dziesięciolecia technologia nie była tak naprawdę użyteczna. Następnie, na początku XXI wieku, lokalne organy ścigania na Florydzie stworzyły ogólnostanowy program rozpoznawania twarzy. Dziesięć lat później Facebook wymyślił nowy sposób rozpoznawania i automatycznego tagowania ludzi na zdjęciach, szybko poprawiając rozpoznawanie twarzy do tego, co mamy dzisiaj. Obecnie jest szeroko stosowany na lotniskach i przez policję, ale nie ma przejrzystości co do tego, jakie systemy są używane iw jaki sposób.

Hamid Khan: W policji nie ma miejsca na algorytmy. Myślę, że to kluczowe, abyśmy to zrozumieli, ponieważ stawką jest życie.

Jennifer Silna: Hamid Khan jest aktywistą walczącym z wykorzystaniem inwigilacji i wielu innych narzędzi technologicznych wykorzystywanych przez policję w Los Angeles.

Hamid Khan: Za każdym razem, gdy nadzór zostaje zalegalizowany, a następnie można go z czasem rozszerzyć i był historycznie używany do śledzenia, śledzenia, monitorowania i prześladowania określonych społeczności,

Społeczności biedne, społeczności czarnoskóre i brunatne, społeczności, które można by uznać za podejrzane, dziwaczne, trans. To proces kontroli społecznej.

Jennifer Silna: Khan stworzył Koalicję Stop LAPD Spying Coalition, grupę, którą określa jako zaciekłą abolicjonistę.

Nie sądzi, że ograniczanie sposobu, w jaki policja używa identyfikacji twarzy, będzie działać. I tak podczas tego, co można najlepiej opisać jako tsunami adopcji, z debatą skupiającą się głównie na najlepszych praktykach, jego celem jest zakazanie tych technologii. I to się udało. Kilka programów ochrony danych i predykcyjnych programów policyjnych w Los Angeles zakończyło się po naciskach publicznych i prawnych ze strony jego grupy. Dla Khana, częścią tego, jak dotarliśmy do tego momentu, jest zmiana sposobu, w jaki definiujemy i kontrolujemy podejrzaną aktywność,

Hamid Khan: Definicja jest taka, że ​​zaobserwowane zachowanie wskazuje na przedoperacyjne planowanie działalności przestępczej i/lub terrorystycznej. Więc obserwujesz czyjeś zachowanie, nie fakt, ale obawę, że dana osoba może myśleć o zrobieniu czegoś złego, prawda? A więc teraz wchodzimy w to, że policja oparta na spekulacjach i przeczuciach jest prawdziwa.

Jennifer Silna: Wiemy, dzięki badaniom naukowym i rządowym, że rozpoznawanie twarzy działa najlepiej w przypadku białych mężczyzn.

Radość Buolamwini : Cześć aparat. Mam twarz. Czy widzisz moją twarz? Brak twarzy w okularach? Możesz zobaczyć...

Jennifer Silna: To badaczka z MIT, Joy Buolamwini, wygłasza wykład TED.

Radość Buolamwini: Więc co się dzieje? Dlaczego moja twarz nie jest wykrywana? Cóż, musimy przyjrzeć się, jak dajemy maszynom wzrok. Jak to działa, to tworzysz zestaw treningowy z przykładami twarzy. To jest twarz, to jest twarz, to nie jest twarz. Z czasem możesz nauczyć komputer rozpoznawania innych twarzy.

Jennifer Silna: Jeśli jednak zestawy treningowe nie są tak naprawdę zróżnicowane, każda twarz zbytnio odbiegająca od ustalonej normy będzie trudniejsza do wykrycia, co mi się przydarzało.

W 2018 roku przeprowadziła przełomowe badanie, które wykazało, że komercyjne systemy rozpoznawania twarzy wielokrotnie nie klasyfikowały ciemnoskórych kobiet.

Rok później ważny raport agencji federalnej o nazwie NIST (National Institute of Standards and Technology) na temat identyfikacji twarzy wykazał, że niektóre algorytmy identyfikacji twarzy były nawet sto razy bardziej podatne na fałszywe dopasowanie zdjęć osób kolorowych. Ale nawet jeśli te systemy można zaprojektować tak, aby osiągnąć idealną dokładność, można ich używać w niebezpieczny sposób. A te problemy sięgają głębiej niż tylko wypaczone dane i niedoskonała matematyka.

Hamid Khan: Technologia nie działa sama. Od projektu, przez produkcję, aż po wdrożenie, są stale wbudowane uprzedzenia. I to nie tylko uprzedzenia samych ludzi. To tylko jedna część tego. To nieodłączne nastawienie systemu.

Jennifer Silna: W następnym odcinku, czy byłoby zaskakujące, że Twoje zdjęcia, w tym niektóre, których być może nigdy nie widziałeś, są wykorzystywane przez firmy do tworzenia systemów rozpoznawania twarzy?

Hoan Ton-To: Na Twitterze, czy w ogóle pamiętasz to zdjęcie?

Jennifer Silna: Nie. Nie wiedziałem, że to zostało zrobione i wyglądałem bardzo...

Hoan Ton-To: Ty robisz. Wyglądałeś w tym bardzo poważnie.

Jennifer Silna: W części drugiej poznajemy założyciela jednej z najbardziej kontrowersyjnych firm działających w tej przestrzeni, dyrektora naczelnego Clearview AI, Hoana Ton-That.

Hoan Ton-To: Kiedy tworzyliśmy naszą technologię rozpoznawania twarzy, badaliśmy wiele różnych pomysłów w wielu różnych sektorach, od ochrony prywatnej po hotelarstwo. Kiedy przekazaliśmy go kilku osobom z organów ścigania, wzrost był ogromny. Oddzwonili do nas następnego dnia i powiedzieli, że rozwiązujemy sprawy. To jest szalone. Za tydzień mieliśmy naprawdę grubą książeczkę.

Jennifer Silna: Ten odcinek został zrelacjonowany i wyprodukowany przeze mnie, Tate Ryan-Mosley i Emmę Cillekens. Pomogli nam Karen Hao i Benji Rosen. Redagują nas Michael Riley i Gideon Lichfield. Naszym dyrektorem technicznym jest Jakub Górski. Specjalne podziękowania dla Kyle'a Thomasa Hemingwaya, Erica Mongeona i ACLU za udostępnienie nagrań Roberta Williamsa.

Jennifer Silna: Dziękuję za słuchanie. Jestem Jennifer Strong.

ukryć