Dwuletnia walka o powstrzymanie Amazona przed sprzedażą rozpoznawania twarzy policji

Pani Tech | Getty

Latem 2018 r. blisko 70 organizacji zajmujących się prawami obywatelskimi i naukowymi napisał list do Jeffa Bezosa żądającego, by Amazon przestał dostarczać rządom technologię rozpoznawania twarzy. W ramach większego skupienia się na roli, jaką odgrywały firmy technologiczne umożliwienie rządowi USA śledzenia i deportacji imigrantów , wezwał Amazon do obrony praw obywatelskich i swobód obywatelskich. Jak reklamowano, Rekognition to potężny system nadzoru, który jest łatwo dostępny do naruszania praw i atakowania społeczności kolorowych.

Wraz z listem, American Civil Liberties Union (ACLU) w Waszyngtonie dostarczyła ponad 150 000 podpisów pod petycjami, a także kolejną pismo od własnych udziałowców firmy wyrażając podobne żądania. Kilka dni później pracownicy Amazona powtórzyli obawy w: notatka wewnętrzna .

Pomimo narastającej presji Amazon kontynuował swoją działalność bez zmian. To popchnęło Rekognition jako narzędzie do monitorowania interesujących osób i podwojony w sprawie dostarczania rządom innych technologii nadzoru. Na przykład spółka zależna Ring, przejęta zaledwie kilka miesięcy wcześniej, szybko nawiązała współpracę z ponad 1300 organów ścigania wykorzystywać nagrania z kamer bezpieczeństwa w domu w śledztwach kryminalnych.

Ale w środę 10 czerwca Amazon zaszokował działaczy na rzecz praw obywatelskich i badaczy, gdy ogłosił, że wprowadzi roczne moratorium na używanie przez policję Uznania. Ruch nastąpił Decyzja IBM o zaprzestaniu działalności jego uniwersalny system rozpoznawania twarzy. Następnego dnia, Microsoft ogłosił, że przestanie sprzedawać swój system departamentom policji, dopóki prawo federalne nie ureguluje tej technologii. Chociaż Amazon zrobił najmniejsze ustępstwo z trzech firm, jest również największym dostawcą technologii dla organów ścigania. Decyzja jest kulminacją dwóch lat badań i nacisków zewnętrznych, aby wykazać techniczne wady Rekognition i jego potencjał do nadużyć.

To niewiarygodne, że Amazon rzeczywiście reaguje w ramach obecnej rozmowy na temat rasizmu, powiedziała Deborah Raji, badaczka zajmująca się odpowiedzialnością za sztuczną inteligencję, która jest współautorem podstawowe studium na rasistowskich uprzedzeniach i nieścisłościach wbudowanych w technologię firmy. To po prostu przemawia do mocy obecnej chwili.

Rok to początek, mówi Kade Crockford, dyrektor programu wolności technologicznej w ACLU w Massachusetts. Jest to absolutne przyznanie ze strony firmy, przynajmniej w sposób dorozumiany, że to, co zwolennicy sprawiedliwości rasowej mówią im od dwóch lat, jest słuszne: technologia inwigilacji twarzy zagraża czarnoskórym i brunatnym ludziom w Stanach Zjednoczonych. To niezwykłe przyznanie.

Dwa lata w przygotowaniu

W lutym 2018 roku badaczka z MIT Joy Buolamwini i Timnit Gebru, wówczas badacz Microsoft, opublikowali przełomowe badanie o nazwie Gender Shades na temat uprzedzeń płciowych i rasowych wbudowanych w komercyjne systemy rozpoznawania twarzy. W tym czasie badanie obejmowało systemy sprzedawane przez Microsoft, IBM i Megvii, jednego z największych chińskich dostawców rozpoznawania twarzy. Nie obejmowała Rozpoznania Amazona.

Niemniej jednak było to pierwsze tego typu badanie, a wyniki były szokujące: najgorszy system, IBM, był o 34,4 punktów procentowych gorszy w klasyfikacji płci ciemnoskórych kobiet niż jasnoskórych mężczyzn. Odkrycia natychmiast obaliły dokładność twierdzeń, których firmy używały do ​​sprzedaży swoich produktów i wywołały ogólną debatę na temat rozpoznawania twarzy.

Gdy debata szalała, wkrótce stało się jasne, że problem był również głębszy niż wypaczone dane treningowe lub niedoskonałe algorytmy. Wielu badaczy i aktywistów ostrzegało, że nawet jeśli systemy osiągnęły 100% dokładność, nadal mogą być stosowane w niebezpieczny sposób.

Kadr z wideo poematu Joy Buolamwini 'AI, Ain't I A Woman?' ukazujące niektóre z rażących błędów popełnianych przez Rekognition.

Dzięki uprzejmości ALGORYTMICZNEJ LIGI SPRAWIEDLIWOŚCI

Są dwa sposoby, w jakie ta technologia może krzywdzić ludzi, mówi Raji, który pracował z Buolamwini i Gebru nad Odcieniami płci. Jednym ze sposobów jest niedziałanie: ze względu na wyższe wskaźniki błędów dla osób kolorowych, naraża ich to na większe ryzyko. Druga sytuacja ma miejsce, gdy czy praca — gdzie masz doskonały system rozpoznawania twarzy, ale łatwo można go użyć przeciwko społecznościom, aby ich nękać. To oddzielna i połączona rozmowa.

Praca Gender Shades polegała na ujawnieniu pierwszej sytuacji – mówi. W ten sposób stworzył otwór, aby odsłonić drugi.

Amazon próbował zdyskredytować ich badania; próbowała je osłabić jako czarne kobiety, które prowadziły te badania.

Meredith Whittaker

Tak właśnie stało się z IBM. Po opublikowaniu Gender Shades IBM był jedną z pierwszych firm, które skontaktowały się z naukowcami, aby dowiedzieć się, jak rozwiązać swoje problemy z uprzedzeniami. W styczniu 2019 r. opublikowała zestaw danych o nazwie Różnorodność twarzy , zawierający ponad milion obrazów twarzy z adnotacjami, w celu ulepszenia takich systemów. Ale ruch odwrotny skutek po tym, jak ludzie odkryli, że obrazy zostały zeskrobane z Flickr, poruszając kwestie zgody i prywatności. Wywołało to kolejną serię wewnętrznych dyskusji o tym, jak etycznie trenować rozpoznawanie twarzy. To doprowadziło ich do króliczej nory w odkrywaniu wielu problemów związanych z tą technologią, mówi Raji.

Więc ostatecznie nie było niespodzianką, kiedy firma w końcu wyciągnęła wtyczkę. (Krytycy zwrocic uwage że jego system i tak nie miał zbyt dużego przyczółka na rynku). IBM właśnie zdał sobie sprawę, że „korzyści” nie były w żaden sposób proporcjonalne do szkód, mówi Raji. I w tym konkretnym momencie nadszedł właściwy czas, aby ogłosili to publicznie.

Ale podczas gdy IBM reagował na zewnętrzne informacje zwrotne, Amazon zareagował odwrotnie. W czerwcu 2018 r., pośród wszystkich innych listów domagających się, aby firma zaprzestała używania przez policję Rekognition, Raji i Buolamwini rozszerzył audyt Gender Shades aby objąć jego działanie. Wyniki, opublikowane pół roku później w artykuł recenzowany , po raz kolejny znalazłem ogromne nieścisłości techniczne. Uznanie klasyfikowało płeć ciemnoskórych kobiet o 31,4 punktu procentowego mniej dokładnie niż mężczyzn o jasnej karnacji.

W lipcu również ACLU Północnej Kalifornii przeprowadził własne badanie , stwierdzając, że system błędnie dopasował zdjęcia 28 członków Kongresu USA do zdjęć policyjnych. Fałszywe zapałki były nieproporcjonalnie kolorowe.

Zamiast jednak potwierdzić wyniki, Amazon opublikował dwa Blog posty twierdząc, że praca Raji i Buolamwiniego była myląca. W odpowiedzi prawie 80 badaczy AI , w tym zdobywca nagrody Turinga Yoshua Bengio, bronił pracy i po raz kolejny wezwał firmę do zaprzestania sprzedaży rozpoznawania twarzy policji.

To było wtedy bardzo emocjonalne przeżycie, wspomina Raji. Zrobiliśmy tak wiele należytej staranności w odniesieniu do naszych wyników. A potem pierwsza reakcja była tak bezpośrednio konfrontacyjna i agresywnie defensywna.

Amazon próbował zdyskredytować ich badania; Meredith Whittaker, współzałożycielka i dyrektor AI Now Institute, która bada społeczne skutki sztucznej inteligencji, próbowała je osłabić jako czarnoskóre kobiety, które prowadziły te badania. Próbował snuć narrację, że się pomylili – że każdy, kto wyraźnie rozumiał technologię, wiedziałby, że to nie problem.

Ten ruch naprawdę naraził Amazon na polityczne niebezpieczeństwo.

Mutale Nkonde

W rzeczywistości, gdy publicznie odrzucał badanie, Amazon zaczął inwestować w badanie zakulisowych poprawek. Zatrudnił kierownika ds. uczciwości, zainwestował w grant badawczy NSF w celu złagodzenia problemów i kilka miesięcy później wydał nową wersję Rekognition, odpowiadając bezpośrednio na obawy zawarte w badaniu, mówi Raji. Jednocześnie to odeprzeć wysiłki akcjonariuszy wstrzymać sprzedaż technologii i przeprowadzić niezależną ocenę praw człowieka. To również wydał miliony lobbing Kongresu, aby uniknąć regulacji.

Ale potem wszystko się zmieniło. 25 maja 2020 r. Oficer Derek Chauvin zamordował George'a Floyda, wywołując iskrzenie ruch historyczny w USA do walki z rasizmem instytucjonalnym i położenia kresu brutalności policji. W odpowiedzi Izba i Senat Demokraci wprowadzili ustawa o reformie policji zawiera propozycję ograniczenia rozpoznawania twarzy w kontekście organów ścigania, co oznacza największy wysiłek federalny w historii, aby uregulować tę technologię. Kiedy IBM ogłosił, że zrezygnuje z systemu rozpoznawania twarzy, również wysłał list do Kongresu Czarnego Klubu, wzywając do krajowego dialogu na temat tego, czy i jak technologia rozpoznawania twarzy powinna być wykorzystywana przez krajowe organy ścigania.

Myślę, że decyzja IBM o wysłaniu tego listu w czasie, gdy ten sam organ ustawodawczy rozważa projekt ustawy o reformie policji, naprawdę zmieniła krajobraz, mówi Mutale Nkonde, doradca ds. polityki AI i pracownik Berkman Klein Center na Harvardzie. Mimo że nie byli dużym graczem w rozpoznawaniu twarzy, ten ruch naprawdę naraził Amazon na polityczne niebezpieczeństwo. Ustanowił wyraźny związek między technologią a toczącą się dyskusją na szczeblu krajowym w sposób, który organom regulacyjnym trudno było zignorować.

Ostrożny optymizm

Ale chociaż aktywiści i badacze postrzegają ustępstwo Amazona jako wielkie zwycięstwo, zdają sobie również sprawę, że wojna się nie skończyła. Po pierwsze, oświadczenie Amazona składające się ze 102 słów zawierało niejasne informacje na temat tego, czy jego moratorium obejmie organy ścigania poza policją, takie jak US Immigration and Customs Enforcement lub Departament Bezpieczeństwa Wewnętrznego. (Amazon nie odpowiedział na prośbę o komentarz.) Po drugie, roczny wygaśnięcie to także czerwona flaga.

Cyniczna część mnie mówi, że Amazon poczeka, aż protesty ucichną – do czasu, gdy rozmowa narodowa przesunie się na coś innego – aby powrócić do swojego wcześniejszego stanowiska, mówi Crockford z ACLU. Będziemy uważnie się przyglądać, aby upewnić się, że te firmy nie otrzymują skutecznie dobrej prasy w związku z tymi ostatnimi ogłoszeniami, jednocześnie pracując za kulisami, aby udaremnić nasze wysiłki w organach ustawodawczych.

Dlatego aktywiści i badacze również uważają, że regulacje będą odgrywać kluczową rolę w postępach. Lekcja z tego nie jest taka, że ​​firmy powinny być samorządne, mówi Whittaker. Lekcja jest taka, że ​​potrzebujemy większej presji i potrzebujemy przepisów, które zapewnią, że nie patrzymy tylko na roczny zakaz.

Cyniczna część mnie mówi, że Amazon poczeka, aż protesty ucichną… by powrócić do swojej poprzedniej pozycji.

Kade Crockford

Krytycy twierdzą, że postanowienia dotyczące rozpoznawania twarzy zawarte w obecnej ustawie o reformie policji, która zakazuje jedynie używania jej w czasie rzeczywistym w kamerach na ciele, nie są wystarczająco szerokie, aby pociągnąć do odpowiedzialności gigantów technologicznych. Ale Nkonde jest optymistką: postrzega ten pierwszy zestaw zaleceń jako zalążek dodatkowych regulacji, które mają nadejść. Po wejściu w życie, staną się ważnym punktem odniesienia dla innych projektów ustaw zakazujących rozpoznawania twarzy w innych aplikacjach i kontekstach.

Mówi, że naprawdę istnieje większy ruch legislacyjny zarówno na szczeblu federalnym, jak i lokalnym. A światło reflektorów, które śmierć Floyda rzuciła na rasistowskie praktyki policyjne, przyspieszyło jego szerokie poparcie.

Naprawdę nie powinno było wymagać zabójstw policji George'a Floyda, Breonny Taylor i zdecydowanie zbyt wielu innych Czarnych – i setek tysięcy ludzi wychodzących na ulice w całym kraju – aby te firmy zdały sobie sprawę, że żądania ze strony Black- i Crockford twierdzi, że organizacje i naukowcy kierowani przez brunatnych członków ACLU i wielu innych grup byli moralnie poprawni. Ale oto jesteśmy. Lepiej późno niż wcale.

ukryć