Kto jest właścicielem twojej twarzy?

Policja ma za sobą historię wykorzystywania rozpoznawania twarzy do aresztowania protestujących – coś, czego aktywiści nie zapomnieli od śmierci George'a Floyda. W ostatniej z czterech części serii poświęconej rozpoznawaniu twarzy, prezenterka Jennifer Strong bada możliwości rozwoju tej technologii i analizuje, jak mogłaby wyglądać polityka.

Spotykamy się :

• Artem Kuharenko, NTechLab
• Deborah Raji, AI Now Institute
• Toussaint Morrison, muzyk, aktor i organizator Black Lives Matter
• Jameson Spivack, Centrum Prywatności i Technologii

Kredyty

Ten odcinek został zgłoszony i wyprodukowany przez Jennifer Strong, Tate Ryan-Mosley, Emmę Cillekens i Karen Hao. Pomógł nam Benji Rosen. Redagują nas Michael Reilly i Gideon Lichfield. Naszym dyrektorem technicznym jest Jakub Górski.

Pełna transkrypcja odcinka

Toussaint Morrison : To miejsce było niesamowicie ciche w pierwszy weekend godziny policyjnej. W okolicy jeździły też bardzo ciche samochody policyjne.

Jennifer Silna: To Toussaint Morrison. Pokazuje mojemu producentowi, Tate Ryanowi Mosleyowi, park w Minneapolis w stanie Minnesota, 2 i pół mili od miejsca, w którym 25 maja zginął George Floyd, wywołując prawdopodobnie największy ruch protestacyjny w historii Ameryki.

Toussaint Morrison : Około pół mili na wschód podjęto próbę podpalenia piątego komisariatu policji.

Jennifer Silna: Morrison jest muzykiem, aktorem, filmowcem, a w ciągu ostatnich kilku miesięcy stał się także organizatorem ruchu Black Lives Matter w Minneapolis.

Toussaint Morrison: Twój gniew jest całkowicie uzasadniony. Twoja skóra jest piękna i nie jesteś przestępcą, za jakiego cię podają.

Jennifer Silna: Jest tutaj dobrze znany. Działacze wiedzą, kim on jest. Urzędnicy rządowi wiedzą, kim on jest. I uważa, że ​​policja prawdopodobnie też.

Tate Ryan-Mosley : Czy rozmawiałeś z ludźmi, którzy obawiają się, że zostaną zidentyfikowani przez funkcjonariuszy policji, którzy mogą mieć ich zdjęcia podczas protestów będących częścią protestów?

Toussaint Morrison: Na pewno istnieje strach. Dowiedziałam się o tym trochę za późno. Moje rządowe imię i twarz są tam. Więc tak, to zdecydowanie było problemem. I słyszałem to od czarnych ludzi do białych, do wszystkiego pomiędzy ludźmi.

Jennifer Silna: Chociaż mówi, że protestujący są teraz bardziej zaniepokojeni swoim fizycznym bezpieczeństwem – na przykład potrąceniem przez samochód.

Toussaint Morrison: Wyprawa tożsamościowa nie była czymś, o czym słyszałem, jak bycie, strachem o swoje życie podczas prawdziwego marszu.

Jennifer Silna: Wiemy z dochodzenia przeprowadzonego przez Buzzfeed, że policja tutaj ma dostęp do wielu technologii nadzoru, w tym oprogramowania do rozpoznawania twarzy Clearview – które pamiętasz z odcinka drugiego – oraz mają płaszczki, które działają jak wieże komórkowe do przechwytywania danych mobilnych, nadzór audio system o nazwie ShotSpotter oraz system kamer z nałożoną analizą wideo.

Agenci federalni również przelecieli nad protestami drona drapieżnika. Morrison uważa, że ​​te narzędzia są w różny sposób skierowane do społeczności kolorowych.

Toussaint Morrison: Teraz nie potrzebują powodu do podejrzeń. Och, widziałem, że twoja twarz była na tym wiecu. I widzę, że to zgadza się z czymś innym. A co, jeśli technologia jest zła? Nie będą myśleć, że to możliwe, wiesz, ponieważ ufają komputerowi. Więc ta technologia zwiększa niebezpieczeństwo. To już jest niebezpieczne. I już wskazuje na ludzi kolorowych, osoby niepełnosprawne, transseksualne. Jesteśmy, jesteśmy ciężarem tej technologii. Więc kiedy tworzysz tę technologię, na kogo wpływa ona najbardziej?

Jennifer Silna: Nazywam się Jennifer Strong i to jest czwarta część naszej serii poświęconej policji i rozpoznawaniu twarzy, w której zbadamy drogę naprzód i jak mogą wyglądać regulacje.

Toussaint Morrison : Idąc dalej, nie wiem co się wydarzy,

ale ja wiem, że nie będzie powrotu, wiesz, nie będzie powrotu.

Jameson Spivek : Nie wiemy, czy policja używa rozpoznawania twarzy podczas obecnej fali protestów, ale wiemy o dwóch rzeczach. Po pierwsze, wielu z nich jest w stanie to zrobić, a po drugie – zdarzyło się to w przeszłości.

Jennifer Silna: Jameson Spivek jest doradcą ds. polityki w Centrum Prywatności i Technologii...

Jameson Spivek : …który jest niezależnym think tankiem, który ma siedzibę w Georgetown Law School.

Jennifer Silna: W 2015 roku policja w Baltimore wykorzystywała media społecznościowe do śledzenia osób protestujących przeciwko śmierci Freddiego Graya.

Rozpoznawanie twarzy pomogło policji zidentyfikować protestujących z zaległymi nakazami i aresztowali ich bezpośrednio z tłumu.

Spivek martwi się, co to oznacza dla wolności słowa, jeśli się utrzyma.

Jameson Spivek : To jest naprawdę niepokojące, ponieważ zniechęca do wypowiedzi i uczestnictwa politycznego, które chroni pierwsza poprawka. więc jeśli ludzie myślą, że są identyfikowani lub aresztowani za przestępstwo zupełnie niezwiązane z protestami, nie wezmą udziału. A więc to jest celowanie i zniechęcanie konkretnie czarnych przemówień politycznych.

Jennifer Silna: I szerzej...

Jameson Spivek : To znacznie przesuwa równowagę sił w kierunku rządów. Daje im możliwość identyfikacji i śledzenia wielu osób… na odległość i w tajemnicy. A rząd nigdy nie miał możliwości takiego inwigilowania opinii publicznej. Jest to zasadniczo obejście, które pozwala policji na przeprowadzanie przeszukań bez nakazu.

Jennifer Strong: W ten sposób widzi, jak regulacje zaczynają nabierać kształtu.

Jameson Spivek : Jedną z opcji, która już została wprowadzona, jest całkowity zakaz używania tej technologii przez policję. Jest wadliwy... Ułatwia inwigilację rządową na niespotykany dotąd poziom, a policja, jak wykazano, nadużywa jej. Podobnie, inną opcją jest wprowadzenie moratorium na używanie przez policję rozpoznawania twarzy. Daje to społeczeństwu i wybranym urzędnikom czas na zapoznanie się z tym, czym jest ta technologia, jak działa, jak wykorzystuje ją policja. Inną opcją jest po prostu przyjęcie przepisów, które zezwalają policji na korzystanie z nich, ale mają pewne ograniczenia dotyczące ich możliwości korzystania z nich.

Jennifer Silna: Zgłaszając tę ​​serię, rozmawialiśmy z kilkoma osobami, które uważają, że zreformowanie używania Face ID jest po prostu niemożliwe. ACLU twierdzi, że powinno być zakazane na szczeblu krajowym. Tak więc jestem ciekawa, jaki rodzaj regulacji jego zdaniem naprawdę zrobi różnicę?

Jameson Spivek : Rzeczy takie jak wymaganie nakazu przeszukania z prawdopodobną przyczyną w przypadku jakichkolwiek poszukiwań z rozpoznawaniem twarzy, ograniczenie użycia do brutalnych przestępstw i zakaz korzystania z rozpoznawania twarzy w celu egzekwowania prawa imigracyjnego. Wąskie zakazy korzystania z rozpoznawania twarzy w połączeniu z takimi rzeczami, jak drony lub noszone przez policję kamery na ciele lub do ciągłego nadzoru, ponieważ rozpoznawania twarzy nie należy używać w sytuacjach życia lub śmierci. Inną rzeczą jest obowiązkowe, obowiązkowe ujawnienie oskarżonym, że policja wykorzystuje rozpoznawanie twarzy do ich identyfikacji, a następnie aresztowania ich.

Jennifer Silna: Ale nawet jeśli te przepisy nie wejdą w życie, mówi, że potrzebujemy...

Jameson Spivek : Testowanie, aby upewnić się, że jest dokładny i nie jest stronniczy, oraz posiadanie raportów o tym, w jaki sposób jest używany i oraz przejrzystość… To wszystko jest dobre i wszystkie są potrzebne…. Ale to nie wystarczy. Naprawdę potrzebujemy tych głębszych reform.

Jennifer Silna: Twierdzi, że odpowiedzialność za rządzące nią zasady nie może zależeć tylko od firm tworzących technologię.

Jameson Spivek : Musimy być bardzo czujni i zadać sobie pytanie, co te firmy wspierają w zakresie przepisów, czy naprawdę będą chronić ludzi, czy jest to tylko sposób, aby firmy miały jasność co do tego, jak ta technologia jest regulowana, ale tak naprawdę nie jest regulowany w sposób wystarczająco silny, który faktycznie chroni ludzi, a następnie faktycznie wpływa na zdolność firmy do jej wytwarzania. Nie sądzę, że dobrowolnie zrezygnują ze sprzedaży tej technologii. więc prawodawcy naprawdę powinni wkroczyć.

Jameson Spivek : Większość głównych firm, które rozwijają rozpoznawanie twarzy dla policji i rządu, to mniejsze, bardziej wyspecjalizowane firmy, o których większość ludzi nie słyszała.

Jennifer Silna: Jedną z tych firm, o których prawdopodobnie nigdy nie słyszałeś, jest NTechLab, mimo że po raz pierwszy zrobiła furorę jakieś pięć lat temu, kiedy jako zupełnie nowy startup pokonał Google i wygrał międzynarodowy konkurs z 95-procentową dokładnością w jednej z kategorii .

Od tego czasu rosyjska firma wielokrotnie wygrywała konkursy biometryczne organizowane przez firmy takie jak Amazon, agencje rządowe USA i uniwersytety.

Jennifer Silna: A założycielem firmy jest ten człowiek…

Artem Kuharenko : Artem Kuharenko

Jennifer Silna: NTechLab jest najbardziej znany ze swojej aplikacji o nazwie FindFace, która pozwala ludziom przeszukiwać profile mediów społecznościowych ze zdjęciami na swoich telefonach.

Czy jest przeznaczony dla określonej grupy osób, czy chcesz, aby był dostępny dla każdego w mediach społecznościowych?

Artem Kuharenko : To było dostępne dla każdego w Internecie.

Jennifer Silna: W ten sposób John Oliver opisał aplikację podczas ostatniego odcinka programu HBO Last Week Tonight.

John Oliver : Jeśli chcesz dowiedzieć się, jak przerażająca może być ta technologia, jeśli stanie się częścią codziennego życia, po prostu obejrzyj, jak rosyjska prezenterka telewizyjna demonstruje aplikację o nazwie FindFace… [newsreel] Jeśli znajdziesz się w kawiarni z atrakcyjną dziewczyną i nie masz odwagi podejść do niej, nie ma problemu. Wystarczy smartfon i aplikacja FindFace.

Jennifer Silna: Mężczyzna w tym filmie używa aplikacji do robienia zdjęcia kobiecie przy innym stole. Natychmiast otwiera jej profil na rosyjskiej wersji Facebooka.

John Oliver : Wyobraź sobie, że z kobiecej perspektywy... nie martw się, już wiem, gdzie mieszkasz.

Jennifer Silna: Aplikacja była hitem wirusowym. Ale w dzisiejszych czasach uwaga NTechLab skupia się na rozpoznawaniu twarzy na żywo – co oznacza, że ​​algorytm działa na wideo w czasie rzeczywistym.

Uważa się, że system, który zainstalowali w Moskwie, należy do największych tego typu na świecie.

Artem Kuharenko : Obecnie do systemu podłączonych jest ponad 100 000 kamer wideo, a system okazał się bardzo pomocny i użyteczny dla miasta.

Jennfier Silna: A więc 100 tysięcy kamer wideo, rejestrujących miliard twarzy miesięcznie. Twierdzi, że system jest bardzo, bardzo dokładny.

Artem Kuharenko : Więc to tylko jedna fałszywa akceptacja na 10 miliardów porównań. To jeden na 10 zer.

Jennfier Silna : Taka dokładność jest niesłychana. Ale nie możemy też powiedzieć, że to niemożliwe – i za chwilę dowiem się, dlaczego. Wiemy, że znacznie trudniej jest osiągnąć dokładność w przypadku wideo na żywo niż w przypadku zdjęć.

Wcześniej w tej serii mówiliśmy o próbach rozpoznawania twarzy na żywo przez londyńską policję, które dały wskaźnik dokładności około 20 procent. I jeszcze jeden w Nowym Jorku, który podczas okresu testowego nie dał ani jednego poprawnego dopasowania.

Ale w Moskwie Kuharenko twierdzi, że jego system jest używany do rozwiązywania przestępstw w czasie rzeczywistym. W tym na największych na świecie zawodach piłkarskich:

Artem Kuharenko : Podczas mistrzostw świata FIFA w 2018 roku w Moskwie zostało złapanych przez system ponad 100 przestępców.

Jennfier Silna : NtechLab współpracuje z ponad setką klientów w 20 krajach – w tym z amerykańskim producentem chipów Nvidia i chińskim telekomem Huawei. Posiada również projekty smart city w Dubaju, projekty fintech w Europie oraz partnerstwa handlowe w Ameryce Północnej i Południowej.

Firma przesyła kilka algorytmów do testów rządowi USA, ale twierdzi, że nie mogą tego zrobić w przypadku ich najbardziej zaawansowanej pracy.

Ponieważ NIST — czyli Narodowy Instytut Standardów i Technologii — testuje algorytmy rozpoznawania twarzy na zdjęciach, a jego najnowsze systemy wykorzystują wideo.

Artem Kuharenko: Ich testy są dość dalekie od rzeczywistych scenariuszy.

Jennfier Silna: A jeśli organy rządowe nie nadążają za technologią, firmy są w mniejszym lub większym stopniu pozostawione samemu sobie audyt.

Artem Kuharenko : Liderzy w tej dziedzinie mają swoje własne testy. W naszej firmie przed wysłaniem go do produkcji wykonujemy wiele różnych testów. Problem w tym, że nie ma niezależnego testu, który będzie otwarty, gdzie każdy mógłby zobaczyć i każdy mógłby przetestować wszystkie algorytmy.

Jennfier Silna : Tego lata NTechLab dodał wykrywanie sylwetek do swojej platformy wideo. Służy do identyfikacji osób w profilu.

Podjęli również nową rolę w globalnej pandemii…

Artem Kuharenko: ...zmierz odległość między ludźmi i znajdź obszary, w których wiele osób stoi blisko siebie, aby miasto mogło usprawnić procesy zachodzące w tych obszarach. Pomogło to również zatrzymać ekspansję koronawirusa w Moskwie.

Jennifer Silna : Teraz, ale skoro jesteśmy w środku tej globalnej pandemii, jak dobrze działa technologia, gdy ktoś nosi maskę?

Artem Kuharenko : Działa z taką samą dokładnością, jak bez maski. Więc to prawie taka sama dokładność. I mamy też specjalny algorytm, który może stwierdzić, czy na osobie jest maska ​​i czy jest założona prawidłowo, czy nie.

Jennfier Silna: Noszenie maski zwykle powodowało spadek dokładności tych systemów, w tym w teście przed pandemią NTech Lab przeprowadzonym przez NIST. Ale pandemia stworzyła coś w rodzaju wyścigu zbrojeń między firmami próbującymi zbudować systemy odczytujące zamaskowane twarze. Agencja twierdzi również, że algorytmy firmy są często jednymi z dokładniejszych, które testują.

Po prostu nie wiemy.

Ale zamaskowane czy nie, rozpoznawanie twarzy nie jest jedyną rzeczą, która dzieje się w tych kanałach wideo.

Artem Kuharenko: Wykrywanie samochodów... rozpoznawanie tablic rejestracyjnych... łączymy wszystkie te analizy wideo, aby mógł działać jako cały system i wydobywać jak najwięcej informacji ze strumienia wideo. W idealnym przypadku system będzie w stanie wydobyć tyle informacji, ile człowiek może zobaczyć na filmie. Ale algorytm może to zrobić ze znacznie większą szybkością. A jeśli człowiek może przetwarzać tylko jeden strumień wideo na raz, system może przetwarzać setki i setki tysięcy filmów w czasie rzeczywistym.

Jennfier Silna: Czy kiedykolwiek martwisz się, że ktoś może wziąć całą twoją ciężką pracę i wykorzystać ją do zbudowania świata, w którym tak naprawdę nie chcesz żyć?

Artem Kuharenko : Uh, nie wierzę, właściwie nie wierzę w ten scenariusz, ponieważ jest całkiem niezły, to dobry scenariusz do filmu, ale jest to bardzo mało prawdopodobny scenariusz w prawdziwym życiu.

Artem Kuharenko : Jako firma technologiczna zawsze staramy się mówić ludziom, aby ludzie zrozumieli, co się dzieje i podjęli decyzję, czy tego chcą, czy nie.

Jennfier Silna : Podobnie jak założyciel Clearview, mówi, że to od nas — zwykłych ludzi i obywateli na całym świecie — zależy, czy i jak żyć z tą technologią. Teraz, biorąc pod uwagę wiele kwestii związanych z przejrzystością i odpowiedzialnością, nie wydaje się to takie proste. Ale są ludzie, którzy bardzo starają się wziąć na siebie tę odpowiedzialność.

I za chwilę spotkasz jednego.

Deb Raji: Myślę, że podróż do miejsca, w którym jesteśmy dzisiaj, powstała z tego pierwszego rodzaju pękania soczewek w kolorze różu, jest to technologia, która działa i pokazuje, że nie działa w przypadku bardzo konkretnych osób… a później, po otwarciu w górę, ta rozmowa o tym, co tak naprawdę oznacza, że ​​rozpoznawanie twarzy działa?

Jestem Debra Raji i jestem pracownikiem naukowym w A-I now Institute.

Jennfier Silna : Ma siedzibę na Uniwersytecie Nowojorskim i pracuje nad zrozumieniem społecznego wpływu rozpoznawania twarzy i innych technologii sztucznej inteligencji.

Deb Raji: Wiesz, jak możemy zacząć rozmawiać o jego ograniczeniach, o ujawnieniu jego użycia i jak to się rozgrywa w kontekście ograniczeń polityki?

Jennfier Silna : Jako badacz AI ma super moc, której większość z nas nie ma. Może przeprowadzić audyt algorytmów, dzięki którym produkty Face ID działają... o ile firmy zapewniają dostęp.

A jej wysiłki wymuszają zmiany. Iskra, która skierowała ją na tę ścieżkę, pochodziła z tego, co opisuje jako okropną realizację podczas jej stażu w college'u w startupie zajmującym się uczeniem maszynowym.

Deb Raji : Chwileczkę, rozpoznawanie twarzy nie działa dla wszystkich.

Jennfier Silna: Pracowała nad komputerowym modelem wizji, który pomógłby klientom oznaczać nieodpowiednie obrazy jako niebezpieczne w pracy. Kłopot polegał na tym, że znacznie częściej oflagowywał zdjęcia kolorowych ludzi.

Poszukała więc problemu i znalazła go. Model uczył się rozpoznawać niebezpieczne obrazy z pornografii i bezpieczne obrazy ze zdjęć stockowych. Okazuje się, że pornografia jest znacznie bardziej zróżnicowana i ta różnorodność spowodowała, że ​​model automatycznie kojarzył ciemną skórę z lubieżnymi treściami.

Startup nie chciał nic z tym zrobić. Poszła więc do pracy nad tymi problemami z kobietą, którą poznaliśmy wcześniej w tej serii — Joy Buolamwini — która jako studentka stworzyła bardziej zróżnicowany i zrównoważony zestaw danych. Wykorzystali go do audytu algorytmów w produktach Face ID już na rynku.

Ta praca ma wiele wspólnego z dzisiejszym zrozumieniem tego, jak te produkty zawodzą kobiety i osoby kolorowe.

Ale to kosztowało.

Deb Raji: Społeczność komputerowa w tamtym czasie nie prowadziła tych rozmów na temat etyki, społeczeństwa i sprawiedliwości. Na przykład, teraz czujemy się o wiele bardziej komfortowo z tą pracą, ale był czas, kiedy nawet społeczność naukowa była bardzo wrogo nastawiona i zadawała pytania, co to jest? O co ci tu chodzi? Jakie ma to znaczenie?

Jennfier Silna : To się zmieniło z biegiem czasu i mówi, że znalazła wsparcie również w firmach, które audytują.

Deb Raji : I chociaż ich stanowisko na poziomie instytucjonalnym lub korporacyjnym było defensywne. Osoby w tych firmach naprawdę ciężko walczyły o zmianę pozycji swoich firm i forsowanie niektórych z tych pozycji, które widzimy dzisiaj.

Jennfier Silna : Amazon i Microsoft niedawno wstrzymały sprzedaż swoich systemów identyfikacji twarzy organom ścigania. IBM całkowicie przestał nad tym pracować.

Deb Raji : Jest ten rodzaj dodatkowego uznania z tymi moratorium na powiedzenie, poczekanie, a właściwie, podczas gdy ta zniuansowana rozmowa ma miejsce w odniesieniu do ustanowienia tej polityki i tych regulacji, których rozpaczliwie potrzebujemy. Nie zamierzamy jednocześnie sprzedawać tej technologii. I myślę, że uświadomienie sobie i ta luka jest ważnym krokiem naprzód w rozmowie.

Jennfier Silna : Tak więc jest pilna chwila, którą nazywa pauzą. A podczas tej pauzy jest wiele rzeczy, które musimy uporządkować.

Ale jeśli będziemy polegać na firmach technologicznych, które dostosują się do regulacji?

Deb Raji : …zawsze się nie uda.

Lektor: I ostrzega, że ​​identyfikator twarzy to tylko wierzchołek góry lodowej.

Deb Raji : O wiele łatwiej jest prowadzić tę rozmowę o twarzach niż o danych ubezpieczeniowych, danych medycznych, czy nawet niektórych z tych systemów ubezpieczeń społecznych, chociaż ta dokładna sytuacja, w której występuje ta nieproporcjonalna wydajność, również ma zastosowanie do tych przypadków.

Jennfier Silna : Więc idąc dalej, chce ujawnienia i przejrzystości. Apeluje również o odpowiedni system oceny.

Ostatecznie jednak:

Deb Raji: Duża władza leży w rękach decydentów, ponieważ duże firmy technologiczne zdecydowanie nie powinny kontrolować rozmowy.

Jennfier Silna : Możemy znaleźć się w punkcie zwrotnym naszego związku z rozpoznawaniem twarzy i sposobem, w jaki jest ono wykorzystywane.

A jednak można bezpiecznie powiedzieć, że stosowanie tej technologii prawdopodobnie będzie kontynuowane w zawrotnym tempie, pozostawiając nasze zrozumienie jej mocy i wpływu w kurzu – chyba że naprawdę zatrzymamy się, odetchniemy i ustalimy pewne zasady dla kogo uzyskuje dostęp do obrazów naszych twarzy i tego, co mogą z nimi zrobić.

W następnym odcinku… wybieramy wymaz w kierunku koronawirusa w metrze w Nowym Jorku, badając rolę sztucznej inteligencji w przywracaniu i przemieszczaniu światowych systemów transportu publicznego.

Ten odcinek został zrelacjonowany i wyprodukowany przeze mnie, Tate Ryan-Mosley, Emmę Cillekens i Karen Hao. Pomógł nam Benji Rosen. Redagują nas Michael Reilly i Gideon Litchfield. Naszym dyrektorem technicznym jest Jakub Górski.

Do zobaczenia za kilka tygodni.

Dzięki za wysłuchanie, jestem Jennifer Strong.

ukryć