AI zobaczyła przycięte zdjęcie AOC. To autouzupełniało jej noszenie bikini.

Pani Tech | Getty

Wiadomo, że algorytmy generowania języka zawierają idee rasistowskie i seksistowskie. Są przeszkoleni w zakresie języka internetu, w tym mrocznych zakamarków Reddita i Twittera, które mogą zawierać mowę nienawiści i dezinformację. Wszelkie szkodliwe idee obecne na tych forach zostają znormalizowane w ramach ich uczenia się.

Badacze już zademonstrowały że to samo może dotyczyć algorytmów generowania obrazu. Nakarm jedno zdjęcie mężczyzny przyciętego tuż pod szyją, a w 43% przypadków spowoduje to autouzupełnianie go w garniturze. Nakarm tę samą przyciętą fotografię kobiety, nawet sławnej kobiety, takiej jak reprezentantka USA Alexandria Ocasio-Cortez, a w 53% przypadków będzie to autouzupełnianie jej, gdy ma na sobie nisko wycięty top lub bikini. Ma to konsekwencje nie tylko dla generowania obrazu, ale dla wszystkich aplikacji widzenia komputerowego, w tym: algorytmy oceny kandydatów oparte na wideo , rozpoznawanie twarzy i nadzór.

Ryan Steed, doktorant na Carnegie Mellon University i Aylin Caliskan, adiunkt na George Washington University, przyjrzeli się dwóm algorytmom: iGPT OpenAI (wersja GPT-2, która jest wyszkolona na pikselach zamiast na słowach) i SimCLR firmy Google . Chociaż każdy algorytm inaczej podchodzi do uczenia się obrazów, łączy je ważna cecha — oba wykorzystują całkowicie nauka nienadzorowana , co oznacza, że ​​nie potrzebują ludzi do oznaczania obrazów.

Jest to stosunkowo nowa innowacja od 2020 roku. Wcześniej używane algorytmy wizji komputerowej były głównie używane nadzorowane nauka, która polega na karmieniu ich ręcznie oznaczonymi obrazkami: zdjęciami kotów z tagiem kot i zdjęciami dziecka z tagiem dziecko. Jednak w 2019 roku badaczka Kate Crawford i artysta Trevor Paglen odkryli, że te stworzone przez człowieka etykiety w ImageNet, najbardziej podstawowym zbiorze danych obrazu do trenowania modeli widzenia komputerowego, czasami zawierają niepokojący język , jak zdzira dla kobiet i rasistowskie obelgi dla mniejszości.

Najnowszy artykuł pokazuje jeszcze głębsze źródło toksyczności. Nawet bez tych ludzkich etykiet same obrazy kodują niechciane wzory. Problem jest podobny do tego, co już odkryła społeczność zajmująca się przetwarzaniem języka naturalnego (NLP). Ogromne zbiory danych skompilowane w celu zasilenia tych żądnych danych algorytmów przechwytują wszystko w Internecie. A w internecie jest nadreprezentacja skąpo odzianych kobiet i innych, często krzywdzących stereotypów.

Aby przeprowadzić swoje badania, Steed i Caliskan sprytnie zaadaptowali technikę, której Caliskan wcześniej używał do badania błędu systematycznego w nienadzorowanych modelach NLP. Modele te uczą się manipulować i generować język za pomocą osadzania słów, matematycznej reprezentacji języka, która grupuje słowa powszechnie używane razem i oddziela słowa powszechnie występujące. W 2017 artykuł opublikowany w Nauka Caliskan zmierzył odległości między różnymi parami słów, których psychologowie używali do pomiaru ludzkich uprzedzeń w test niejawnego stowarzyszenia (IAT) . Odkryła, że ​​te odległości prawie idealnie odtworzyły wyniki IAT. Stereotypowe pary słów, takie jak mężczyzna i kariera lub kobieta i rodzina, były blisko siebie, podczas gdy przeciwstawne pary, takie jak mężczyzna i rodzina lub kobieta i kariera, były daleko od siebie.

iGPT opiera się również na osadzaniach: grupuje lub oddziela piksele na podstawie częstotliwości ich współwystępowania w obrazach treningowych. Te osadzania pikseli można następnie wykorzystać do porównania, jak blisko lub daleko znajdują się dwa obrazy w przestrzeni matematycznej.

Powiązana historia

Prawdziwe zagrożenia związane ze sztuczną inteligencją są bliższe niż myślimy

Zapomnij o superinteligentnej sztucznej inteligencji: algorytmy już wyrządzają prawdziwą szkodę. Dobra wiadomość: walka już się rozpoczęła.

W swoim badaniu Steed i Caliskan po raz kolejny odkryli, że odległości te odzwierciedlają wyniki IAT. Zdjęcia mężczyzn, krawatów i garniturów pojawiają się blisko siebie, podczas gdy zdjęcia kobiet znajdują się w większej odległości od siebie. Badacze uzyskali te same wyniki w przypadku SimCLR, pomimo zastosowania innej metody wyprowadzania osadzeń z obrazów.

Wyniki te mają niepokojące implikacje dla generowania obrazu. Inne algorytmy generowania obrazu, takie jak generatywne sieci adwersarzy , doprowadziły do eksplozja pornografii deepfake że skierowany jest prawie wyłącznie do kobiet . W szczególności iGPT dodaje jeszcze jeden sposób, w jaki ludzie mogą generować zseksualizowane zdjęcia kobiet.

Ale potencjalne skutki w dalszej kolejności są znacznie większe. W dziedzinie NLP modele nienadzorowane stały się podstawą wszelkiego rodzaju zastosowań. Badacze zaczynają od istniejącego nienadzorowanego modelu, takiego jak BERT lub GPT-2, i wykorzystują dostosowane zestawy danych, aby dostroić go do określonego celu. To częściowo nadzorowane podejście, będące połączeniem uczenia się nienadzorowanego i nadzorowanego, stało się de facto standardem.

Podobnie, pole widzenia komputerowego zaczyna dostrzegać ten sam trend. Steed i Caliskan martwią się, co te zapieczone uprzedzenia mogą oznaczać, gdy algorytmy są używane do wrażliwych zastosowań, takich jak policja lub zatrudnianie, gdzie modele już analizują nagrania wideo kandydatów, aby zdecydować, czy nadają się do pracy. To bardzo niebezpieczne aplikacje, które podejmują konsekwentne decyzje, mówi Caliskan.

Deborah Raji , członek Mozilli, który jest współautorem wpływowe badanie ujawnia błędy w rozpoznawaniu twarzy, mówi, że badanie powinno służyć jako sygnał alarmowy dla pola widzenia komputerowego. Mówi, że przez długi czas wiele krytyki stronniczości dotyczyło sposobu, w jaki oznaczamy nasze obrazy. Teraz ten artykuł mówi, że faktyczny skład zbioru danych powoduje te błędy. Potrzebujemy odpowiedzialności za to, w jaki sposób zarządzamy tymi zestawami danych i zbieramy te informacje.

Steed i Caliskan apelują o większą przejrzystość ze strony firm, które opracowują te modele, aby otworzyły je i pozwoliły społeczności akademickiej kontynuować badania. Zachęcają również kolegów badaczy do przeprowadzenia większej liczby testów przed wdrożeniem modelu wizji, na przykład przy użyciu metod opracowanych na potrzeby tego artykułu. I wreszcie, mają nadzieję, że dziedzina opracuje bardziej odpowiedzialne sposoby kompilowania i dokumentowania tego, co jest zawarte w treningowych zestawach danych.

Caliskan twierdzi, że ostatecznym celem jest uzyskanie większej świadomości i kontroli podczas stosowania wizji komputerowej. Musimy bardzo uważać na to, jak ich używamy, mówi, ale jednocześnie, gdy mamy te metody, możemy spróbować wykorzystać je dla dobra społecznego.

ukryć