Czym jest algorytm? To zależy kogo zapytasz

Getty

Opisanie systemu podejmowania decyzji jako algorytmu jest często sposobem na odwrócenie odpowiedzialności za ludzkie decyzje. Dla wielu termin ten oznacza zestaw zasad opartych obiektywnie na dowodach lub danych empirycznych. Sugeruje to również system, który jest bardzo złożony — być może tak złożony, że człowiek miałby trudności ze zrozumieniem jego wewnętrznego działania lub przewidywaniem jego zachowania po rozmieszczeniu.

Ale czy ta charakterystyka jest dokładna? Nie zawsze.

Na przykład pod koniec grudnia błędną alokację szczepionek przeciwko Covid-19 przez Stanford Medical Center obwiniono algorytm dystrybucji, który faworyzował wysokich rangą administratorów nad lekarzy pierwszego kontaktu. Szpital twierdził, że skonsultował się z etykami w celu zaprojektowania bardzo złożonego algorytmu, który według przedstawiciela wyraźnie nie działał prawidłowo, ponieważ Przegląd technologii MIT zgłoszone w tym czasie. Podczas gdy wiele osób interpretowało użycie tego terminu jako oznaczające, że w grę wchodzi sztuczna inteligencja lub uczenie maszynowe, system był w rzeczywistości algorytmem medycznym, który jest funkcjonalnie inny. Było to bardziej zbliżone do bardzo prostej formuły lub drzewa decyzyjnego zaprojektowanego przez ludzki komitet.

To rozłączenie podkreśla narastający problem. W miarę rozpowszechniania się modeli predykcyjnych opinia publiczna staje się coraz bardziej nieufna wobec ich wykorzystania przy podejmowaniu krytycznych decyzji. Ale gdy decydenci zaczynają opracowywać standardy dla ocena i audyt algorytmów, muszą najpierw zdefiniować klasę narzędzi podejmowania decyzji lub wspomagania decyzji, do których będą miały zastosowanie ich polityki. Pozostawienie terminu „algorytm” do interpretacji może umieścić niektóre modele o największym wpływie poza zasięgiem polityk zaprojektowanych w celu zapewnienia, że ​​takie systemy nie krzywdzą ludzi.

Jak zidentyfikować algorytm?

Czy algorytm Stanforda jest algorytmem? To zależy od tego, jak zdefiniujesz ten termin. Chociaż nie ma powszechnie akceptowanej definicji, powszechna pochodzi z podręcznik z 1971 r. napisany przez informatyka Harolda Stone'a, który stwierdza: Algorytm to zbiór reguł, które precyzyjnie definiują sekwencję operacji. Ta definicja obejmuje wszystko, od receptur po złożone sieci neuronowe: oparta na niej polityka audytu byłaby śmiesznie szeroka.

W statystyce i uczeniu maszynowym zwykle myślimy o algorytmie jako zestawie instrukcji wykonywanych przez komputer w celu uczenia się na podstawie danych. W tych polach powstałe uporządkowane informacje są zwykle nazywane modelem. Informacje, które komputer uczy się z danych za pośrednictwem algorytmu, mogą wyglądać jak wagi, przez które należy pomnożyć każdy czynnik wejściowy, lub mogą być znacznie bardziej skomplikowane. Złożoność samego algorytmu również może się różnić. A wpływ tych algorytmów ostatecznie zależy od danych, do których są stosowane, oraz kontekstu, w jakim został wdrożony uzyskany model. Ten sam algorytm może mieć pozytywny wpływ netto, gdy zostanie zastosowany w jednym kontekście, i bardzo inny efekt, gdy zostanie zastosowany w innym.

Powiązana historia

To jest algorytm szczepień Stanforda, który pominął lekarzy pierwszej linii Szpital uniwersytecki obwinił bardzo złożony algorytm za nierówny plan dystrybucji szczepionek. Oto, co poszło nie tak.

W innych dziedzinach to, co opisano powyżej jako model, samo nazywa się algorytmem. Chociaż jest to mylące, w najszerszej definicji jest to również trafne: modele to reguły (nauczone przez algorytm uczący komputera zamiast formułowanych bezpośrednio przez ludzi), które definiują sekwencję operacji. Na przykład w zeszłym roku w Wielkiej Brytanii media opisywały porażkę algorytm przyznać uczciwe wyniki uczniom, którzy nie mogli przystąpić do egzaminów z powodu COVID-19. Z pewnością tym, co omawiano w tych raportach, był model — zestaw instrukcji, które przekładały dane wejściowe (przeszłe wyniki ucznia lub ocenę nauczyciela) na wyniki (punktacja).

Wydaje się, że w Stanford wydarzyło się to, że ludzie – w tym etycy – usiedli i określili, jakich serii operacji system powinien użyć, aby określić, na podstawie danych wejściowych, takich jak wiek pracownika i dział, czy ta osoba powinna być jedną z pierwszych dostać szczepionkę. Z tego, co wiemy, ta sekwencja nie była oparta na procedurze estymacji, która została zoptymalizowana pod kątem jakiegoś celu ilościowego. Był to zestaw decyzji normatywnych dotyczących priorytetów szczepionek, sformalizowanych językiem algorytmu. To podejście kwalifikuje się jako algorytm w terminologii medycznej i zgodnie z szeroką definicją, mimo że jedyną zaangażowaną inteligencją była inteligencja ludzi.

Skoncentruj się na wpływie, a nie na wejściu

Prawodawcy również zastanawiają się, czym jest algorytm. Wprowadzony w Kongresie USA w 2019 roku, HR2291 lub ustawy o odpowiedzialności algorytmicznej, używa terminu zautomatyzowany system podejmowania decyzji i definiuje go jako proces obliczeniowy, w tym wywodzący się z uczenia maszynowego, statystyki lub innych technik przetwarzania danych lub sztucznej inteligencji, który podejmuje decyzję lub ułatwia podejmowanie decyzji przez człowieka, wpływa na konsumentów.

Powiązana historia

Audytorzy testują algorytmy zatrudniania pod kątem stronniczości, ale nie ma łatwego rozwiązania

Audyty AI mogą pomijać pewne rodzaje uprzedzeń i niekoniecznie weryfikują, czy narzędzie rekrutacyjne wybiera najlepszych kandydatów do pracy.

Podobnie rozważa się Nowy Jork W 1894 r. , ustawa, która wprowadziłaby obowiązkowe audyty automatycznych narzędzi podejmowania decyzji o zatrudnieniu, definiowanych jako każdy system, którego funkcją rządzi teoria statystyczna lub systemy, których parametry są definiowane przez takie systemy. Warto zauważyć, że oba projekty ustaw nakazują audyty, ale zawierają jedynie ogólne wytyczne dotyczące tego, czym jest audyt.

Ponieważ decydenci zarówno w rządzie, jak iw przemyśle tworzą standardy audytów algorytmicznych, prawdopodobne są spory dotyczące tego, co liczy się jako algorytm. Zamiast próbować uzgodnić wspólną definicję „algorytmu” lub konkretną uniwersalną technikę audytu, sugerujemy ocenę zautomatyzowanych systemów przede wszystkim na podstawie ich wpływu. Koncentrując się na wyniku, a nie na wkładzie, unikamy niepotrzebnych debat na temat złożoności technicznej. Liczy się potencjalna szkoda, niezależnie od tego, czy mówimy o wzorze algebraicznym, czy o głębokiej sieci neuronowej.

Wpływ jest krytycznym czynnikiem oceny w innych dziedzinach. Jest wbudowany w klasykę STRACH framework w zakresie cyberbezpieczeństwa, który został po raz pierwszy spopularyzowany przez Microsoft na początku XXI wieku i jest nadal używany w niektórych korporacjach. A w DREAD prosi osoby oceniające zagrożenia o określenie ilości użytkowników dotkniętych problemem, pytając, ile osób ucierpi na skutek zidentyfikowanej luki w zabezpieczeniach. Oceny wpływu są również powszechne w analizach praw człowieka i zrównoważonego rozwoju, a niektórzy wcześni twórcy ocen wpływu sztucznej inteligencji tworzyli podobne rubryki. Na przykład kanadyjski Algorytmiczna ocena wpływu zapewnia ocenę opartą na pytaniach jakościowych, takich jak Czy klienci z tej branży są szczególnie narażeni? (Tak lub nie).

Liczy się potencjalna szkoda, niezależnie od tego, czy mówimy o wzorze algebraicznym, czy o głębokiej sieci neuronowej.

Z pewnością istnieją trudności z wprowadzeniem do jakiejkolwiek oceny luźno zdefiniowanego pojęcia, takiego jak wpływ. Framework DREAD został później uzupełniony lub zastąpiony przez STRIDE, częściowo z powodu wyzwania z pogodzeniem różnych przekonań na temat tego, co pociąga za sobą modelowanie zagrożeń. Microsoft przestał używać DREAD w 2008 roku.

W dziedzinie sztucznej inteligencji konferencje i czasopisma już wprowadziły deklaracje wpływu z różnym powodzeniem i kontrowersją. To jest dalekie od niezawodnego: oceny wpływu, które są czysto schematyczne, można łatwo oszukać, podczas gdy zbyt niejasna definicja może prowadzić do arbitralnych lub niemożliwie długich ocen.

Mimo to jest to ważny krok naprzód. Termin algorytm, jakkolwiek zdefiniowany, nie powinien być tarczą zwalniającą ludzi, którzy zaprojektowali i wdrożyli jakikolwiek system odpowiedzialności za konsekwencje jego użycia. Właśnie dlatego opinia publiczna coraz bardziej domaga się odpowiedzialności algorytmicznej – a koncepcja wpływu oferuje użyteczną płaszczyznę dla różnych grup pracujących nad zaspokojeniem tego zapotrzebowania.

Kristian Lum jest adiunktem na Wydziale Informatyki i Nauk Informacyjnych Uniwersytetu Pensylwanii.

Rumman Chowdhury jest dyrektorem zespołu ds. etyki maszyn, przejrzystości i odpowiedzialności (META) na Twitterze. Wcześniej była dyrektorem generalnym i założycielką Parity, algorytmicznej platformy audytu i globalnym liderem odpowiedzialnej sztucznej inteligencji w Accenture.

ukryć