211service.com
Mądrość tłumu dokładnie przewiduje orzeczenia Sądu Najwyższego
FantasySCOTUS to internetowa liga fantasy, w której zawodnicy rywalizują, przewidując decyzje podejmowane przez Sąd Najwyższy Stanów Zjednoczonych. Gracze są klasyfikowani jak w każdej lidze fantasy, a najlepsi mogą wygrać nagrody, takie jak Złoty Młotek, a nawet 10 000 $ w gotówce.
Od 2011 roku około 7000 graczy dokonało ponad 600 000 prognoz dotyczących wyników ponad 400 orzeczeń Sądu Najwyższego. Osoby te nie potrzebują żadnych specjalnych kwalifikacji, a wstęp jest bezpłatny, chociaż nagrody są ograniczone do obywateli USA. Gracze mogą przychodzić i odchodzić, jak im się podoba, biorąc udział w niektórych prognozach, ale nie w innych.
Wszystko to sprawia, że jest to ciekawa grupa. Socjologowie od dawna interesują się mądrością tłumów — zjawiskiem, w którym duża liczba jednostek, pozornie działających niezależnie, może wspólnie podejmować zaskakująco trafne decyzje, czasem nawet lepsze niż najmądrzejsi z nich.
Krajobraz crowdsourcingowej mądrości w przewidywaniu decyzji SCOTUS
Naukowcy wiedzą, że w niektórych okolicznościach mądrość tłumów jest bardzo trafna, ale w innych nie jest lepsza od przypadkowego zgadywania, a czasem gorsza. Więc jak dobry jest tłum w przewidywaniu decyzji Sądu Najwyższego?
Dzisiaj otrzymujemy odpowiedź dzięki pracy Daniela Martina Katza z Chicago Kent College of Law w Illinois i kilku kumpli, którzy przeanalizowali dane z FantasySCOTUS, aby dowiedzieć się, jak dobra jest naprawdę mądrość tłumu. Pokazują też, że crowdsourcing jest całkiem dobry w przewidywaniu wyniku w szerokim zakresie warunków.
Ich metoda jest prosta. Ci faceci wymyślają następujący scenariusz:
Wyobraź sobie, że następująca historia jest prawdziwa. W październiku 2011 r. ogłoszono nagrodę w wysokości miliona dolarów, aby przewidzieć sześć lat orzeczeń Sądu Najwyższego Stanów Zjednoczonych na podstawie danych crowdsourcingowych. Tysiące zespołów z całej branży i środowisk akademickich odpowiadają na wyzwanie, z których każdy dokonuje nieco innych, ale rozsądnych wyborów dotyczących sposobu formułowania swoich prognoz.
Katz i spółka pytają, jak te zespoły mogą podejść do problemu. Niektóre zespoły mogą kierować się ogólną mądrością tłumu, inne mogą wybrać podzbiór wpływowych osób do naśladowania, innym podejściem może być ważenie wpływu osób zgodnie z ich dokładnością w przeszłości i tak dalej. Modele te mogą również ewoluować w czasie, gdy zespoły uczą się, jakie podejście działa najlepiej.
Pytanie, które zadaje Katz i spółka, brzmi, jak dobre mogą być te modele. Aby się tego dowiedzieć, tworzą szeroką gamę modeli — około 250 000 — i testują je na danych z FantasySCOTUS. Naukowcy twierdzą, że wyczerpująco symulujemy modele w szerokim zakresie rozsądnych wyborów, a następnie analizujemy wydajność tych modeli łącznie.
Następnie porównują wydajność modeli z modelem zerowym. W tym przypadku model zerowy jest praktyczną regułą, której prawnicy używają do odgadywania wyniku orzeczeń Sądu Najwyższego. Ta zasada zakłada, że SCOTUS zmieni orzeczenie dowolnego sądu niższej instancji. I rzeczywiście tak się dzieje w około 60 procentach czasu.
Analiza pokazuje, że modele crowdsourcingowe są jednak jeszcze lepsze. Katz i spółka twierdzą, że wiele modeli konsekwentnie przewyższa model zerowy, który jest najlepszym przewidywaniem decyzji SCOTUS z 80-procentową dokładnością. Zapewniamy mocne poparcie dla twierdzenia, że crowdsourcing może dokładnie i solidnie przewidywać decyzje Sądu Najwyższego Stanów Zjednoczonych, mówią.
Zespół planuje wykorzystać tę samą metodę do przewidywania wyników innych procesów legislacyjnych, a nawet wyborów.
Praca nie daje jednak wglądu w słabości mądrości crowdsourcingowej. Na przykład mądrość tłumów często załamuje się, gdy opinie jednostek stają się skorelowane – gdy wywierają na siebie zbyt silny wpływ. Może to skutkować katastrofalnymi sytuacjami, na przykład gdy duże grupy mają irracjonalne lub błędne opinie pod wpływem grupowego myślenia.
Oczywiście interesujący obszar leży pomiędzy tymi skrajnościami – między mądrością a szaleństwem. Dlatego zrozumienie, jak i kiedy załamuje się mądrość, może być interesującą drogą dla przyszłej pracy.
Nr ref.: arxiv.org/abs/1712.03846 : Crowdsourcing dokładnie i solidnie przewiduje orzeczenia Sądu Najwyższego