Ankieterzy pomylili się w wyborach w 2016 roku. Teraz chcą kolejnego strzału.

Pojawia się nowa rzesza niedoszłych wyroczni, zdecydowanych nie powielać błędów swoich poprzedników. Za pomocą

• Rob Artur strona archiwum

14 lutego 2020 r.

Karsten Petrat

W nocy 8 listopada 2016 r. Charles Franklin, podobnie jak miliony innych Amerykanów, obserwował, jak wyniki wyborów prezydenckich toczą się z czymś, co określił jako uczucie zapadania się. Ale Franklin , ankieter Wisconsin oraz profesor prawa i polityki publicznej na Marquette University, nie był zmartwiony swoimi osobistymi preferencjami politycznymi; jego reputacja była zagrożona. Zaledwie tydzień wcześniej jego własny sondaż pokazał Hillary Clinton sześć punktów w Wisconsin. Zamiast tego znalazła się tutaj, przegrywając o siedem dziesiątych punktu.

Franklin był na służbie w biurze decyzyjnym ABC, jednym z członków zakulisowego zespołu ekspertów odpowiedzialnego za dzwonienie do stanów w imieniu Clintona lub Donalda Trumpa, gdy nadchodziły rachunki. jasne, że jego ankieta była wyłączona.

Ta historia była częścią naszego wydania z marca 2020 r.

• Zobacz resztę numeru
• Subskrybuj

Nikt nie chce się mylić, mówi, patrząc wstecz. Więc w tym sensie było to bardzo przygnębiające.

Nie był jedynym ankieterem, który błędnie odczytał wybory. Według RealClearPolitics , w każdym z ponad 30 sondaży w Wisconsin w miesiącach poprzedzających wybory Clinton wygrał stan z przewagą od 2 do 16 punktów. Błędy te zostały dodatkowo wzmocnione, ponieważ zostały następnie wykorzystane jako paliwo dla algorytmów komputerowych, które przewidywały ogólne zwycięstwo Clintona.

Po tym, jak Donald Trump wygłosił swoje zwycięskie przemówienie i opadł kurz, wszyscy zaczęli przyznawać się do swoich błędów.

Zdeprymowało mnie, gdy zdałem sobie sprawę, że się myliłem, napisał Natalie Jackson, analityk danych w Huffington Post, która dała Clinton 98% szans na wygraną.

Media, w tym wiele mediów, których własne prognozy dawały Clintonowi duże prawdopodobieństwo zwycięstwa, zaczęły potępiać niepowodzenie algorytmów predykcji. Niektórzy krytycy byli bardziej ostrożni niż inni, przyznając, że niektórzy prognostycy trafnie opisali zwycięstwo Trumpa jako po prostu nieprawdopodobne. Ale wielu poddaje w wątpliwość cały pomysł przewidywania wyborów. Niektórzy używali nawet wyborów jako amunicji do ataku na całą dziedzinę nauki o danych.

Jednak prawie cztery lata później, gdy zbliża się kolejny konkurs, prognostycy zaczynają wydawać wczesne prognozy na 2020 rok. Reakcja na rok 2016 ich nie zniechęciła — w rzeczywistości jest teraz cała nowa rzesza niedoszłych wyroczni, zdeterminowanych, by nie powielają błędy swoich poprzedników.

Co poszło nie tak

Mieszanka problemów doprowadziła do błędnych wyborów w 2016 r. Niektóre sondaże nie skontaktowały się z wystarczającą liczbą mniej wykształconych białych wyborców, podczas gdy niektórzy zwolennicy Trumpa odmówili przyznania się, w jaki sposób będą głosować. Niekonwencjonalna strategia Trumpa przyniosła również więcej obywateli w silnie republikańskich hrabstwach wiejskich. Ankieterzy błędnie założyli, że ci ludzie będą trzymać się z daleka, tak jak to robili w poprzednich wyborach, przez co baza Trumpa wydawała się mniejsza, niż była w rzeczywistości.

Ale podczas gdy ankieterzy ponieśli większość winy, być może więcej potępienia powinno było spaść na prognostów, którzy przekształcają dane ankieterów w przewidywania.

Dwóch głównych prognostów wygrało Hillary Clinton z wynikiem 99%, mówi G. Elliott Morris, dziennikarz danych w Economist, który zajmuje się prognozowaniem wyborów. Kiedy tego nie zrobiła, wielu z nich po prostu obwiniało ankieterów, ponieważ jest to dla nich łatwe.

Niektórzy naukowcy zajmujący się danymi, którzy pomogli zaprojektować algorytmy prognozowania, popełnili co najmniej dwa poważne błędy. Po pierwsze, założyli, że jeśli prawdopodobieństwo straty o prawie siedem punktów w Wisconsin jest niskie, to prawdopodobieństwo wystąpienia porównywalnego błędu w innych krytycznych stanach, takich jak Michigan i Pensylwania, jest niewielkie. W rzeczywistości problemy z ankietami w jednym państwie były skorelowane z błędami w innych, podobnych państwach. Założenie, że sondaże były całkowicie niezależne od siebie – zamiast odzwierciedlać te same reakcje na te same kwestie – wywoływało zbytnią pewność siebie u Clintona.

Po drugie, algorytmom predykcji nie udało się zarejestrować rekordowej liczby niezdecydowanych wyborców jako znaku ostrzegawczego. Ponieważ tak wielu wyborców było na płocie aż do dnia wyborów – i w końcu doszłoby do silnego zerwania dla Trumpa – marginesy Clinton były znacznie mniej bezpieczne, niż się wydawało.

Karsten Petrat

Patrzył nam prosto w twarz, mówi Rachel Bitecofer , profesor nauk politycznych na Uniwersytecie Christophera Newport. Sugeruje, że gdyby w ściśle spornych stanach tuż przed dniem wyborów było więcej sondaży, analitycy mogliby zauważyć niezwykle dużą liczbę wyborców, którzy zdecydowali się na udział w wyborach w ostatniej chwili.

Nie była to jednak tylko wina prognostów. Nawet jeśli ich prawdopodobieństwa dla każdego kandydata były dokładne, opinia publiczna wydawała się mieć problem ze zrozumieniem znaczenia tych liczb.

W ostatnich dniach kampanii wyborczej pracowałem w FiveThirtyEight, jednym z najbardziej znanych punktów zajmujących się przewidywaniami. Moja praca nie wiązała się z wyścigiem prezydenckim: zamiast tego relacjonowałem World Series w baseballu. Kiedy Chicago Cubs przegrywali trzy mecze do jednego w serii siedmiu meczów z Indianami z Cleveland, zauważyłem, że ich szanse na wygraną, wynoszące około jednego do sześciu, były o włos mniejsze od szans Trumpa na zdobycie Białego Domu. Sześć drużyn zrobiło to wcześniej w 113-letniej historii World Series, a kolejne siedem osiągnęło to w innych rundach play-off, więc było to zdecydowanie możliwe, ale nie było to typowe. Później, gdy zarówno Cubs, jak i Trump wygrali z przeciwnościami losu, otrzymałem zalew nienawistnych tweetów, w których obwiniano mnie o to, że jakoś zepsułem dwa bardzo możliwe zwroty losu.

Jeśli usłyszysz, że będzie 20% szans na deszcz, nie zabieraj parasola. A potem pada deszcz i wszystko się wkurza, i to prawdopodobnie twoja wina, mówi Steven Shepard, redaktor i prognostyk wyborczy w Politico. Ale to 20% występowanie niekoniecznie jest tak mało prawdopodobne.

Wydawało się, że wiele osób przygląda się, który kandydat ma wygrać (zwykle Clinton), nie biorąc pod uwagę, jak pewni byli prognostycy. 70% szans na zwycięstwo Clintona z pewnością faworyzowało Demokratę, ale powinno być postrzegane zupełnie inaczej niż 99% szans.

Mimo to niektórzy powiedzieli, że 99% i byli niewątpliwie zbyt agresywni. Sam Wang z Princeton Election Consortium oszacował szanse Trumpa na mniej niż 1%, a nawet obiecał zjeść bakcyla, jeśli Trump zdobędzie ponad 240 głosów elektorskich.

Po ogłoszeniu wyników wyborów Wang dotrzymał słowa. Tydzień po dniu głosowania, on… pojawił się w CNN z puszką wybornych świerszczy (smakosz z punktu widzenia zwierzaka, wyjaśnił) i potępił widowisko, które spowodował jego zakład. Mam nadzieję, że uda nam się wrócić do danych i przemyśleć politykę i problemy, powiedział, zanim zanurzył świerszcza w miodzie i ze zbolałym wyrazem twarzy połknął owada.

Potrójne zagrożenie

Nie wszystkie prognozy były tak odległe, jak te Wanga. Niektórzy nawet przewidywali zwycięstwo Trumpa. Aby zrozumieć, dlaczego pojawiły się tak inaczej, warto przyjrzeć się wachlarzowi podejść, które można podzielić na trzy szerokie klasy.

Najwcześniejsze prognozy w każdym cyklu wyborczym pochodzą z tak zwanych modeli fundamentalnych. Są one zazwyczaj budowane na podstawie ocen prezydenckich, statystyk ekonomicznych i wskaźników demograficznych. Silna gospodarka zapowiada zwycięstwo partii zasiedziałego, podobnie jak wysoka aprobata dla zasiedziałego. Do przewidywania wyniku można również wykorzystać strukturę demograficzną danego stanu — na przykład biali wyborcy, którzy nie mieli wykształcenia wyższego, zwykle głosowali na Trumpa w 2016 r., więc stany, w których jest ich wiele, są bardziej skłonne do pójścia jego drogą w 2020 r. dobrze.

Ponieważ czynniki te są względnie stabilne, wiarygodne prognozy dotyczące wskaźników fundamentalnych można wykonać znacznie wcześniej niż większość innych rodzajów prognoz. Takie modele wydają się zbyt proste, aby uchwycić wszystkie dziwactwa i skandale współczesnej, dwuletniej kampanii. Ale w 2016 r. wypadli zaskakująco dobrze: sześciu na 10 przewidywało ostateczne głosowanie powszechne z dokładnością do jednego punktu procentowego.

Prezydencja nie jest jednak wybierana w zwykłym ogólnokrajowym głosowaniu powszechnym i jest to kluczowe ograniczenie podejścia opartego na podstawach: niewielu przewiduje ostateczne wyniki Kolegium Elektorów.

Modele podstawowe mają jeszcze jedną słabość. Jeśli pojawią się najświeższe informacje, takie jak skandal pod koniec wyścigu lub nagła zmiana w gospodarce (dobrym przykładem jest kryzys finansowy z 2008 r.), te stabilne prognozy mogą nagle stać się żałośnie nieaktualne. Aby to zrekompensować, mniej więcej dekadę temu statystycy zaczęli popularyzować nowe rodzaje modeli ilościowych, które nie są tak podatne na te październikowe niespodzianki. Przetwarzają dane z sondaży na bieżąco i codziennie szacują, kto wygra, aby móc odpowiedzieć, jeśli zmieni się opinia publiczna.

RealClearPolicies i Podsumowanie New York Times oba mają dobrze oceniane modele ilościowe, ale żaden model nie cieszy się większą sławą – ani prawdopodobnie lepszymi osiągnięciami – niż prognoza FiveThirtyEight Nate'a Silvera, nazwana na podstawie całkowitej liczby głosów w Kolegium Elektorów. Algorytm FiveThirtyEight ma kilka odmian, ale wszystkie starają się dostosować ankiety do tego, jak godna zaufania jest organizacja badawcza i czy jej wyniki mają tendencję do konsekwentnego skłaniania się do Demokratów lub Republikanów. Ostrożne przyswajanie danych z sondaży i uwaga, jaką Silver przywiązuje do niepewności, tradycyjnie odróżniają ją od innych prognoz. FiveThirtyEight to złoty standard, powiedział mi Bitecofer.

Spośród głównych prognoz ilościowych wyborów, FiveThirtyEight było najbardziej konserwatywny , dając Clintonowi 71,4% szans na wygraną w przeddzień wyborów. To brzmi teraz z perspektywy czasu, mówi Charles Franklin: Zwycięstwo Trumpa było mało prawdopodobnym, ale nie niemożliwym wynikiem.

Wreszcie istnieją predyktory, które całkowicie unikają podejścia matematycznego, polegając zamiast tego na kombinacji intuicji, sondowania i danych wyjściowych wszystkich innych rodzajów modeli razem wziętych. Te jakościowe prognozy działają na jednym z najbardziej wyrafinowanych, a jednak podatnych na błędy silników obliczeniowych, jakie znamy: ludzkim mózgu.

Zamiast dokładnych szacunków liczbowych, prognostycy jakościowi zazwyczaj grupują wyścigi w jedną z czterech kategorii w skali od bezpiecznego do podrzucenia.

Rzut oznacza, że ​​nie ma faworyta: to rodzaj rzutu monetą, mówi Kyle Kondik , jakościowy prognostyk z biuletynem analitycznym Crystal Ball Uniwersytetu Wirginii. Lean, jak mówi, to mała przewaga dla jednej lub drugiej strony. Prawdopodobnie większa krawędź po jednej lub drugiej stronie. A bezpieczne, mówi, oznacza, że ​​bylibyśmy w szoku, gdyby ta impreza przegrała. Niektóre predyktory jakościowe twierdzą, że te słowne grupowanie pomaga czytelnikom lepiej zrozumieć względne prawdopodobieństwa niż dokładniejsze liczby oferowane gdzie indziej.

Chociaż te przewidywania mogą wydawać się mniej naukowe niż te oparte na chrupiących liczbach, niektóre mogą pochwalić się imponującym poziomem dokładności. W półroczu 2018 r. według niezależnej oceny kilku profesjonalnych prognoz , to trafnie nazwana Kryształowa Kula spisała się najlepiej, a nie algorytm statystyczny FiveThirtyEight. Wyniki mają jednak tendencję do wahań z cyklu na cykl: najlepszą praktyką, według ankieterów i naukowców, jest wykorzystanie szerokiej gamy prognoz — jakościowych, ilościowych i fundamentalnych.

Co następne?

Prawie wszyscy prognostycy, z którymi rozmawiałem, otrzymali jadowitą, nienawistną pocztę po wynikach z 2016 roku. Jednak dziesiątki nowych modelarzy rzuciło swoje czapki na ring w 2020 roku.

W tym roku po raz pierwszy przedstawią swoje prognozy i zamierzają uniknąć błędów z poprzednich cykli wyborczych. Morris, prognostyk The Economist, jest jednym z tych, którzy wkraczają na pole. Wcześniejsze, podatne na błędy przewidywania nazwał okłamywaniem ludzi i nadużyciami redakcyjnymi. Powinniśmy się z tego uczyć, mówi.

The Economist będzie budować swój algorytm na podstawie sondaży publikowanych przez organizacje zewnętrzne, ale będzie również przeprowadzać własne ankiety w celu potwierdzenia wyników w niejednoznacznych stanach i wyścigach, co, jak ma nadzieję Morris, może doprowadzić do większej dokładności.

The Washington Post również po raz pierwszy stawia na prognozy, ale obiera inną drogę. Pozostaje poza grą w prognozowanie, dopóki nie zaczną napływać powroty. Dopiero gdy pierwsze obwody zaczną ogłaszać łączne liczby głosów w dniu wyborów, poczta wdroży swój model analityczny, aby ocenić prawdopodobieństwo, że konkretni kandydaci przejmą stan lub okręg, dla którego są konkurowanie. Czekając na policzenie pierwszych głosów, analitycy danych Posta planują drastycznie zmniejszyć błąd w przewidywaniu pozostałych głosów, aczkolwiek kosztem niemożności opublikowania wczesnej prognozy.

Doświadczeni prognostycy i ankieterzy też nie siedzą z założonymi rękami. Konstruktorzy modeli fundamentalnych zaczynają podejmować wyzwanie przewidywania Kolegium Elektorów, a nie tylko głosowania powszechnego. Bitecofer zaprojektował model oparty głównie na danych demograficznych, który już przewiduje wąskie zwycięstwo wyborcze demokratów, kimkolwiek by to nie było.

Wydaje się, że projektanci tych problematycznych algorytmów ilościowych wyciągnęli wnioski na temat błędów skorelowanych między stanami. The Huffington Post wydało Mea culpa za 98% przewidywania zwycięstwa Clintona. Wang, zjadający robaki profesor z Princeton, obiecał zaktualizować swój algorytm, aby w 2020 roku był znacznie mniej pewny siebie, przyznać się na swoim blogu że jego wcześniejszy model był błędem.

BADANIE WYŚCIGÓW KONNYCH WIERZY, ŻE ZWIĘKSZA CYNIZM... POWODUJE, ŻE LUDZIE POSTRZEGAJĄ POLITYKĘ JAKO GRĘ, W KTÓREJ WYCHODZĄ I KORZENIAJĄ SWOJĄ DRUŻYNĘ.

W międzyczasie prognostycy jakościowi wyciągnęli różne lekcje z 2016 roku. Jest wiele różnych rzeczy, które z perspektywy czasu żałuję, że nie skupiliśmy się na trochę więcej, ale powiedziałbym, że modele oparte na podstawach były najlepsze w tych wyborów, mówi Kondik z University of Virginia. Chciałbym, żebyśmy wszyscy zwrócili im większą uwagę.

Kondik i inni podkreślają potrzebę ostrożności wobec wszelkich przepowiedni, biorąc pod uwagę historyczną niepopularność urzędującego prezydenta, która powinna zmniejszać jego szanse i silną gospodarkę, która powinna je zwiększać. Te czynniki pojedynkowe oznaczają, że wyścig jest niepewny jak na razie przed dniem wyborów.

Karsten Petrat

Gdzie indziej organizacje medialne również zaczęły dostarczać swoje szacunki w sposób, który ma dać czytelnikowi lepsze, bardziej intuicyjne zrozumienie tego, co oznaczają prawdopodobieństwa. Zamiast pisać, że Demokraci mieli 87,9% szans na zdobycie Izby Reprezentantów podczas wyborów śródokresowych w 2018 r., na przykład FiveThirtyEight podkreślił, że mogli spodziewać się wygranej siedem razy na osiem.

Psychologowie odkryli, że ludzie lepiej rozumieją tego typu [liczby], napisał Yphtach Lelkes, profesor komunikacji na Uniwersytecie Pensylwanii.

Wreszcie, ankieterzy również poprawiają swoją grę. Amerykańskie Stowarzyszenie Badania Opinii Publicznej (AAPOR) wydało retrospektywę z 2016 r. zawierającą wnioski dla przyszłych wyborów. Wskazówki obejmują stosowanie sztuczek statystycznych, aby upewnić się, że próbki populacji są bardziej reprezentatywne dla badanego stanu, i przeprowadzanie większej liczby sondaży w ostatnich dniach kampanii, aby uchwycić skłonności późno decydujących wyborców, którzy okazali się tak krytyczni dla zwycięstwa Trumpa.

Franklin, ankieter z Wisconsin, był jednym z autorów sekcji zwłok AAPOR. Systematyczne niepowodzenie dziesiątek ankiet w kilku stanach sugeruje, że błąd jego sondażu wynikał z rzeczywistej zmiany w ostatnich dniach wyścigu, a nie z wcześniejszego, bardziej fundamentalnego błędu. Mimo to zastanawia się, co by było: co by było, gdybyśmy głosowali w weekend przed wyborami? Czy w tych danych uchwycilibyśmy ruch w kierunku Trumpa?

Odpytywanie kwantowe

Ale chociaż błędy sprzed czterech lat można naprawić, w cyklu 2020 mogą również pojawić się nowe trudności. Niektórzy mogą nawet kierować się samym prognozowaniem. Niektórzy eksperci twierdzą, że prognozy wyborcze mogą wpływać na wyniki, które starają się przewidzieć.

BADANIA Sugerują, że KIEDY LUDZIE UWAŻAJĄ, ŻE WYNIK WYBORÓW JEST PEWNY, JEST MNIEJ PRAWDOPODOBNIE GŁOSOWAĆ.

Według ostatnie badania , przytłaczająco liberalna publiczność dostroiła się do tych zbyt pewnych prognoz ilościowych w 2016 r. Wcześniej opublikowane badania sugerują, że jeśli ludzie wierzą, że wynik wyborów jest pewny, są mniej skłonni do głosowania, zwłaszcza jeśli pewność jest skumulowana na korzyść ich wybranego kandydat. Tak więc w ramach tego, co jest znane jako efekt obserwatora – w którym sam akt oglądania czegoś zmienia wynik – karmienie mocno demokratycznej publiczności stałą dietą nadmiernej pewności siebie, taką jak Wang, mogłoby znacznie zmniejszyć frekwencję. Biorąc pod uwagę, że wyścig został zasadniczo rozstrzygnięty zaledwie 107 000 głosów w trzech stanach, jakakolwiek redukcja mogła być ważna.

Clinton przegrał tak małą liczbą głosów, że z pewnością prawdopodobne jest, że probabilistyczne prognozy spowodowały, że wystarczająco dużo Demokratów pozostało w domu, że wpłynęło to na wynik, napisał Lelkes. Sama Clinton zasugerowała to samo. Nie wiem, jak kiedykolwiek obliczymy, ile osób myślało, że jest w worku, ponieważ procenty wciąż rzucano w ludzi: „Och, ma 88 procent szans na wygraną!”, powiedziała w wywiadzie dla New Magazyn York.

Nawet jeśli prognozy wyborcze nie zmienią wyniku w 2016 roku, mogą mieć większy wpływ na przyszłe kampanie.

Uważa się, że sondaże na temat wyścigów konnych zwiększają polityczny cynizm, wpływają na frekwencję, zwiększają polaryzację i prawdopodobnie wypierają informacje o istotnych kwestiach, napisał Lelkes. Powoduje to, że ludzie postrzegają politykę jako grę, w której wychodzą i kibicują swojemu zespołowi, zamiast wspierać kandydatów na podstawie ich stanowisk politycznych. A jeśli te efekty są rzeczywiste, prawdopodobnie staną się silniejsze, gdy pojawi się więcej prognoz.

Niektórzy prognostycy, jak Silver, odrzucili tę obawę. Twierdzą, że nie jest ich zadaniem mówienie ludziom, czy mają głosować, czy też mówienie mediom, co mają relacjonować. Inni jednak poważniej traktują rady Lelkesa i jego współpracowników.

Eksperymentujemy ze sposobami przekazywania niepewności, które nie zniechęcą ludzi [od głosowania], mówi Morris z The Economist. Ale myślę, że nadal będzie to problem, który będą mieli prognostycy… Nie wiem, jak radzimy sobie z niektórymi społecznymi implikacjami naszej pracy.

Rob Arthur jest niezależnym dziennikarzem i konsultantem ds. nauki danych z siedzibą w Chicago.

ukryć