Jak Obama wykorzystał Big Data do zebrania wyborców, część 1

Dwa lata po wyborze Baracka Obamy na prezydenta Demokraci ponieśli najgorszą porażkę od dziesięcioleci. Większość w Kongresie, która dała Obamie sukcesy legislacyjne, reformując rynek ubezpieczeń zdrowotnych i rynki finansowe, została zmieciona w wyborach śródokresowych; kontrola nad Izbą odwróciła się, a przewaga Demokratów w Senacie skurczyła się do niewiarygodnie szczupłego marginesu. Eksperci starali się wyjaśnić powstanie Tea Party. Rozczarowanie wyborców agendą Obamy było widoczne, gdy niezależni złamali prawo, a Demokraci zostali w domu. W 2010 roku Komitet Narodowy Demokratów nie zdał pierwszego testu ery Obamy: nie utrzymywał koalicji Obamy razem.

Ale dla Demokratów było w tym wszystkim ponure pocieszenie: Dan Wagner to przewidział. Kiedy Wagner został zatrudniony jako dyrektor ds. targetowania DNC, w styczniu 2009 r., stał się odpowiedzialny za zbieranie informacji o wyborcach i ich analizę, aby pomóc komitetowi skontaktować się z poszczególnymi wyborcami za pośrednictwem poczty i telefonu. Doceniał jednak fakt, że surowy materiał, który wprowadzał do swoich modeli statystycznych, stanowił serię badań dotyczących postaw i preferencji wyborców. Poprosił dział technologiczny DNC o opracowanie oprogramowania, które mogłoby przekształcić te informacje w tabele i nazwał wynik Survey Manager.

Tej jesieni, kiedy odbyły się specjalne wybory w celu obsadzenia wolnego miejsca w Kongresie w północnej części stanu Nowy Jork, Wagner z powodzeniem przewidział ostateczną przewagę w granicach 150 głosów – na długo przed dniem wyborów. Miesiące później ankieterzy przewidywali, że Martha Coakley z pewnością wygra kolejne wybory specjalne, aby zająć miejsce w Senacie Massachusetts, które zostało puste po śmierci Teda Kennedy'ego. Ale kierownik ankiety Wagnera słusznie przewidział, że republikanin Scott Brown prawdopodobnie zwycięży w silnie demokratycznym państwie. Jedną rzeczą jest mieć rację, kiedy ma się wygrać, mówi Jeremy Bird, który pełnił funkcję krajowego zastępcy dyrektora Organizing for America, zawieszonej kampanii Obamy, mieszczącej się w DNC. Inną rzeczą jest mieć rację, kiedy przegrywasz.

To kolejna rzecz, która ma rację pięć miesięcy zanim przegrasz. W miarę zbliżania się połowy kadencji 2010 Wagner zbudował modele statystyczne dla wybranych wyścigów senackich i 74 okręgów kongresowych. Od czerwca zaczął przewidywać wyniki wyborów, przewidując marginesy zwycięstwa z nieprawdopodobną dokładnością. Ale nie dotarł tam z tradycyjnymi ankietami. Policzył głosy jeden po drugim. Jego pierwsza wskazówka, że ​​partia ma kłopoty, pochodziła z tysięcy indywidualnych ankiet dopasowanych do bogatych profili statystycznych w bazach danych DNC. Wyborcy rdzennych Demokratów mówili rozmówcom DNC, że są znacznie mniej skłonni do głosowania, niż sugerowało to statystyczne prawdopodobieństwo. Wagner mógł również obliczyć, ile programy mobilizacyjne Demokratów zrobiłyby, aby zwiększyć frekwencję wśród kibiców, a w większości wyścigów wiedział, że nie wystarczy, aby wypełnić lukę ujawniającą się w tabelach Survey Managera.

Jego przewidywania w Kongresie były chybione średnio tylko o 2,5 procent. To był dowód dla wielu ludzi, którzy nie rozumieją matematyki, która za tym stoi, ale rozumieją wartość tego, co ta matematyka produkuje, mówi Mitch Stewart, dyrektor ds. Organizacji w Ameryce. Kiedy odbyły się pierwsze specjalne [wybory], jego słowo stało się złotym standardem w DNC.

Znaczenie osiągnięć Wagnera wykraczało daleko poza jego zdolność do ogłoszenia zwycięzców na miesiące przed dniem wyborów. Jego podejście sprowadzało się do zdecydowanego zerwania z XX-wiecznymi narzędziami śledzenia opinii publicznej, które obracały się wokół kwarantanny małych próbek, które można było traktować jako reprezentatywne dla całości. Wagner wyłonił się z kadry analityków, którzy myśleli o wyborcach jako jednostkach i pracowali nad gromadzeniem prognoz na temat ich opinii i zachowań, aż ujawnili złożony obraz wszystkich. Jego techniki stanowiły spełnienie nowego sposobu myślenia, powstającego na dekadę, w którym wyborcy nie byli już uwięzieni w starych geografach politycznych ani przywiązani do tradycyjnych kategorii demograficznych, takich jak wiek czy płeć, w zależności od tego, o jakie atrybuty pytali ankieterzy lub jak marketerzy konsumenccy klasyfikowali je w celach komercyjnych. Zamiast tego elektorat może być postrzegany jako zbiór indywidualnych obywateli, z których każdy może być mierzony i oceniany na własnych warunkach. Teraz to zależało od kandydata, który chciał poprowadzić tych ludzi do zbudowania kampanii, która będzie z nimi współdziałać w ten sam sposób.

Dan Wagner, główny analityk Obamy 2012, kierował kampanijną jaskinią naukowców zajmujących się danymi.

Po tym, jak wyborcy przywrócili Obamę do urzędu na drugą kadencję, jego kampania stała się celebrowana z powodu wykorzystania technologii — w dużej mierze opracowanej przez niezwykły zespół programistów i inżynierów — które na nowo zdefiniowały sposób, w jaki poszczególne osoby mogą korzystać z Internetu, mediów społecznościowych i smartfonów do uczestniczyć w procesie politycznym. Aplikacja mobilna umożliwiała akwizytorowi pobieranie i zwracanie arkuszy spaceru bez wchodzenia do biura kampanii; platforma internetowa o nazwie Dashboard grywalizująca aktywność wolontariuszy poprzez ranking najaktywniejszych kibiców; a protokoły ukierunkowanego udostępniania przekopały sieć Facebook zwolennika Obamy w poszukiwaniu przyjaciół, których kampania chciała zarejestrować, zmobilizować lub przekonać.

Ale pod tym wszystkim były wyniki opisujące poszczególnych wyborców: nowa waluta polityczna, która przewidywała zachowanie poszczególnych ludzi. Kampania nie tylko wiedziała, kim jesteś; dokładnie wiedział, jak może zmienić cię w osobę, którą chciał, abyś był.

Wyniki

Cztery lata wcześniej Dan Wagner pracował w chicagowskiej firmie doradztwa ekonomicznego, wykorzystując umiejętności prognozowania opracowane podczas studiów ekonometrycznych na Uniwersytecie w Chicago, kiedy zakochał się w Baracku Obamie i zdecydował, że chce pracować nad kampanią prezydencką swojego senatora w stanie rodzinnym w 2008 roku. Wagner, wówczas 24-letni, wkrótce znalazł się w Des Moines, zajmując się wprowadzaniem danych do stanowej teczki wyborców, która poprowadziła Obamę do jego decydującego zwycięstwa na klubach Iowa. Przeskakiwał od stanu do stanu przez długi kalendarz prawyborów, zapoznając się z danymi wyborców i sposobami wykorzystania modeli statystycznych do inteligentnego sortowania elektoratu. W wyborach powszechnych został wyznaczony na głównego celownika regionu Wielkich Jezior/Doliny Rzeki Ohio, najbardziej intensywnego pola bitwy w kraju.

Po zwycięstwie Obamy wielu jego czołowych doradców wyjechało do Waszyngtonu, aby przygotować się do rządzenia. Wagnerowi kazano pozostać w tyle i służyć w powyborczej grupie zadaniowej, która miała dokonać przeglądu kampanii, która dla świata zewnętrznego wyglądała na bezbłędną pod względem technicznym.

W wyborach prezydenckich w 2008 r. napastnicy Obamy przypisali każdemu wyborcy w kraju parę punktów w oparciu o prawdopodobieństwo, że dana osoba wykona dwa różne działania, które miały znaczenie dla kampanii: oddanie głosu i poparcie dla Obamy. Wyniki te pochodzą z bezprecedensowej ilości trwających prac ankietowych. Dla każdego stanu pola bitwy co tydzień centra telefoniczne kampanii przeprowadzały od 5000 do 10 000 tak zwanych krótkich wywiadów, które szybko oceniały preferencje wyborców, oraz 1000 wywiadów w wersji długiej, która bardziej przypominała tradycyjną ankietę. Aby uzyskać prognozy na poziomie indywidualnym, algorytmy przeszukały wzorce między tymi opiniami a punktami danych zebranymi w ramach kampanii dla każdego wyborcy — każda po tysiąc zmiennych, pochodzących z rejestrów rejestracji wyborców, hurtowni danych konsumentów i kontaktów z przeszłości.

Ta innowacja była najbardziej ceniona w tej dziedzinie. Tam prawie doskonały cykl modeli mikrotargetowania kierował ochotników do scenariuszowych rozmów z konkretnymi wyborcami przy drzwiach lub przez telefon. Każda z tych interakcji generowała dane, które były przesyłane strumieniowo z powrotem na serwery Obamy w celu udoskonalenia modeli wskazujących wolontariuszom drogę do najbliższych drzwi wartych pukania. Skuteczność i skala tego procesu postawiły Demokratów na czele, jeśli chodzi o profilowanie wyborców. Kampania Johna McCaina w większości stanów uruchomiła swój model statystyczny tylko raz, przypisując każdego wyborcę do jednego ze swoich segmentów mikrotargetowania latem. Doradcy McCaina nie byli w stanie ponownie obliczyć prawdopodobieństwa, że ​​ci wyborcy poprą swojego kandydata w miarę zmiany dynamiki wyścigu. Z drugiej strony wyniki Obamy były korygowane co tydzień, w odpowiedzi na nowe wydarzenia, takie jak nominacja na wiceprezydenta Sarah Palin czy upadek Lehman Brothers.

Jednak w ramach kampanii zrozumiano, że operacje na danych Obamy mają wady. Jak zwykle w infrastrukturze informacji politycznej, wiedza o ludziach była przechowywana oddzielnie od danych o interakcji z nimi w ramach kampanii, głównie dlatego, że bazy danych zbudowane w tym celu zostały opracowane przez różnych konsultantów, którzy nie byli zainteresowani współpracą ich systemów.

Ale grupa zadaniowa wiedziała, że ​​następna kampania nie utknęła w tej sytuacji. Obama pobiegłby swój ostatni wyścig nie jako buntownik przeciwko establishmentowi partyjnemu, ale jako sam establishment. Członkowie grupy zadaniowej wiedzieli, że przez cztery lata ich zespół będzie kontrolował aparat Partii Demokratycznej. Ich wymagania, a nie oferty konsultantów i dostawców, miałyby kształtować rynek. W ich raporcie zalecono opracowanie systemu zarządzania relacjami składowymi, który umożliwiłby pracownikom całej kampanii wyszukiwanie osób nie tylko jako wyborców, wolontariuszy, darczyńców lub użytkowników stron internetowych, ale jako pełnych obywateli. Zdaliśmy sobie sprawę, że istnieje problem związany z interakcją naszych danych i infrastruktury z resztą kampanii i powinniśmy być w stanie zaoferować to wszystkim częściom kampanii – mówi Chris Węgrzyn, twórca aplikacji bazodanowych, który służył w grupie zadaniowej .

Węgrzyn stał się głównym deweloperem DNC i nadzorował szereg kosztownych przejęć, które miały na celu uwolnienie strony od tradycyjnej zależności od zewnętrznych dostawców. Komitet zainstalował jednostkę telefoniczną Siemens Enterprise System, która mogła wykonywać 1,2 miliona połączeń dziennie w celu zbadania opinii wyborców. Później przywódcy partyjni podpisali umowę na 280 000 dolarów licencji na używanie oprogramowania Vertica firmy Hewlett-Packard, które umożliwiało ich serwerom dostęp nie tylko do akt wyborców partii liczących 180 milionów osób, ale także do wszystkich danych o ochotnikach, darczyńcach i tych, którzy mieli z nimi kontakt. Obama w Internecie.

Wielu z tych, którzy udali się do Waszyngtonu po wyborach w 2008 r., aby rozwijać polityczną agendę prezydenta, wróciło do Chicago wiosną 2011 r., aby pracować nad jego relekcją. Upominające straty, których ponieśli w Waszyngtonie, oddzieliły ich od tych, którzy znali tylko ekstazy z 2008 roku. – mówi Jeremy Bird, który został krajowym dyrektorem terenowym podczas kampanii reelekcyjnej. Ale ci, którzy pojechali do Waszyngtonu i wrócili do Chicago, szczególnie docenili metody pracy Wagnera z elektoratem na poziomie atomowym. Był to sposób myślenia, który doskonale współgrał z ich prostą teorią dotyczącą tego, czego potrzeba, aby wygrać prezydencką reelekcję: sprawić, by wszyscy, którzy głosowali na niego w 2008 roku, zrobili to ponownie. Jednocześnie wiedzieli, że będą musieli odnieść sukces w rejestrowaniu i mobilizowaniu nowych wyborców, zwłaszcza w niektórych najszybciej rozwijających się kategoriach demograficznych, aby nadrobić wszystkich wyborców z 2008 roku, którzy odeszli.

Kampania Obamy rozpoczęła rok wyborczy, mając pewność, że zna nazwisko każdego z 69 456 897 Amerykanów, których głosy umieściły go w Białym Domu. Być może oddali te głosy w tajnym głosowaniu, ale analitycy Obamy mogliby spojrzeć na sumy głosów Demokratów w każdym okręgu i zidentyfikować osoby, które najprawdopodobniej go poparły. Eksperci mówili abstrakcyjnie o ponownym połączeniu koalicji Obamy z 2008 roku. Ale w kampanii cel był dosłowny. Powoli składali koalicję, jeden po drugim, poprzez osobiste kontakty.

Jutro: część 2 — Eksperymenty

ukryć