Techniki danych Obamy będą rządzić przyszłymi wyborami

To jest część 3 naszego szczegółowego profilu technik big data, które dały Barackowi Obamie drugą kadencję. Przeczytaj część 1 i część 2.

Marzec

Latem 2011 roku Carol Davidsen otrzymała wiadomość od Dana Wagnera. Już kampania Obamy była znana z nieustannych e-maili błagających zwolenników o pieniądze lub czas, ale ta oferowała coś, co zaintrygowało Davidsena: pracę. Wagner posortował listę darczyńców kampanii, sięgającą roku 2008, aby znaleźć tych, którzy opisali swój zawód za pomocą terminów takich jak dane i analityka, i wysłał im wszystkie zaproszenia do ubiegania się o pracę w jego nowym dziale analityki.

Davidsen pracowała w Navic Networks, firmie należącej do Microsoftu, która napisała kod dla dekoderów telewizji kablowej, aby utworzyć zapis historii DVR lub tunera użytkownika, kiedy posłuchała wezwania Wagnera. Rok przed dniem wyborów rozpoczęła pracę w dziale technologicznym kampanii, aby być menedżerem produktu w Narwhal. Był to kryptonim, zapożyczony od wieloryba, w celu dopasowania rekordów z wcześniej niepołączonych baz danych, aby można było zsynchronizować interakcje użytkownika online z kampanią. W przypadku Narwhal wysyłki e-maili z prośbą o wolontariat mogą uwzględniać ich przeszłą historię darowizn, a algorytmy określające, o ile osoba wspierająca zostanie poproszona o wniesienie wkładu, może być kształtowana na podstawie wiedzy o jego reakcjach na poprzednie nagabywania. Ta integracja wzbogaciła technikę, powszechną w tworzeniu stron internetowych, którą Obama z powodzeniem wykorzystał w zbieraniu funduszy online w 2008 roku: test A/B, w którym użytkownicy są losowo kierowani do różnych wersji rzeczy, a ich odpowiedzi są porównywane. Teraz analitycy mogą wykorzystać dane osobowe, aby zidentyfikować atrybuty osób, które udzieliły odpowiedzi, i wykorzystać tę wiedzę do udoskonalenia kolejnych odwołań. Możesz przytoczyć inne rodzaje zaangażowania ludzi, mówi Amelia Showalter, dyrektor ds. analityki cyfrowej Obamy. Odkryliśmy, że istnieje wiele rzeczy, które budują dobrą wolę, takie jak podpisanie kartki urodzinowej prezydenta lub otrzymanie darmowej naklejki na zderzak, co skłoniło ich do większego zaangażowania w kampanię na inne sposoby.

Jeśli komunikacja online była aspektem kampanii 2008 poddanym najbardziej rygorystycznym badaniom empirycznym — łatwo jest losowo przypisywać e-maile w teście A/B i porównywać współczynniki klikalności lub poziomy darowizn — strategia masowego przekazu była jedną z nich. które otrzymały najmniej. Reklamy telewizyjne i radiowe musiały być kupowane według strefy geograficznej, a dostępne dane na temat tego, kto ogląda które kanały lub programy, zebrane przez firmy badawcze, takie jak Nielsen i Scarborough, często zawierały niewiele więcej niż wiek i płeć widza. To może być wystarczająco dobre, aby kierować zakupami dla Schick lub Foot Locker, ale ma ograniczoną wartość dla reklamodawców, którzy chcą zdefiniować odbiorców w kategoriach politycznych.

Gdy menedżer kampanii Jim Messina przygotował się do wydania nawet pół miliarda dolarów na środki masowego przekazu w celu reelekcji Obamy, postanowił na nowo wymyślić proces alokacji zasobów między kanałami telewizyjnymi, kablowymi, satelitarnymi i internetowymi. Jeśli myślisz o wszechświecie możliwych miejsc dla reklamodawcy, to jest on prawie nieskończony, mówi Amy Gershkoff, która została zatrudniona jako dyrektor ds. planowania kampanii dzięki jej udanym negocjacjom, podczas pracy w swojej firmie Changing Targets w 2009 roku, aby połączyć informacje z systemów kablowych po indywidualne profile mikrotargetowania. Istnieją dziesiątki milionów możliwości, w których kampania może wyłożyć kolejną złotówkę. Masz wszystkie te świetne, solidne dane wyborców, które nie pasują do danych medialnych. Sposób, w jaki to łączysz, jest wyzwaniem.

Na początku 2012 roku Wagner zręcznie przejął kontrolę nad planowaniem mediów we własnym wydziale. Rozszerzając zakres analityki, zdefiniował swoje kompetencje jako naukę i praktykę optymalizacji zasobów w celu ulepszania programów i efektywniejszego pozyskiwania głosów. Oznaczało to zwykle obliczenie, dla dowolnej aktywności w ramach kampanii, liczby głosów uzyskanych dzięki danej liczbie kontaktów przy danym koszcie.

Ale jeśli chodzi o kupowanie mediów, takie obliczenia były po prostu niemożliwe, ponieważ kampanie nie były w stanie powiązać tego, co wiedzieli o wyborcach z tym, co operatorzy kablowi wiedzieli o swoich klientach. Doradcy Obamy uznali, że dane udostępniane w sektorze prywatnym od dawna skłaniały reklamodawców politycznych do zadawania niewłaściwych pytań. Walsh mówi o próbie ponownego wyobrażenia sobie procesu kierowania do mediów: Nie chodziło o lepsze zrozumienie tego, co ponad 35 kobiet ogląda w telewizji. Miało się dowiedzieć, ilu naszych przekonujących wyborców oglądało te pory dnia.

Davidsen, której poprzednie prace pozostawiły ją dogłębnie zaznajomioną z bogatymi zestawami danych przechowywanymi w dekoderach, zrozumiał, że wiele z tych danych było dostępnych w postaci historii tunerów i rejestratorów DVR zebranych przez dostawców telewizji kablowej, a następnie zagregowanych przez firmy badawcze. Jednak ze względu na ochronę prywatności informacje nie były dostępne na poziomie indywidualnym. Najtrudniejszą rzeczą w kupowaniu mediów w tej chwili jest brak informacji, mówi.

Davidsen rozpoczął negocjacje, aby firmy badawcze przepakowały swoje dane w formę, która umożliwiłaby kampanii dostęp do poszczególnych historii bez naruszania standardów prywatności dostawców telewizji kablowej. W ramach umowy o wartości 350 000 dolarów, którą wypracowała z jedną firmą, Rentrak, kampania dostarczyła listę przekonujących wyborców i ich adresów, wyprowadzoną z modeli mikrotargetowania, a firma szukała ich w plikach rozliczeniowych dostawców telewizji kablowej. Gdy rekord się zgadza, Rentrak wydaje mu unikalny identyfikator gospodarstwa domowego, który identyfikuje dane oglądania z jednego dekodera, ale maskuje wszelkie informacje umożliwiające identyfikację.

Kampania Obamy stworzyła swój własny system ocen telewizyjnych, rodzaj Nielsena, w którym liczyli się tylko widzowie, którzy nie byli jeszcze w pełni zaangażowani w kandydata na prezydenta. Ale Davidsen musiał nabrać praktycznej formy na początku maja, kiedy stratedzy Obamy planowali rozpocząć wyświetlanie swoich anty-Romneyowskich reklam. Nadzorowała rozwój platformy oprogramowania, którą pracownicy Obamy nazwali Optimizer, która podzieliła dzień na 96 segmentów po kwadransach i oceniła, które przedziały czasowe w 60 kanałach oferują największą liczbę przekonujących celów za dolara. (Do września odblokowała jeszcze bogatszy skarbiec danych: system telewizji kablowej w Toledo w stanie Ohio, który co sekundę śledził historię tunerów widzów). Rewolucja w kupowaniu mediów w tej kampanii, mówi Terry Walsh, który koordynował kampanię wydatki na ankiety i reklamy miały na celu przekształcenie tego, co było medium transmisyjnym, w coś, co wygląda bardziej jak medium narrowcastowe.

Kiedy kampania Obamy wykorzystywała telewizję jako środek masowego przekazu, stało się tak dlatego, że Optymalizator uznał, że będzie to skuteczniejszy sposób osiągania przekonujących celów. Czasami ogólnokrajowa reklama w telewizji kablowej była lepszą okazją niż duża liczba lokalnych zakupów na 66 rynkach medialnych docierających do stanów pola bitwy. Ale okazjonalny zakup krajowy miał też inne korzyści. Może to zwiększyć zbieranie funduszy i motywować wolontariuszy w stanach, które nie były niezbędne do arytmetyki w Kolegium Elektorów Obamy. I, jak mówi Davidsen, pomaga to ukryć część strategii zakupów.

Nawet bez tej taktyki zakupy Obamy wprawiały w zakłopotanie analityków Romneya w Bostonie. Zainwestowali we własną platformę wywiadu medialnego o nazwie Centraforce. Wykorzystywał niektóre z tych samych zagregowanych źródeł danych, które były przesyłane do Optymalizatora, i czasami oba wydawały się wysyłać kampanie do tych samych mało prawdopodobnych bloków reklamowych — na przykład w powtórkach w TV Land. Ale w tym, co Alex Lundry, który stworzył jednostkę naukową Romneya, nazwał wysoce zmienną strategię medialną Obamy, było znacznie więcej. Wiele reklam Demokratów zostało umieszczonych na skrajnych rynkach, na marginalnych stacjach i w dziwnych czasach, w których niewielu kandydatów politycznych kiedykolwiek widziało wartość. Analitycy danych Romneya po prostu nie mogli rozszyfrować tych decyzji bez modeli wyborczych lub eksperymentów perswazyjnych, które pomogły Obamie wybrać indywidualne cele. Nigdy nie byliśmy w stanie określić poziomu reklamy i tego, co próbowali zrobić, mówi analityk danych Romney, Brent McGoldrick. Odwrotna inżynieria nie była warta, bo co zamierzasz zrobić?

Społeczność

Chociaż tabele opinii wyborców, które wyłoniły się z jaskini, wyglądały bardzo podobnie do sondaży, analitycy, którzy je stworzyli, nie byli skłonni nazywać ich sondażami. Kampania miała ich mnóstwo, wygenerowanych przez zespół ośmiu zewnętrznych firm zajmujących się opinią publiczną, a nowi przybysze z centrali w Chicago byli zszokowani różnorodnością badań, które codziennie pojawiały się na ich biurkach. Wierzyliśmy w połączenie jakości, które zrobiliśmy bardziej niż jakakolwiek kampania kiedykolwiek, z ilością, którą [również] zrobiliśmy bardziej niż jakakolwiek inna kampania, aby upewnić się, że cała komunikacja na każdym poziomie kampanii była informowana o tym, co znaleźli, mówi David Simas, dyrektor badań opinii.

Simas uważał się za kontrolera ruchu lotniczego w takich badaniach, którymi kierował szereg dzienników wyborczych, które zespół Obamy zlecił, przygotowując się do kampanii reelekcyjnej. „Musieliśmy zrobić coś prawie oderwanego od polityki i dotrzeć do sposobu, w jaki widzą swoje życie”, mówi. Główny ankieter, Joel Benenson, kazał respondentom pisać o swoich doświadczeniach. We wpisach często pojawiało się słowo rozczarowanie, które wyjaśniało postawy wobec administracji Obamy, ale też mówiło o szerszym niezadowoleniu z warunków ekonomicznych. To stało się podstawą całego naszego programu badawczego, mówi Simas.

Carol Davidsen zestawiła listy przekonujących wyborców Obamy z 2012 r. z informacjami rozliczeniowymi dostawców telewizji kablowej.

Doradcy Obamy wykorzystali te pamiętniki do opracowania przekazów, które przeciwstawiały Obamę Romneyowi jako bojownikowi klasy średniej. Krajowe sondaże Benensona testowały język, aby zobaczyć, co wpłynęło na odpowiedzi wyborców w eksperymentach ankietowych i bezpośrednich pytaniach. Kwartetowi ankieterom przydzielono określone stany i poproszono o ustalenie, które tematy krajowe najlepiej pasują do lokalnych problemów. Ostatecznie doradcy medialni Obamy stworzyli ponad 500 reklam i przetestowali je na internetowej próbce widzów wybranych przez dyrektora grupy fokusowej Davida Bindera.

Ale kampania musiała też grać w obronie. Kiedy w wiadomościach pojawiło się coś potencjalnie szkodliwego, jak deklaracja konsultantki Partii Demokratycznej Hilary Rosen, że Ann Romney nigdy w życiu nie przepracowała, Simas skontaktował się z Community, prywatną internetową tablicą ogłoszeń zapełnioną przez 100 niezdecydowanych wyborców, których zwerbował Binder. Simas monitorował rozmowy społeczności, aby zobaczyć, które wydarzenia przeniknęły do ​​świadomości wyborców. Czasami kazał Binderowi pokazywać swoim członkom kontrowersyjny materiał – jak na przykład klip wideo Obamy nie zbudowałeś tego komentarza – i pytać, czy zmienił to ich poglądy na kandydata. Dla mnie był to bardzo szybki sposób na wycofanie się i ustalenie, czy coś było problemem, czy nie, mówi Simas.

Kiedy Wagner zaczął pakować badania swojego działu w coś, co kierownictwo kampanii mogło odczytać jak ankietę, pojawił się pewien wzór. Liczby Obamy w kluczowych stanach pól bitewnych były niskie w tabelach analitycznych, ale Romneya też. W takich stanach było po prostu więcej niezdecydowanych wyborców – czasami prawie dwa razy więcej niż tradycyjnych ankieterów. Podstawowe rozróżnienie metodologiczne wyjaśniało tę rozbieżność: modele mikrotargetowania wymagały przeprowadzenia wywiadów z wieloma nieprawdopodobnymi wyborcami, aby nadać kształt profilowi ​​tego, jak wygląda osoba niegłosująca, podczas gdy ankieterzy śledzący wyścig konny chcieli bardziej rygorystycznie sprawdzać osoby, które prawdopodobnie oddadzą głos. Rywalizacja między dwiema jednostkami mierzącymi opinię publiczną nasiliła się: sondaże analityczne stanowiły zagrożenie dla prymatu ankieterów, a potencjalnie także dla ich modelu biznesowego. Spędziłem dużo czasu w ramach kampanii wyjaśniając ludziom, że liczby, które otrzymujemy z analityki i liczby, które otrzymujemy od zewnętrznych ankieterów, nie muszą być ściśle uzgadniane, mówi Walsh. Byli inni.

Zakres badań analitycznych umożliwił wychwytywanie ruchów zbyt małych, aby można je było dostrzec w tradycyjnych sondażach. Kiedy Simas przeglądał tabele analityczne Wagnera w połowie października, z niepokojem zauważył, że przewaga Romneya od jednego do dwóch punktów w Green Bay w stanie Wisconsin urosła do przewagi od sześciu do dziewięciu. Green Bay był jedynym rynkiem medialnym w stanie, który doświadczył takiej zmiany i nie było oczywistego wyjaśnienia. Ale trudno było zdyskredytować. Podczas gdy standardowa ankieta obejmująca 800 osób w całym stanie mogła dotrzeć do 100 respondentów w rejonie Green Bay, analitycy wykonywali 5000 połączeń w stanie Wisconsin w każdym pięciodniowym cyklu — i korzystali z dziesiątek tysięcy innych kontaktów w terenie — aby uzyskać wyniki mikrotargetowania. Analitycy rozmawiali z tyloma osobami na rynku mediów w Green Bay, z tyloma tradycyjnymi ankieterami w Wisconsin co tydzień. Moglibyśmy mieć pewność, że powiemy: „To nie jest hałas” — mówi Simas. Tak więc nabywcy medialni kampanii wyemitowali reklamę atakującą Romneya o outsourcing i błagali Messinę, by wysłał tam byłego prezydenta Billa Clintona i samego Obamę. (Ostatecznie Romney zabrał hrabstwo od 50,3 do 48,5%).

Jednak w większości tabele analityczne pokazały, jak stabilny jest elektorat i jak przewidywalni mogą być indywidualni wyborcy. Sondaże w mediach i instytucjach akademickich mogły się zmieniać z godziny na godzinę, ale wykorzystanie setek danych, aby ocenić, czy ktoś jest prawdopodobnym wyborcą, okazało się bardziej wiarygodne niż użycie baterii składającej się z siedmiu pytań, takiej jak w przypadku Gallupa. Kiedy widzisz, jak ten kij Pogo dzieje się z danymi publicznymi – elektorat po prostu nie jest tak niestabilny, mówi Mitch Stewart, dyrektor demokratycznej grupy kampanii Organizing for America. Dane analityczne dawały źródło spokoju.

Doradcy Romneya byli podobnie optymistyczni, ale przegrywali. Oni również wierzyli, że można zaplanować skład elektoratu, opierając się na metodzie podobnej do metody Gallupa: ankieter Neil Newhouse zapytał respondentów, jak prawdopodobne jest oddanie przez nich głosu. Ci, którzy odpowiedzieli na to pytanie 7 lub niżej w 10-punktowej skali, zostali pominięci jako nieskłonni do głosowania. Ale to zignorowało metody eksperymentalne, które umożliwiły pomiar indywidualnych zachowań i wpływu, jaki sama kampania może mieć na motywację obywateli. W rezultacie Republikanie nie zdawali sobie sprawy z wyborców, że kampania Obamy może być mobilizująca, nawet jeśli patrzyli na Dzień Wyborów bez entuzjazmu i intensywności.

Ostatniego dnia wyścigu Wagner i jego zespół analityczny opuścili jaskinię i wjechali windą na piętro w drapaczu chmur w Chicago, aby dołączyć do członków innych działów w kotłowni utworzonej w celu śledzenia głosów, które przychodzą. przez ponad miesiąc analitycy Obamy liczyli karty do głosowania ze stanów, które pozwalały obywatelom na wczesne głosowanie. Każdego dnia kampania nakładała na listy pierwszych wyborców publikowane przez władze wyborcze z wynikami modelowania, aby określić, ile głosów mogliby uznać za własne.

Do dnia wyborów tabele analityczne Wagnera zamieniły się w przewidywania. Przed otwarciem sondaży w Ohio władze hrabstwa Hamilton, trzeciego co do wielkości stanu i siedziby Cincinnati, opublikowały nazwiska 103508 wyborców, którzy oddali wczesne głosowania w ciągu poprzedniego miesiąca. Wagner posortował je według prognoz mikrotargetowania i stwierdził, że 58 379 osób miało indywidualne wyniki poparcia powyżej 50,1 – to znaczy modele kampanii przewidywały, że jest bardziej prawdopodobne, że głosowali na Obamę. Stanowiło to 56,4 proc. głosów powiatu, czyli surową przewagę 13 249 głosów nad Romneyem. Wczesne głosowania były liczone jako pierwsze po zamknięciu wyborów w Ohio, a starsi pracownicy Obamy zebrali się wokół ekranów w kotłowni, aby zobaczyć wstępny wynik. Liczby ustaliły się prawie dokładnie tam, gdzie powiedział Wagner: Obama otrzymał 56,6 procent głosów w hrabstwie Hamilton. Na Florydzie był tak blisko celu; Marża Obamy była tylko o dwie dziesiąte procenta niższa. Po tych pierwszych dwóch liczbach wiedzieliśmy, mówi Bird. To było śmiertelne.

Kiedy Obama został ponownie wybrany, i to ze znacznie większą przewagą Kolegium Elektorów, niż spodziewała się większość osób z zewnątrz, jego personel był zachwycony, ale nie zdziwiony. Następnego ranka Mitch Stewart siedział samotnie w kotłowni, monitorując opóźnione głosy, które dotarły na serwery Obamy z organów wyborczych na Florydzie, ostatnim stanie, który wskazał zwycięzcę. Prezydencja nie była już zagrożona; jedyną rzeczą, która wciąż wisiała na włosku, była dokładność przewidywań działu analitycznego.

Dziedzictwo

Kilka dni po wyborach, gdy władze Florydy kontynuowały liczenie prowizorycznych głosów, kilku pracowników otrzymało polecenie, podobnie jak cztery lata wcześniej, pozostania w Chicago. Ich poleceniem było sporządzenie kolejnego raportu z sekcji zwłok, podsumowującego lekcje z minionego półtora roku. Przedsięwzięcie nazwano Projektem Legacy, okazałym tytułem, inspirowanym ideą, by innowacje Obamy 2012 przełożyć nie tylko na kampanię kolejnego kandydata Demokratów na prezydenta, ale także na rządy. Obamie udało się przekonać niektórych obywateli, że skromne dostosowanie ich zachowania wpłynie, choć marginalnie, na wynik wyborów. Czy mógłby sprawić, by poczuli się tak samo w stosunku do Kongresu?

Simas, który przed dołączeniem do zespołu służył w Białym Domu, zachwycał się intymnością kampanii. Być może bardziej niż ktokolwiek inny w centrali cenił ludzki aspekt polityki. Były to jego pierwsze wybory prezydenckie, ale zanim został agentem politycznym, Simas sam był politykiem, zasiadał w radzie miejskiej i radzie szkolnej w swoim rodzinnym mieście Taunton w stanie Massachusetts. Ubiegał się o urząd, pukając do drzwi i wchodząc w indywidualne interakcje z wyborcami (lub tymi, co do których miał nadzieję, że zostaną wyborcami), próbując śledzić ich nastroje i oczekiwania.

Pod wieloma względami analityka umożliwiła kampanii Obamy odzyskanie tego stylu polityki. Chociaż stara gwardia mogła postrzegać takie techniki jako siłę destrukcyjną w kampaniach, umożliwiły one kandydatowi na prezydenta spojrzenie na elektorat w sposób, w jaki robią to lokalni kandydaci: jako zbiór ludzi, którzy tworzą bardziej doskonały związek, z których każdy jest przystępny na jego lub jej terminów, ich zmieniające się poziomy wsparcia i entuzjazmu są otwarte na pomiar, a tym samym na szacunek. To, co nam dało, to możliwość prowadzenia krajowej kampanii prezydenckiej w sposób, w jaki prowadzi się kampanię w lokalnym okręgu, mówi Simas. Znasz ludzi na swoim bloku. Ludzie mają ze sobą relacje, a Ty ich wykorzystujesz, aby wiedzieć, w jaki sposób rozmawiają o problemach, o czym rozmawiają w kawiarni.

Niewiele wydarzeń w amerykańskim życiu, poza wyborami prezydenckimi, dotyczy 126 milionów dorosłych, a nawet znacznej części tej liczby, w ciągu jednego dnia. Z pewnością żadna korporacja, żadna instytucja obywatelska i bardzo niewiele agencji rządowych nigdy tego nie robi. Obama zrobił to, sprowadzając każdego Amerykanina do szeregu liczb. Jednak te liczby w jakiś sposób uchwyciły indywidualność każdego wyborcy i nie były klasyfikacjami demograficznymi. Wyniki mierzyły zdolność ludzi do zmiany polityki – i do bycia przez nią zmienionym.

Ta historia została zaktualizowana 18 grudnia, aby poprawić opis ankiety Neila Newhouse'a dla Republikanów.

ukryć