211service.com
Eksploracja danych ujawnia wydarzenia historyczne w archiwach rządowych
Badanie historii politycznej przechodzi rewolucję. Siłą napędową tej zmiany jest dostępność elektronicznych rejestrów działalności rządu i możliwość przetwarzania tych danych w sposób, który nigdy wcześniej nie był możliwy.
Historycy mają natychmiastowy dostęp do współczesnych wiadomości o ważnych wydarzeniach na świecie. Jednak raporty te należy skalibrować, porównując je z danymi rządowymi z tamtych czasów, które mogą różnić się w istotny i nieznany sposób. Ale te zapisy są zwykle upubliczniane dopiero kilka lat później. Sama liczba dokumentów rządowych utrudnia ten proces, ponieważ naukowcom zbyt łatwo jest przeoczyć coś ważnego.
Tak więc zautomatyzowany sposób przeszukiwania tych rządowych rejestrów pod kątem ważnych wydarzeń byłby niezwykle przydatny.
Eksploracja danych ujawnia gwałtowny wzrost komunikacji rządowej podczas upadku Sajgonu (na górze), ale niewiele ma znaczenia w odniesieniu do Finlandii (na dole).
Dzisiaj Yuanjun Gao z Columbia University w Nowym Jorku i kilku kumpli twierdzą, że opracowali zestaw narzędzi statystycznych, które mogą wykonać tę pracę. Przetestowali tę technikę na elektronicznych rejestrach rządu USA udostępnianych przez Archiwa Narodowe i porównali wyniki ze współczesnymi rejestrami informacyjnymi.
Praca jest możliwa dzięki temu, że Departament Stanu USA przechowuje tajne komunikaty w formie elektronicznej od 1973 roku. Wiele zapisów z lat 1973-1977 jest obecnie dostępnych publicznie i składa się z 1,4 miliona odtajnionych kabli i metadanych powiązanych z 0,4 miliona dokumentów dostarczane przez worek dyplomatyczny.
Wszystkie te elektroniczne zapisy mają przypisane znaczniki związane z ich tematem. Tak więc komunikaty związane z Wietnamem Południowym są oznaczone jako VS, te związane ze Zgromadzeniem Ogólnym ONZ oznaczone są jako UNGA, z Finlandią jako FI i tak dalej.
Dzięki temu badacze mogą śledzić komunikację związaną z określonymi tematami bez znajomości szczegółów samych wiadomości.
Wykreślanie liczby wiadomości w czasie ujawnia kilka interesujących wzorców. Na przykład ujawnia wzrost komunikacji związanej z Wietnamem Południowym w kwietniu 1975 r., w czasie upadku Sajgonu.
Komunikaty związane ze zgromadzeniem ogólnym ONZ nasilają się w regularnych odstępach czasu, odpowiadających terminom zgromadzeń, które odbywają się co roku. Ten wzorzec obejmuje dodatkowy skok w okresie kwiecień-maj 1974, który odpowiada specjalnej sesji ONZ zwołanej przez Algierię w celu omówienia jej żądań poparcia dla Nowego Międzynarodowego Porządku Gospodarczego.
W przeciwieństwie do tego, tagi związane z Finlandią w latach 1973-1977 nie wykazują żadnych skoków ani specjalnego wzoru, odzwierciedlającego stabilność narodu w tym czasie.
Duże skoki są stosunkowo łatwe do zauważenia wizualnie, ale Gao i spółka opracowali narzędzia do automatycznego wykrywania ich i oceniania ich znaczenia, porównując je z poziomem aktywności w tle w danym czasie.
To pozwala zespołowi stworzyć ranking 30 najważniejszych wydarzeń w tym okresie.
Nie wszystkie te skoki odpowiadają ważnym wydarzeniom na świecie. Na przykład dwa największe skoki dotyczą kwestii administracyjnych, takich jak transport i zmiany w systemie rejestrów wizowych.
Ale ranking zawiera wiele innych ważnych wydarzeń, takich jak priorytetowe traktowanie praw człowieka przez administrację Cartera, prezydent Egiptu, niespodziewana wizyta Anwara Sadata w Izraelu w 1977 roku, kryzys łodziowców w Azji Południowo-Wschodniej w latach 1975-76, Jom 1973 Wojna w Kippur i wycofanie Portugalii z Angoli w latach 1975-76 i tak dalej.
To interesująca praca, która powinna zmienić sposób, w jaki historycy i socjolodzy wykonują swoją pracę. A to dopiero początek. Tego rodzaju zautomatyzowane metody mogą również pokazać, w jaki sposób ludzie korzystali w tym czasie z procesu tagowania, jak często popełniano błędy i czy niektóre rodzaje wiadomości mogły zaginąć.
A gdy pojawią się bardziej szczegółowe zapisy elektroniczne, naukowcy będą mogli opracować bardziej zaawansowane sposoby ich wydobywania. Historia polityczna już nigdy nie będzie taka sama.
Nr ref.: arxiv.org/abs/1712.07319 : Wydarzenia górnicze z odtajnionymi dokumentami dyplomatycznymi