Jesteśmy słowami

Wzorując się na technikach genomiki, zespół naukowców opracował narzędzie, które dostarcza danych ilościowych na temat zmian w kulturze w czasie. Badania genomiczne analizują ogromne ilości danych, aby zbadać, jak funkcjonują i zmieniają się geny; nowe narzędzie stosuje podejście na dużą skalę do badania częstotliwości używania słów w czasie.

Podejście ma sens, jeśli słowa są uważane za jednostkę kultury, mówi Ereza Liebermana Aidena, jeden z liderów projektu. Genom zawiera informacje dziedziczne, przekazywane z pokolenia na pokolenie, mówi. Słowa, których używamy w książkach, które piszemy, również przekazywane są z pokolenia na pokolenie.

Lieberman Aiden i Jean-Baptiste Michel , zarówno na Harvardzie Program Dynamiki Ewolucyjnej , kierowali projektem, który nazwali culturomics — połączeniem kultury i genomiki. Pierwszym owocem ich pracy była gigantyczna baza danych zawierająca słowa w około 5,2 miliona książek opublikowanych w latach 1800-2000 — około 4% wszystkich opublikowanych książek. Pochodziły one z projektu Google Books, którego biblioteka zawiera 15 milionów książek.

W dzisiejszym numerze czasopisma Nauka, badacze przedstawiają swój projekt wraz z niektórymi z pierwszych wyników, które uzyskali na podstawie danych. W związku z publikacją Google wdraża aplikację (w www.culturomics.org ), która umożliwia każdemu dostęp i analizę gotowej bazy danych, która zawiera 2 miliardy słów i fraz.

Naukowcy twierdzą, że śledząc częstotliwość używania słów, socjolodzy, informatycy i matematycy mogą obserwować powstawanie i ewolucję trendów kulturowych w czasie. Narzędzie może służyć do tworzenia osi czasu kultury, pokazujących skoki i doliny odpowiadające intensywnemu i skąpemu użyciu poszczególnych słów.

Na przykład tłumienie pozostawia ślad w historii kultury. Książki niemieckojęzyczne wydane pod nazistowską cenzurą w latach 1936-1944 prawie nie wspominają o niektórych artystach i filozofach, których nazwiska były powszechne przed i po tym okresie.

Analizy zidentyfikowały również słowa, które istniały w opublikowanych książkach, ale nie miały miejsca w słownikach, w tym aridification (wysychanie regionu) i usuwalne. Te nieskrępowane słowa nie są wyjątkiem: kiedy badacze zsumowali wszystkie słowa w angielskim leksykonie, policzyli ponad milion — dwa razy więcej niż w dużych nowoczesnych słownikach. (Ten Słownik angielski oxford na przykład ma mniej niż 500 000 wpisów).

Lieberman Aiden ma nadzieję, że naukowcy z wielu dyscyplin znajdą nowe sposoby wykorzystania danych. Jest to kolejne narzędzie do dyspozycji humanistów, aby zebrać wgląd i odpowiedzieć na pytania dotyczące ludzkiej natury.

On i Michel zaczęli poważnie pracować nad projektem w 2007 roku. Nie wszystkie książki w cyfrowej bibliotece Google są w domenie publicznej, więc badacze musieli uważać, aby nie naruszać praw autorskich. Zasadniczo usunęli słowa z kontekstu książek — zachowując nienaruszone metadane, takie jak data publikacji — i zorganizowali słowa w ogromną tabelę częstotliwości.

Zastosowali filtry, aby ich zbiór danych był jak najdokładniejszy, usuwając na przykład książki z niepoprawnymi datami publikacji lub takie, których tekst został źle przepisany przez oprogramowanie do optycznego rozpoznawania znaków. Po przefiltrowaniu pozostało im 5 195 769 książek zawierających tekst o długości ponad 500 miliardów słów. Około 72 procent z nich to słowa angielskie.

Intensywne obliczenia wymagane do zawężenia tego zbioru danych do jednego opartego na częstotliwości każdego słowa zostały rozłożone na wiele maszyn w Google i szybko zakończone.

Jon Kleinberg , informatyk z Cornell University, twierdzi, że częstotliwość słów może być potężnym narzędziem ilościowym do identyfikowania trendów w kulturze. Mówi, że przyglądanie się zachowaniu poszczególnych słów często może być silnym pierwszym wskaźnikiem zjawiska na przestrzeni czasu. Zeskanowane materiały to jednak dopiero początek. Inne teksty cyfrowe dostarczają bogatych źródeł do ilościowego badania informacji kulturowej. Na przykład analiza haseł wyszukiwanych w Google może ujawnić, co interesuje ludzi. Albo badanie na dużą skalę aktualizacji Facebooka może służyć jako kontrola tętna mas w czasie rzeczywistym.

Widzimy rzeczy, których nigdy wcześniej nie spisywano, mówi. Na Twitterze lub Facebooku miliony ludzi mówią „Czuję się szczęśliwy” lub „Jestem smutny”. Gdzie można było znaleźć miliony osób, które zapisywały swoje uczucia w ciągu ostatnich 10 lat?

ukryć