70 internetowych baz danych, które definiują naszą planetę

W kwietniu przyjrzeliśmy się ambitnemu europejskiemu planowi symulacji całej planety. Pomysł polega na wykorzystaniu ogromnych ilości danych generowanych przez rynki finansowe, rejestry zdrowia, media społecznościowe i monitorowanie klimatu do modelowania klimatu, społeczeństw i gospodarki planety. Wizja jest taka, że ​​taki system może pomóc w zrozumieniu i przewidywaniu kryzysów, zanim one wystąpią, tak aby rządy mogły z wyprzedzeniem podjąć odpowiednie środki.

Jest tu wiele wyzwań. Nikt jeszcze nie ma mocy obliczeniowej potrzebnej do takiego zadania, nie ma też modeli, które będą w stanie dokładnie zamodelować nawet znacznie mniejsze systemy. Ale zanim cokolwiek będzie możliwe, naukowcy muszą zebrać dane ekonomiczne, społeczne i technologiczne potrzebne do zasilania tej maszyny.

Dzisiaj Dirk Helbing i Stefano Balietti z Szwajcarskiego Federalnego Instytutu Technologii w Zurychu oprowadzają po tym wyzwaniu wielką wycieczkę. Helbing jest siłą napędową tego projektu i człowiekiem, który go poprowadzi, jeśli otrzyma od Komisji Europejskiej 1 miliard euro, którego potrzebuje.

Okazuje się, że istnieje już wiele źródeł danych, które mogłyby dostarczyć niezbędnego paliwa do zasilania symulatora Ziemi Helbinga. W przeszłości gromadzenie danych o działalności człowieka było w dużej mierze utrudnione przez kwestie finansowe, technologiczne i etyczne, mówią Helbing i Balietti. Tak już nie jest.

Podczas gdy w przeszłości trudno było uzyskać dobre dane z eksperymentów nauk społecznych, naukowcy są obecnie przez nie zalewani dzięki eksperymentom laboratoryjnym nowej generacji, eksperymentom sieciowym i badaniom nad masowymi grami online dla wielu graczy.

Te i inne działania generują obecnie ogromne ilości danych, z których wiele jest swobodnie dostępnych w sieci.

Oczywiście, jednym z niebezpieczeństw takiego podejścia jest to, że wszelkie kwestie etyczne prawdopodobnie zostaną zatopione przez tę falę liczb. Należy pilnie się tym zająć. Chociaż Helbing i współpracownicy piszą przekonująco o potencjalnych korzyściach symulatora Ziemi, trudno uwierzyć, że poświęcili taką samą uwagę potencjalnym zagrożeniom.

W celu stymulowania tej debaty odtwarzam tutaj listę stron internetowych Helbinga, które są potencjalnymi źródłami danych dla Symulatora Ziemi. To fascynująca, choć denerwująca lektura:

Migawki internetowe i historyczne
Archiwum internetowe / maszyna Wayback
Archiwum internetowe zapewnia stały dostęp badaczom, historykom, naukowcom, osobom niepełnosprawnym i ogółowi społeczeństwa do zbiorów historycznych, które istnieją w formacie cyfrowym. Założone w 1996 roku, obecnie Internet Archive obejmuje teksty, dźwięk, ruchome obrazy i oprogramowanie, a także zarchiwizowane

Wikipedia
Wikipedia to najsłynniejsza encyklopedia redagowana wspólnie. Ponieważ każda zmiana jest przechowywana, historia stron internetowych może zaoferować szczegółowy, tematyczny przegląd najważniejszych odniesień z przeszłości.

Centra wiedzy
Zbiór łączy do innych zasobów służących do znajdowania stron internetowych w postaci, w jakiej istniały w przeszłości.

Kiedy temu
Whenago zapewnia szybki dostęp do historycznych informacji o tym, co wydarzyło się w przeszłości danego dnia.

Światowa Biblioteka Cyfrowa
Światowa Biblioteka Cyfrowa (WDL) udostępnia w Internecie, bezpłatnie iw formacie wielojęzycznym, ważne materiały podstawowe z krajów i kultur na całym świecie.

Silniki wyszukiwania informacji
Wolna baza
Freebase to otwarte, licencjonowane przez Creative Commons repozytorium uporządkowanych danych ponad 12 milionów podmiotów. Zapewnia narzędzia do współpracy umożliwiające łączenie jednostek i aktualizowanie ich.

Silnik wiedzy obliczeniowej Wolfram Alpha
Próba obliczenia wszystkiego, co można obliczyć o czymkolwiek. Ma na celu zapewnienie jednego źródła, na którym każdy może polegać, aby uzyskać ostateczne odpowiedzi na pytania dotyczące faktów.

Eksploracja tekstu w sieci
Google Trends
Trendy Google pokazują wizualne statystyki dotyczące częstotliwości wyszukiwania słów kluczowych w Google na przestrzeni czasu. Trendy Google pokazują również, jak często tematy pojawiały się w artykułach Google News oraz w jakich regionach geograficznych ludzie najczęściej ich szukali.

Trendy grypy Google
Google Flu Trends wykorzystuje zagregowane dane wyszukiwania Google do oszacowania aktywności grypy. Dane dostępne również do pobrania.

Obserwatorium
Projekt Observatorium koncentruje się na złożonej dynamice sieci w Internecie, proponując monitorowanie jej ewolucji w czasie rzeczywistym, z ogólnym celem lepszego zrozumienia procesów generowania wiedzy i dynamiki opinii.

Czujemy się dobrze
Baza danych kilku milionów ludzkich uczuć, zebrana z blogów i stron społecznościowych w sieci. Korzystając z szeregu zabawnych interfejsów, uczucia można przeszukiwać i sortować według wielu segmentów demograficznych. Dostępne jest również API sieci Web.

CyberEmocje
Projekt CyberEmotions skupia się na roli emocji zbiorowych w tworzeniu, formowaniu i rozpadzie społeczności. Udostępnia do pobrania trzy zbiory danych zawierające wiadomości i komentarze z forum BBC News, Digg i MySpace, wyłącznie do badań naukowych i tylko po przesłaniu formularza zgłoszeniowego.

Udostępnianie danych społecznościowych
Połączone dane
Połączone dane dotyczą korzystania z Internetu w celu łączenia powiązanych danych, które nie były wcześniej połączone, lub korzystania z Internetu w celu zmniejszenia barier w łączeniu danych aktualnie połączonych innymi metodami.

Projekt sieci Dataverse
Dataverse Network to aplikacja do publikowania, udostępniania, odwoływania się, wyodrębniania i analizowania danych badawczych. Ułatwia udostępnianie danych innym i pozwala na powielanie pracy innych. Badacze i autorzy danych otrzymują kredyt, wydawcy i dystrybutorzy otrzymują kredyt, a instytucje stowarzyszone – kredyt.

Data360
Data360 to bezpłatna, współpracująca witryna internetowa typu open source. Na stronie znajduje się wspólna i współdzielona baza danych, którą każda osoba lub organizacja, zobowiązana do neutralności i bezstronności (tzn. niech przemówią dane), może używać do prezentacji i wizualizacji.

Obracać
Swivel to witryna internetowa, na której ludzie udostępniają raporty dotyczące wykresów i liczb. Jest bezpłatny dla danych publicznych i pobiera miesięczną opłatę od osób, które chcą z niego korzystać prywatnie.

Wiele Oczu
Inicjatywa IBM, która umożliwia użytkownikom przesyłanie swoich zbiorów danych i korzystanie z zestawu narzędzi do uzyskiwania z nich znaczących wizualizacji. Każda wizualizacja jest publicznie przechowywana na dedykowanej stronie, na której użytkownicy mogą ją komentować, oceniać i oznaczać tagami. Ponowne wykorzystanie danych jest możliwe i zalecane.

Konflikt danych
Dane CSCW dotyczące konfliktów zbrojnych
CSCW i Uppsala Conflict Data Program (UCDP) w Departamencie Badań nad Pokojem i Konfliktami Uniwersytetu w Uppsali współpracowały przy tworzeniu zbioru danych dotyczących konfliktów zbrojnych, zarówno wewnętrznych, jak i zewnętrznych, w okresie od 1946 do chwili obecnej. Obecnie prawdopodobnie najobszerniejsze dostępne repozytorium zbiorów danych, w szczególności dla danych historycznych.

WarViews
Celem projektu WarViews jest stworzenie łatwego w użyciu interfejsu do eksploracji danych GIS dotyczących konfliktów. Może działać w przeglądarce internetowej lub może być wyświetlany za pomocą programu Google Earth.

Poniżej znajdują się zbiory danych dotyczące wojny domowej z dodatkowymi informacjami empirycznymi:
Zbiór danych o lokalizacji grup etnicznych
Zestaw danych dotyczących bilansów sił etnicznych
Zbieranie zaktualizowanych zbiorów danych i książek kodowych z Uppsala Conflict Data Program (UCDP) .

ACLED
Częściowo zawarty w zestawie danych PRIO, ACLED (Zestaw danych lokalizacji konfliktów zbrojnych i zdarzeń) jest przeznaczony do zdezagregowanej analizy konfliktów i mapowania sytuacji kryzysowych. Ten zestaw danych koduje lokalizację wszystkich zgłoszonych konfliktów w 50 krajach rozwijających się. Dane są obecnie kodowane od 1997 do 2009 roku, a projekt kontynuuje datowanie informacji o konfliktach dla państw afrykańskich na rok niepodległości.

CERAC
Centrum zasobów analizy konfliktów zawiera kilka zestawów danych dotyczących konfliktów między krajami i kilka zestawów danych dotyczących poszczególnych krajów. Repozytoria zawierają również zbiory danych o niestabilności politycznej i konfliktach.

Międzynarodowe archiwum danych szeregów czasowych
Międzynarodowe Archiwum Danych Szeregów Czasowych dostarcza roczne dane dla szeregu krajów od 1815 roku do chwili obecnej. Według Roberta Batesa z Uniwersytetu Harvarda, często cytowany, jest jednym z wiodących zbiorów danych dotyczących przemocy politycznej. Według Henrika Urdala z Międzynarodowego Instytutu Badań nad Pokojem w Oslo (PRIO) jest to prawdopodobnie najczęściej używany zbiór danych o zdarzeniach.

Repozytoria dla poszczególnych krajów: Irak , Afganistan
Gromadzenie zbiorów danych o aktach terrorystycznych .

Dane w ekonomii i finansach
Bloomberg
Międzynarodowy dostawca danych w czasie rzeczywistym dla decydentów w finansach, biznesie i administracji.

Dane Maddison
Statystyki historyczne dotyczące PKB i danych o populacji.

Statystyki UNCTAD
Podręcznik statystyki UNCTAD on-line dostarcza szeregi czasowe danych ekonomicznych i wskaźników rozwoju, w niektórych przypadkach sięgające roku 1950; internetowa baza danych statystycznych cen towarów; UNCTAD-TRAINS w Internecie (Trade Analysis and Information System) dla środków kontroli handlu oraz przepływów importowych według pochodzenia dla ponad 130 krajów; baza danych o bezpośrednich inwestycjach zagranicznych (BIZ).

Portal Statystyczny OECD
Duży zbiór zbiorów danych obejmujący ekonomię, demografię. Ekstrakcje są dostępne bezpłatnie, pełny dostęp wymaga subskrypcji.

EUROSTAT
Szczegółowe statystyki dotyczące UE i krajów kandydujących oraz różne publikacje statystyczne na sprzedaż.

Gdzie jest George?
Przestrzenny system śledzenia dolarów amerykańskich i kanadyjskich.

Śledzenie eurorachunków
Przestrzenny system śledzenia banknotów euro.

Dane dotyczące współpracy naukowej
Sieć wiedzy ISI
Kompleksowe źródło informacji z zakresu nauk ścisłych, społecznych, artystycznych i humanistycznych. Obejmuje kilka zbiorów danych, spośród których najbardziej godne uwagi są następujące:
Raporty cytowań czasopism. Umożliwia ocenę i porównanie czasopism przy użyciu danych cytowań pochodzących z ponad 7500 czasopism naukowych i technicznych;
Sieć nauki. Składa się z siedmiu baz danych zawierających informacje zebrane z tysięcy czasopism naukowych, książek, serii wydawniczych, raportów, konferencji i nie tylko.

Google Scholar
Google Scholar to wyszukiwarka specjalizująca się w literaturze naukowej. Indeksuje różne źródła (artykuły, książki, abstrakty, tezy itp.) z kilku dyscyplin i sortuje je według liczby cytowań, autora i współczynnika wpływu czasopisma.

Scholarometr
Scholarometer to narzędzie społecznościowe ułatwiające analizę cytowań i pomagające ocenić wpływ publikacji autora. Działa jako wtyczka programowa do przeglądarki Firefox.

Skopus
Scopus to bardzo duża baza abstraktów i cytowań literatury naukowej. Jest dostępny tylko dla zarejestrowanych użytkowników.

Żywa nauka
Living Science to globalne obserwatorium naukowe działające w czasie rzeczywistym na podstawie publikacji przesłanych do arXiv.org. Obejmuje przesyłanie w czasie rzeczywistym (codziennie) publikacji z tak różnych dziedzin, jak fizyka, astronomia, informatyka, matematyka i biologia ilościowa. Obecnie zawartość jest dynamicznie aktualizowana każdego dnia. Żywa nauka to potężne narzędzie analityczne do określania wielkości i wpływu pracy naukowej na całym świecie.

Nauki społeczne
ICPSR Uniwersytetu Michigan
ICPSR oferuje ponad 500 000 plików cyfrowych zawierających dane z badań z zakresu nauk społecznych. Reprezentowane dyscypliny obejmują politologię, socjologię, demografię, ekonomię, historię, gerontologię, wymiar sprawiedliwości w sprawach karnych, zdrowie publiczne, politykę zagraniczną, terroryzm, opiekę zdrowotną i medyczną, wczesną edukację, edukację, mniejszości rasowe i etniczne, psychologię, prawo, nadużywanie substancji i zdrowie psychiczne zdrowie i nie tylko.

Brytyjskie Centrum Danych Uniwersytetu w Essex
Największy w Wielkiej Brytanii zbiór cyfrowych danych badawczych w naukach społecznych i humanistycznych.

Archiwum UC DATA w Berkeley
Zasoby danych UC DATA dotyczą przede wszystkim nauk politycznych, społecznych i nauk o zdrowiu.

Służba Danych Ekonomicznych i Społecznych (ESDS)
Serwis danych ekonomicznych i społecznych (ESDS) to krajowy serwis danych zapewniający dostęp i wsparcie dla szerokiego zakresu kluczowych danych ekonomicznych i społecznych, zarówno ilościowych, jak i jakościowych, obejmujących wiele dyscyplin i tematów. Zawiera mapę dodatkowych zbiorów danych z kilku krajów europejskich.

CESSDA
Szerokie zbiory danych, w tym sondaże socjologiczne, badania wyborcze, badania podłużne, sondaże opinii i dane ze spisów powszechnych. Wśród materiałów znajdują się dane międzynarodowe i europejskie, takie jak European Social Survey, Eurobarometers i International Social Survey Programme.

Dane Gapmindera
Gapminder to popularna technologia i aplikacja internetowa do wizualizacji krzyżowej trendów w szeregach czasowych danych. Otwiera również archiwum wielu zbiorów danych dotyczących różnych wskaźników społeczno-ekonomicznych.

Światowe badanie wartości
World Value Survey dostarcza danych o wartościach i zmianach kulturowych w społeczeństwach na całym świecie.

Dane miejskie
Baza danych Globalnego Obserwatorium Miejskiego
Globalne Obserwatorium Miejskie (GUO) oferuje zorientowane na politykę wskaźniki miejskie, statystyki i inne informacje miejskie.

Obserwatorium miejskie
Zbiory danych z USA dotyczące bogactwa, innowacji i przestępczości w miastach.

Dane o ruchu
prawo jazdy
Program symulacji nowej generacji (NGSIM) został zainicjowany przez Departament Transportu Stanów Zjednoczonych (US DOT). W ramach programu opracowano rdzeń otwartych algorytmów behawioralnych wspierających symulację ruchu i zebrano wysokiej jakości pierwotne dane o trasach i trajektoriach przeznaczone do wspierania badań i testowania nowych algorytmów.

Szwajcarski Federalny Urząd Dróg FEDRO
Szwajcarski Federalny Urząd Dróg oferuje kompleksowy przegląd ruchu drogowego w Szwajcarii. Dane są gromadzone przez stałe automatyczne stacje zliczania ruchu i uzupełniane regularną kontrolą ręczną od 1961 roku.

Dane o ruchu
Celem projektu International Traffic Database (ITDb) jest dostarczanie danych o ruchu różnym grupom (badaczom, praktykom, podmiotom publicznym) w formacie zgodnym z ich konkretnymi potrzebami, począwszy od surowych danych pomiarowych po analizy statystyczne. ITDb promuje elastyczny format dostarczania danych o ruchu w oparciu o potrzeby użytkowników i standardowe nawyki.

Izba Rozliczeniowa Danych Transportowych
Izba Rozliczeniowa Danych Transportowych w Niemieckim Centrum Lotnictwa i Kosmonautyki jest pierwszym punktem kontaktowym umożliwiającym szybki przegląd dostępnych danych. Skierowany jest zarówno do organizacji gromadzących dane dotyczące transportu, jak i do tych, które chcą wykorzystać wyniki takich badań. Oferowane informacje obejmują przygotowanie szczegółowych metadanych na temat zbiorów danych, a także uwagi na temat możliwych zastosowań i źródeł.

Ponadto Regiolab Delft
Inicjatywa regiolab-delft rozpoczęła się tuż po 2000 roku jako wspólny projekt prowadzony przez TU Delft we współpracy z gminą Delft, szkołą badawczą TRAIL, prowincją South Holland, Ministerstwem Transportu i kilkoma partnerami przemysłowymi. Zarchiwizowany zestaw danych składa się z ponad 6 lat danych o uśrednionej prędkości 1 minuty i zagregowanych danych dotyczących przepływu z gęsto rozmieszczonych pętli indukcyjnych w sieci autostrad w prowincji Holandia Południowa oraz innych danych ze sterowników skrzyżowań, kamer do wykrywania tablic rejestracyjnych i wielu innych.

RITA
Administracja ds. Badań i Innowacyjnych Technologii (RITA) Departamentu Transportu USA oferuje kilka zbiorów danych dotyczących statystyk ruchu morskiego, frachtu, linii lotniczych, pasażerów itp.

Archiwum danych podróży ETH (ETHTDA)
ETH Travel Data Archive (ETHTDA) to wirtualna platforma umożliwiająca użytkownikom końcowym przeglądanie zarchiwizowanych danych dotyczących podróży przez Internet i umożliwiająca prostą analizę statystyczną.

Metropolitan Travel Survey Archive
Metropolitan Travel Survey Archive do przechowywania, przechowywania i publicznego udostępniania za pośrednictwem Internetu ankiet dotyczących podróży przeprowadzanych przez obszary metropolitalne, stany i miejscowości.

Infoblu
Infoblu to prywatna firma świadcząca usługi monitorowania ruchu w czasie rzeczywistym dla Włoch. Wszystkie usługi są dostępne za opłatą.

Otwórz mapy
mapy Google
Światowej sławy usługa map. Oferuje kilka dodatkowych usług, takich jak: Street View, treści przesyłane przez użytkowników (zdjęcia, komentarze i oceny) oraz spersonalizowane nakładki za pośrednictwem interfejsu usług.

OpenStreetMap
OpenStreetMap (firmy UCL) to darmowa, edytowalna mapa całego świata. OpenStreetMap umożliwia przeglądanie, edytowanie i wykorzystywanie danych geograficznych we współpracy z dowolnego miejsca na Ziemi.

Tracksource Brazylia
Tracksource to wspólny projekt, którego celem jest tworzenie i dystrybucja darmowych map Brazylii.

Dane logistyczne
Krajowa ankieta dotycząca podróży domowych
National Household Travel Survey (NHTS) zbiera dane na temat podróży długodystansowych i lokalnych przez amerykańską opinię publiczną. Wspólna ankieta gromadzi dane dotyczące podróży, takie jak środek transportu, czas trwania, odległość i cel podróży. Gromadzi również dane demograficzne, geograficzne i ekonomiczne do celów analitycznych. Jest częścią RITA.

Ankieta przepływu towarów
Badanie przepływu towarów (CFS) jest głównym źródłem danych na poziomie krajowym i stanowym na temat krajowych przesyłek towarowych realizowanych przez amerykańskie przedsiębiorstwa z branży wydobywczej, produkcyjnej, hurtowej, pomocniczej i wybranych branż detalicznych. Dostarczane są dane dotyczące rodzajów, miejsc pochodzenia i przeznaczenia, wartości, wag, środków transportu, wysłanej odległości i tonomil wysyłanych towarów. Jest częścią RITA i odbywa się co pięć lat (ostatnie pobranie próbek w 2007 r.).

Dane klimatyczne
Julich
Dane klimatyczne z Julich Research Center.

Google.org
Google wprowadza swoje projekty filantropijne oparte na danych, w tym dwa środowiskowe obserwatoria satelitarne:
Earth Engine: do monitorowania trendów w światowym wylesianiu;
The Crisis Response: do monitorowania wycieku ropy z zatopionej platformy Deep Horizon.

Eksploracja rzeczywistości
Wydobycie rzeczywistości
Dane behawioralne zebrane ze 100 telefonów komórkowych w ciągu 9 miesięcy. Zawiera zarówno statystyki bliskości, jak i użytkowania telefonu. Dostępne są dwa anonimowe zbiory danych: pojedynczy użytkownik (MySQL) i globalny (Matlab).

Inne inicjatywy dotyczące otwartych danych
Data.gov
Szeroki zbiór publicznych zbiorów danych z USA dostępnych do badań.

Data.gov.uk
Szeroki zbiór publicznych zbiorów danych Wielkiej Brytanii dostępnych do badań.

Zagłębianie się w dane
Uruchomiony przez Narodową Fundację Nauki (NSF) oferuje zbiór różnorodnych repozytoriów danych.

Blog Strażnika Danych
Inicjatywa dziennikarstwa danych, która publikuje zbiory danych interesu publicznego (głównie związane z Wielką Brytanią) wraz z ich analizą. Obecnych jest również kilka projektów współpracy z artystami wizualizacji danych.

Dane publiczne Google
Google oferuje kilka dużych zbiorów danych dotyczących różnych światowych wskaźników społeczno-gospodarczych i zapewnia narzędzia do łatwej wizualizacji.

Nr ref.: arxiv.org/abs/1012.0178 : Od eksploracji danych społecznościowych do prognozowania kryzysów społeczno-gospodarczych

ukryć