Układy graficzne pomagają przetwarzać duże zbiory danych w milisekundy

Nowe oprogramowanie może wykorzystywać procesory graficzne znajdujące się na zwykłych komputerach do przetwarzania torrentów danych szybciej niż jest to zwykle możliwe, otwierając nowe sposoby wizualnego odkrywania wszystkiego, od postów na Twitterze po darowizny polityczne.

Zaklinacz deszczu : Nowa technologia wizualizacji opowiada o zaledwie milisekundach, aby zamienić dziesiątki lub setki milionów punktów danych w mapy i animacje, takie jak ten przykład pokazujący częstotliwość słowa deszcz w tweetach w całym kraju.

Znany jako MapaD , czyli masowo równoległa baza danych, nowa technologia osiąga duży wzrost prędkości, przechowując dane we wbudowanej pamięci procesorów graficznych (GPU) zamiast w jednostkach centralnych (CPU), jak to jest w konwencjonalnym przypadku. Korzystanie z jednej karty graficznej o wysokiej wydajności może przyspieszyć przetwarzanie danych nawet 70 razy.

W tej chwili technologia prototypu jest demonstrowana na tweetach; może pokazać, jak mem rozchodzi się w czasie rzeczywistym na mapach regionalnych lub światowych (obejrzyj Wizualizacja Big Data w milisekundach na tanich komputerach). Wiele wielkoskalowych wizualizacji Twittera — w tym animowanych map i wykresów — zajmuje kilka sekund lub dłużej, aby przetworzyć dane, zanim będzie można je wyświetlić. Dzięki MapD użytkownik może dostosować wyszukiwane hasła i inne parametry — takie jak ramy czasowe lub region geograficzny — i natychmiast zobaczyć nową wizualizację, bez konieczności czekania na obliczenie i wczytanie każdej nowej mapy i animacji.

Ten publiczny interfejs może służyć do wizualizacji 50 milionów geokodowanych tweetów opublikowanych między 28 września a 6 października. Narzędzie umożliwia użytkownikom eksplorację różnych wyszukiwanych haseł, badanie ogólnych trendów geograficznych i powiększanie każdego tweeta. Dla każdej z 30 klatek na sekundę generowanych podczas animacji Twittera, Map-D skanuje wszystkie tweety załadowane na GPU, tworząc wizualizacje, takie jak mapy użycia słów — które mogą zawierać wzmianki o nazwie produktu lub aktualności —rozprzestrzenia się w czasie rzeczywistym w regionie lub na całym świecie.

[Istniejące wizualizacje na Twitterze], o których wiemy, są „konserwowane” – oparte na niektórych wcześniejszych obliczeniach mapy lub obrazu, a nie są naprawdę interaktywne, mówi Samuel Madden , profesor informatyki na MIT. Zbudowaliśmy nowy rodzaj systemu bazodanowego. Odpowiada, a także mapuje każde żądanie, skanując każdy tweet w bazie danych, co można zrobić w ciągu zaledwie kilku milisekund. System może nadążyć za tempem, nawet jeśli baza danych zawiera setki milionów tweetów.

Technologia została wymyślona w zeszłym roku przez Todda Mostaka, wówczas absolwenta Harvardu na studiach bliskowschodnich, który był sfrustrowany powolnym przetwarzaniem, jakie napotkał, gdy próbował przetworzyć zbiory danych z mediów społecznościowych z Egiptu i innych miejsc na Bliskim Wschodzie. Budując narzędzie do eksploracji takich zestawów danych w prawdziwie interaktywny sposób, z opóźnieniami mierzonymi w milisekundach, a nie sekundach lub minutach, mamy nadzieję usunąć wąskie gardło obliczeniowe z procesu formułowania, testowania i udoskonalania hipotez, mówi Mostak.

Technologia może ułatwić zbieranie informacji z ogromnego zbioru informacji Twittera. Na przykład połączenie danych spisowych z tweetami może pokazać, w jaki sposób wzmianka słowa McDonald's w tweetach z geotagami odnosi się do zmiennych, takich jak dochód lub poziom bezrobocia.

Wczesnym użytkownikiem będzie Fundacja Sunlight , który promuje otwartość w finansowaniu kampanii. Ta organizacja przekazuje MapD dane z 22 lat dotyczące darowizn z kampanii stanowych i federalnych w Stanach Zjednoczonych, które zapewnią sposoby na szybkie zróżnicowanie wizualizacji, które dzielą ponad 20 milionów darowizn według darczyńcy, regionu, wybieranego urzędnika i innych parametrów. Każdy nowy typ zapytania wygeneruje nową wizualizację w ciągu zaledwie milisekund.

Korzystając z istniejących metod, załadowanie wizualizacji może zająć kilka sekund, ponieważ tak długo trwa wyszukiwanie informacji w bazie danych. Szybszy dostęp umożliwia naukowcom szybsze testowanie hipotez i udoskonalanie wizualizacji. Dzięki temu duże zbiory danych mogą być bardziej przydatne. Wiele laptopów zawiera nawet dość wydajne procesory graficzne — wystarczająco szybkie, aby radykalnie przyspieszyć interaktywną eksplorację zestawów danych o średniej wielkości, na przykład 20 milionów tweetów — mówi Mostak.

Technologia MapD obiecuje umożliwić nowe rodzaje zapytań w czasie rzeczywistym, mówi Bob Lannon, programista w Pracownie światła słonecznego , która opracowuje narzędzia do analizy danych dla Sunlight Foundation. Wkrótce będziesz mógł szybko eksplorować duże ilości danych oraz przestawiać, filtrować i podsumowywać je w sposób niedostępny wcześniej. Jesteśmy podekscytowani, widząc, co może to oznaczać dla naszych użytkowników.

Nvidia, jeden z wiodących producentów procesorów graficznych, planuje na nadchodzącej konferencji zademonstrować MapD w ponad miliardzie tweetów przy użyciu ośmiu procesorów graficznych. Naukowcy planują również wspólne demo z Gnip, wiodącym sprzedawcą danych z mediów społecznościowych ze źródeł takich jak Twitter, Foursquare i Facebook. Elaine Ellis, rzeczniczka Gnipa, powiedziała, że ​​firma nie była gotowa do rozmowy o współpracy.

Twitter poinformował niedawno, że 215 milionów aktywnych użytkowników miesięcznie nadaje ponad 400 milionów tweetów dziennie. Spośród nich około siedmiu milionów tweetów zawiera znaczniki geolokalizacji GPS, zwykle pochodzące z urządzeń mobilnych. Możliwość wizualizacji ogromnych strumieni danych z mediów społecznościowych i telefonów komórkowych, które można zidentyfikować geograficznie, w czasie rzeczywistym może mieć poważne implikacje dla epidemiologii i reagowania na katastrofy (patrz Big Data z tanich telefonów).

Poza używaniem układów graficznych Madden i Mostak współpracują z badaczami z Intela, aby umożliwić MapD korzystanie z nowego masowo równoległe procesory jak również zwykłe procesory X86, które zasilają większość komputerów.

ukryć