211service.com
Superkomputer przeszukuje Twittera w czasie rzeczywistym
Ustalenie najbardziej wpływowych użytkowników Twittera prawdopodobnie nie jest tym, co twórcy Cray XMT superkomputer miał na myśli, projektując swoją maszynę. Ale kiedy pakujesz tyle ciepła obliczeniowego, idziesz tam, gdzie są trudne problemy. Twitter, Facebook i reszta sieci społecznościowych stały się współczesnym odpowiednikiem dystrybutora wody, aczkolwiek z automatyczną transkrypcją. A przetwarzanie wszystkich danych, które generuje rozmowa, okazuje się bardzo trudnym problemem.
Superkomputer Cray XMT dzięki uprzejmości Cray
Na przykład w lutym 2010 r. Facebook obejmował 400 milionów aktywnych użytkowników, z których każdy miał średnio 120 kontaktów ze znajomymi, z których wszyscy wspólnie udostępnili 5 miliardów informacji w ciągu jednego miesiąca.
Ustalenie, kim są influencerzy w tak ogromnych sieciach społecznościowych, wymaga stworzenia gigantycznego wykresu społecznościowego, w którym każdy użytkownik jest wierzchołkiem, a połączenia między nimi są liniami. Ranking użytkowników w ramach takiego wykresu wymaga określenia ich centralności. To znaczy, ile innych osób jest z nimi połączonych i ile osób jest z nimi połączonych i tak dalej, aż dojdziesz do pnia struktury drzewa leżącej u podstaw łączności w usłudze takiej jak Twitter.
Okazuje się, że nie jest to problem, z którym łatwo sobie poradzą nawet zwykłe stacje robocze naukowego świata superkomputerów – superkomputery zasilane przez GPGPU, które wykorzystują układy graficzne zwykle używane do renderowania bujnego środowiska 3D w grach wideo. Te stacje robocze GPGPU po prostu nie pozwalają na wystarczającą kontrolę nad tym, ile procesów działa równolegle, aby skutecznie przerzucać się przez wykresy społecznościowe tak duże, jak te reprezentowane przez Twittera lub Facebooka.
Dlatego David Ediger z Georgia Tech, z pomocą długiej listy współpracowników , zwrócił się do 128-procesorowego Cray XMT znajdującego się w Pacific Northwest National Laboratory. XMT jest ulubieńcem superkomputerowych hot-rodderów i uber-geeków, którzy doceniają jego drobnoziarnistą, masywną, wielowątkową regulację. Ta maszyna jest zwykle wykorzystywana do rozwiązywania problemów, takich jak hierarchiczne modelowanie bayesowskie do analizy tekstu lub analiza stabilności amerykańskiej sieci energetycznej , ale Ediger zastanawiał się nad każdą zabłąkaną myślą z jednego dnia Wąż strażacki na Twitterze .
Cray wykonał krótką pracę na Twitterze, pozbywając się połączeń z całego dnia w niecałą godzinę. Wyniki nikogo nie zaskoczą – na Twitterze niewielki ułamek źródeł jest szeroko retweetowany, głównie rząd i media, podczas gdy reszta serwisu to ludzie rozmawiający w małych grupach lub dosłownie rozmawiający ze sobą.
Chodzi jednak o to, że rzucenie na Twittera precyzyjnie dostrojonego Craya z niestandardowym oprogramowaniem Edigera – GraphCT – na Twitterze pozwoliło naukowcom przetrawić usługę w czasie podobnym do czasu rzeczywistego. Jest to dokładnie taki rodzaj możliwości, jaki chciałyby mieć agencje wywiadowcze, marketerzy, a być może nawet sam Twitter.
Śledź Mims na Twitterze lub skontaktuj się z nim przez e-mail .