211service.com
IBM buduje największy dysk danych w historii
Naukowcy z laboratorium badawczego IBM Almaden w Kalifornii budują repozytorium danych prawie 10 razy większe niż jakiekolwiek wcześniej. Dysk 120 petabajtów — czyli 120 milionów gigabajtów — składa się z 200 000 współpracujących ze sobą konwencjonalnych dysków twardych. Oczekuje się, że gigantyczny kontener danych pomieści około biliona plików i powinien zapewnić przestrzeń potrzebną do umożliwienia bardziej zaawansowanych symulacji złożonych systemów, takich jak te używane do modelowania pogody i klimatu.
Dysk o pojemności 120 petabajtów może pomieścić 24 miliardy typowych pięciomegabajtowych plików MP3 lub wygodnie połknąć 60 kopii największej kopii zapasowej w Internecie, 150 miliardów stron, które składają się na archiwum Internet Archive Maszyna WayBack .
Grupa przechowywania danych w IBM Almaden opracowuje rekordowy system pamięci masowej dla nienazwanego klienta, który potrzebuje nowego superkomputera do szczegółowych symulacji rzeczywistych zjawisk. Jednak nowe technologie opracowane w celu zbudowania tak dużego repozytorium mogą umożliwić podobnym systemom bardziej konwencjonalne komputery komercyjne, mówi Bruce Hillsberg , dyrektor badań pamięci masowych w IBM i lider projektu.
Ten 120-petabajtowy system jest teraz na skraju szaleństwa, ale za kilka lat może się okazać, że wszystkie systemy przetwarzania w chmurze będą takie jak on, mówi Hillsberg. Samo śledzenie nazw, typów i innych atrybutów plików przechowywanych w systemie zajmie około dwóch petabajtów jego pojemności.
Steve Conway, wiceprezes ds. badań w firmie analitycznej IDC, która specjalizuje się w obliczeniach o wysokiej wydajności (HPC), mówi, że repozytorium IBM jest znacznie większe niż poprzednie systemy pamięci masowej. Mówi, że macierz pamięci o pojemności 120 petabyów z pewnością byłaby największą, z jaką się spotkałem. Największe dostępne obecnie macierze mają rozmiar około 15 petabajtów. Conway mówi, że problemy z superkomputerami, które mogłyby skorzystać na większej ilości danych, obejmują prognozy pogody, przetwarzanie sejsmiczne w przemyśle naftowym oraz badania molekularne genomów lub białek.
Inżynierowie IBM opracowali szereg nowych technik sprzętowych i programowych, aby umożliwić tak duży wzrost pojemności pamięci masowej. Znalezienie sposobu na wydajne połączenie tysięcy dysków twardych, z których zbudowany jest system, było jednym wyzwaniem. Podobnie jak w większości centrów danych, dyski są umieszczone w poziomych szufladach ułożonych w wysokich szafach. Jednak badacze IBM musieli je znacznie poszerzyć niż zwykle, aby zmieścić więcej dysków na mniejszym obszarze. Dyski muszą być chłodzone wodą obiegową, a nie standardowymi wentylatorami.
Nieuniknione awarie, które pojawiają się regularnie w tak dużej kolekcji dysków, stanowią kolejne poważne wyzwanie, mówi Hillsberg. IBM stosuje standardową taktykę przechowywania wielu kopii danych na różnych dyskach, ale wykorzystuje nowe udoskonalenia, które pozwalają superkomputerowi pracować z prawie pełną prędkością nawet po awarii dysku.
Kiedy samotny dysk umiera, system pobiera dane z innych dysków i powoli zapisuje je na dysku zastępczym, aby superkomputer mógł kontynuować pracę. Jeśli więcej awarii wystąpi na pobliskich dyskach, proces odbudowy przyspiesza, aby uniknąć możliwości wystąpienia kolejnej awarii i trwałego usunięcia niektórych danych. Hillsberg twierdzi, że wynikiem jest system, który nie powinien tracić żadnych danych przez milion lat bez żadnych kompromisów w zakresie wydajności.
Nowy system korzysta również z systemu plików znanego jako GPFS, który został opracowany przez IBM Almaden, aby umożliwić superkomputerom szybszy dostęp do danych. Rozmieszcza pojedyncze pliki na wielu dyskach, dzięki czemu wiele części pliku może być odczytywanych lub zapisywanych w tym samym czasie. GPFS umożliwia również dużemu systemowi śledzenie wielu plików bez mozolnego skanowania każdego z nich. W zeszłym miesiącu zespół IBM wykorzystał GPFS do zindeksowania 10 miliardów plików w 43 minuty, bez wysiłku bijąc poprzedni rekord miliarda plików przeskanowanych w ciągu trzech godzin.
Ulepszenia oprogramowania, takie jak te opracowywane dla GPFS i odzyskiwania dysków, są kluczowe dla umożliwienia tak gigantycznych dysków danych, mówi Hillsberg, ponieważ aby były praktyczne, muszą być nie tylko większe, ale także szybsze. Dyski twarde nie stają się szybsze ani bardziej niezawodne proporcjonalnie do zapotrzebowania na większą pamięć masową, więc oprogramowanie musi nadrobić różnicę.
Conway z IDC zgadza się, że szybszy dostęp do większych systemów przechowywania danych staje się kluczowy dla superkomputerów — mimo że superkomputery są najczęściej publicznie porównywane pod względem szybkości ich procesorów, jak ma to miejsce w przypadku globalnej listy TOP500 używanej do określania międzynarodowych praw do przechwałek. Duże napędy stają się ważne, ponieważ symulacje stają się coraz większe, a wiele problemów jest rozwiązywanych za pomocą tak zwanych metod iteracyjnych, w których symulacja jest uruchamiana tysiące razy, a wyniki porównywane, mówi Conway. Powszechna jest również technika sprawdzania, w której superkomputer zapisuje migawki swojej pracy na wypadek, gdyby zadanie nie zakończyło się pomyślnie. Te trendy spowodowały eksplozję danych w społeczności HPC, mówi Conway.