Algorytmy Akamai

Ty to Oblicz. Tom Leighton, profesor w MIT's Laboratory for Computer Science, lub LCS, posiada prawie 10 milionów akcji Akamai Technologies, firmy, którą był współzałożycielem w sierpniu 1998 roku. ) zaczynając od 26 USD za akcję; do końca dnia inwestorzy licytowali cenę do 145 USD za akcję. Miesiąc później akcje sprzedawano po 327 dolarów za akcję. Bez względu na to, ile możesz mieć niepokoju matematycznego, rozumiesz, że Tom Leighton stał się bardzo bogatym człowiekiem.

Leighton, naukowiec, który specjalizuje się w algorytmach równoległych i matematyce stosowanej, na pierwszy rzut oka jest mało prawdopodobnym kandydatem do internetowej historii sukcesu od tweedów do bogactw. Ale po bliższym przyjrzeniu się to ma sens. Firma Leighton od lat bada, jak działają złożone sieci i jak można je zoptymalizować. Tak więc pięć lat temu, kiedy Tim Berners-Lee (wynalazca World Wide Web) zszedł na korytarz w LCS, szukając sposobów na lepsze zarządzanie rosnącym przepływem ruchu w Internecie, Leighton i jego załoga doktorantów byli oczywistością. miejsce, w którym można wpaść.

Ta historia była częścią naszego wydania z września 2000 r.

• Zobacz resztę numeru
• Subskrybuj

W ciągu następnych kilku lat Leighton wraz ze studentami i studentami z MIT próbował znaleźć lepszy sposób zarządzania i dystrybucji treści w sieci. Na początku 1998 roku grupa, w skład której wchodził doktorant Daniel Lewin (który wraz z Leightonem i Jonathanem Seeligem, studentem MIT’s Sloan School, założył Akamai), wzięła udział w konkursie przedsiębiorczości MIT o wartości 50 000 USD. Zespół był finalistą, ale nie wygrał. Mimo to inwestorzy venture capital pukali. A reszta to historia Internetu. Obecnie firma prowadzi ogólnoświatową sieć ponad 4000 serwerów, które dystrybuują treści internetowe dla takich klientów jak Yahoo!, CNN i C-SPAN; jeśli użytkownik komputera żąda na przykład strumieniowego przesyłania wideo ze strony internetowej C-SPAN, system serwerów Akamai pomaga dostarczyć tę treść, unikając w ten sposób wąskich gardeł w scentralizowanej witrynie C-SPAN. Sieć rozproszona sprawia, że ​​dostarczanie treści przez Internet jest szybsze i bardziej niezawodne.

Pomimo trafienia w dziesiątkę, profesor MIT mówiący łagodnie (obecnie na urlopie w LCS) wykazuje niewiele widocznych oznak sukcesu materialnego. W nowej siedzibie Akamai sąsiadującej z kampusem MIT, Leighton, główny naukowiec firmy, zajmuje skromne narożne biuro, nadzorując labirynt boksów. To w dużej mierze gabinet profesora, a Leighton mówi cierpliwymi i precyzyjnymi słowami kogoś, kto tłumaczył, jak to działa. Starszy redaktor TR David Rotman przeszedł niedawno na lekcję na temat zarządzania ruchem w dzisiejszym Internecie.

TR: Kiedy przyszło Ci do głowy, że możesz użyć algorytmów do optymalizacji dostarczania treści w sieci?
LEIGTON: Po raz pierwszy pomyślałem o Internecie w 1995 roku. Moje biuro [w MIT's LCS] znajduje się na końcu korytarza od Tima Bernersa-Lee i Web Consortium. Z biegiem czasu rozmawialiśmy o niektórych problemach, z jakimi boryka się Internet. Są to rodzaje problemów sieciowych na dużą skalę, nad którymi pracowała nasza grupa i którymi jestem zainteresowany od dłuższego czasu. Dlatego podjęliśmy się niektórych z nich jako projektów badawczych.

TR: W pewnym sensie Internet to naprawdę największe wyzwanie sieciowe, prawda?
LEIGTON: Tak. Zgadza się.

TR: Jaki był problem, z którym zacząłeś w 1995 roku?
LEIGTON: Szukaliśmy sposobów radzenia sobie z zatłoczeniem i hot-spottingiem. To właśnie tam wiele osób odwiedza jednocześnie jedną witrynę, zalewając ją i niszcząc sieć wokół niej – i unieszczęśliwiając wszystkich.

TR: Czy możesz wyjaśnić technologie, które opracowałeś?
LEIGTON: Dziś jesteśmy prawdopodobnie jedną z największych sieci rozproszonych na świecie. Na wysokim poziomie dostarczamy treści lub obsługujemy aplikacje dla użytkowników końcowych i robimy to z serwerów znajdujących się blisko użytkowników końcowych. Zamknij to coś, co zmienia się dynamicznie, w zależności od warunków sieciowych, wydajności serwera i obciążenia. Ponieważ jesteśmy blisko, możemy uniknąć wielu zawieszeń, opóźnień i utraty pakietów, których możesz doświadczyć, jeśli jesteś daleko. Wcześniej zazwyczaj wchodziłeś w interakcję z centralną witryną internetową. I zazwyczaj to było daleko. Teraz zazwyczaj masz dużo interakcji — nie wszystkie, ale dużo — z serwerem Akamai, który jest blisko Ciebie i jest wybierany w czasie rzeczywistym.

TR: Jakie są triki i wyzwania, które sprawiają, że ten rozproszony system działa?
LEIGTON: To niezwykle trudny obszar; nie możesz iść i po prostu wyrzucić kilka serwerów i sprawić, by wszystkie ze sobą współpracowały. Same serwery ulegną awarii. Procesory ulegną awarii. Internet ma wiele własnych problemów i trybów awarii. Więc wszystkie tego rodzaju rzeczy muszą być wbudowane w podejście algorytmiczne. Jak opracować zdecentralizowany algorytm z niedoskonałymi informacjami, który nadal będzie działał? To ogromne wyzwanie. Ale jasne jest, co musisz zrobić. Nie możesz mieć żadnego centralnego punktu awarii, bo system upadnie. Nie przychodzi mi do głowy komponent lub sprzęt, który nie zawiódł w pewnym momencie lub w jakimś miejscu. Tak więc jest oczywiste [że potrzebujesz systemu rozproszonego].

Kiedy klient przychodzi do jednego z naszych klientów w poszukiwaniu treści, musimy dowiedzieć się, gdzie ten klient jest, z której z naszych lokalizacji w danym momencie najlepiej go obsłużyć i jakie są warunki obciążenia, aby nie przeładować wszystko. Musimy radzić sobie z tłumami flashów, które są zarówno geograficzne, jak i specyficzne dla treści. Musimy natychmiast zreplikować zawartość, aby poradzić sobie z tego rodzaju problemami, ale nie możesz sobie pozwolić na posiadanie kopii wszystkiego wszędzie. Musisz podejmować te decyzje i odpowiadać klientom w ciągu milisekund. Musimy działać automatycznie. A kiedy elementy zawodzą, musisz to automatycznie zrekompensować.

TR: To jest to, co nazywasz tolerancją błędów?
LEIGTON: Tak, i musisz być tolerancyjny we wszystkich aspektach. Są też rzeczy nieoczywiste. Jak rozliczenia. Obsługujemy miliardy odsłon dziennie i rozliczamy się za każde pojedyncze trafienie. Musimy dowiedzieć się, czyja to była zawartość i ile ma bajtów, i za to zapłacić. Do tego mamy usługę, którą oferujemy naszym klientom, gdzie w ciągu 60 sekund mogą zobaczyć, ile odsłon dla nich obsłużyliśmy w ciągu ostatnich 60 sekund. Ponadto możemy podzielić dla naszych klientów, skąd pochodzą hity, według kraju lub stanu. To trudny problem algorytmiczny. Jak właściwie to robisz? I sprawić, by działał ze skończoną ilością sprzętu i zasobów?

TR: Sprzęt nie jest do tego kluczem, prawda?
LEIGTON: To nawet nie jest główny składnik. Nie chcę umniejszać naszych partnerów sprzętowych, ale kluczem jest tutaj infrastruktura algorytmiczna i programowa. To krytyczne.

TR: Jaka jest Twoja konkurencja w oferowaniu rozproszonej sieci do dostarczania treści?
LEIGTON: Tak naprawdę nie ma tam zbyt wiele. Jesteśmy w czasach, kiedy jest dużo biznesplanów i jest wiele historii. Obecnie nie ma zbyt wielu dostępnych prawdziwych usług. Praktycznie jedynym konkurentem w naszej przestrzeni jest Digital Island, która niedawno przejęła Sandpiper [Networks]. Są inni, którzy ogłosili [biznes plany], ale nie prowadzą jeszcze aktywnie ruchu. Jedną z rzeczy, która wyróżnia Akamai, jest ilość prac badawczych i inżynieryjnych oraz prac badawczo-rozwojowych włożonych w zaprojektowanie systemu. To nie tylko wyrzucanie tam pudełek. Są firmy, które próbowały to zrobić bez systemu rozproszonego. Firmy, które dwa, trzy lata temu ogłosiły usługi oparte na tym podejściu, nie prowadzą jeszcze działalności. Robienie tego nie działało.

TR: Jakie są nadchodzące wyzwania dla technologii? Czy chodzi o szybsze dostarczanie treści?
LEIGTON: To jest składnik. Staramy się dotrzymać obietnicy Internetu. Istnieje pogląd, że w Internecie dokonuje się ogromna rewolucja. Jednocześnie pojawia się frustracja z powodu ograniczeń. To, co staramy się zrobić, to uczynić Internet bardziej użytecznym. A jednym z elementów jest to, że jest szybszy i bardziej niezawodny. Innym elementem, poniekąd powiązanym, jest umożliwienie dostarczania bardziej wzbogacających, bardziej umożliwiających treści. Jeśli uda nam się ulepszyć przesyłanie strumieniowe, a w tym przypadku nie chodzi o szybkość, ale o przepustowość i brak utraty pakietów, uzyskasz znacznie lepszy obraz na ekranie; zrobisz z nim więcej, a więcej osób będzie go używać do przekazywania treści i informacji. A to jest nieocenione we wzbogacaniu potęgi Internetu.

Ale nie wszystko popycha bity. Akamai oferuje usługi takie jak konferencje internetowe, które umożliwiają na przykład uczenie się na odległość. Dzięki tym usługom dostawcy treści lub klienci korporacyjni mogą skutecznie dostarczać treści i komunikować się z małymi lub dużymi odbiorcami w sieci za pośrednictwem transmisji audio i wideo na żywo; dostępne są funkcje udostępniania prezentacji, ankietowania odbiorców i moderowania wiadomości.

TR: Kiedy wprowadzasz nową funkcję, na przykład konferencję, jakie wymagania stawia ona sieci?
LEIGTON: Jak zamierzasz to wdrożyć? Jak zamierzasz zintegrować go z tą ogromną platformą rozproszoną? Jak zamierzasz go utrzymać dla tysięcy klientów? Masz tysiące klientów i setki milionów ludzi uzyskujących dostęp do tych klientów, a my siedzimy pomiędzy. I to wszystko musi działać samo. Nie możesz się wygłupiać. Prowadzenie konferencji brzmi prosto. Ale to nie jest takie proste, kiedy mówisz o takiej skali. Kiedy ludzie myślą o przesyłaniu strumieniowym, myślą o jednym źródle, z którego pochodzi treść, a następnie rozgałęzia się ono na drzewo w Internecie. Te miejsca mogą się zepsuć i wtedy wszyscy ci ludzie na dole nie mają szczęścia. Opracowaliśmy zupełnie nowy sposób postępowania, aby nie było krytycznego punktu awarii. Jeśli źródło umrze, utkniesz. Ale gdy [treść] wyjdzie ze źródła, powielamy ją i rozpowszechniamy w całym systemie. Więc to nie jest drzewo.

TR: Jak to wygląda?
LEIGTON: Trudno to opisać. Sposób myślenia o tym polega na tym, że między źródłem a miejscem docelowym zachodzi wiele transmisji, tak że możesz stracić zawartość na tych ścieżkach; możesz mieć utratę pakietów na jednym lub wszystkich z nich, ale w punkcie końcowym masz wystarczającą ilość informacji pochodzących z tych lokalizacji, aby móc zrekonstruować sygnał. Tak więc, jeśli coś zostanie zabite po drodze, na przykład ścieżka zostanie zabita, nikogo to nie dotyczy.

TR: Wszyscy doświadczamy frustracji związanych z transmisją wideo. Co będzie potrzebne pod względem technologii, aby była bardziej niezawodna? Kiedy będziemy mogli oglądać webcasty tak łatwo jak telewizję na pełnym ekranie?
LEIGTON: Aby przesyłanie strumieniowe wideo było bardziej niezawodne, potrzebujesz usługi dystrybucji treści, która niezawodnie dostarcza bity do brzegu sieci, a następnie musisz mieć niezawodne połączenie „ostatniej mili” z Internetem. Jeśli chcesz wysokiej jakości wideo, lepiej mieć szerokopasmowe połączenie z Internetem. Minie jeszcze trochę czasu, zanim będzie można uzyskać masową transmisję wideo o jakości telewizyjnej.

Zademonstrowaliśmy transmisję na żywo z szybkością megabitów na sekundę. W rzeczywistości, niedawno przekazaliśmy tysiące strumieni z szybkością jednego megabita na sekundę do klientów na żywo uzyskujących dostęp do przemówienia programowego konferencji Steve'a Jobsa [dyrektora generalnego Apple Computer]. To kamień milowy dla Internetu. Dzięki tej technologii otrzymujesz strumień wideo o bardzo wysokiej jakości. Jeśli ostatnia mila to łącze szerokopasmowe, wszystko gotowe. Jedną z rzeczy, nad którymi pracujemy, jest profilowanie przepustowości. Pomysł polega na automatycznym wykrywaniu przepustowości ostatniej mili. Czy klient ma łącze szerokopasmowe, modem 28K, czy jest to wąskopasmowy telefon komórkowy czy coś takiego? Następnie dostarczamy treść w zależności od tego. Jeśli więc wykryjesz, że klient ma dużą przepustowość, otrzyma wersję o wysokiej przepustowości — wersję przesyłaną strumieniowo, w przeciwieństwie do wersji statycznej. Lub w przypadku wąskiego pasma, otrzymujesz wersję drukowaną, a nie grafikę.

TR: Wydaje się, że sama natura sieci zmienia się wraz z takimi funkcjami, jak strumieniowanie wideo i konferencje. Nad czym Akamai będzie pracował za pięć lat? Jak myślisz, jaki będzie wtedy Internet?
LEIGTON: Rzeczy poruszają się tak szybko, że naprawdę trudno to przewidzieć. Ludzie, którzy próbują przewidzieć, w końcu zjadają ich słowa. Myślę, że jesteśmy dopiero na początku rewolucji internetowej. Nie sądzę, że nawet zaczęliśmy myśleć o wszystkich rzeczach, które możemy robić w Internecie. Nie mogę powiedzieć, jaka będzie gorąca usługa za pięć lat. Nie wiem. Mam nadzieję, że do tego czasu np. jakość streamingu będzie znacznie lepsza. Że jest częścią codziennego życia. Przynajmniej spodziewałbym się, że typowe środowisko internetowe stanie się bogatsze, wydajniejsze i bardziej niezawodne niż jest dzisiaj.

TR: Przez wielu jesteś postrzegany jako model naukowca, który czyni go wielkim przedsiębiorcą w nowej gospodarce. Co powiesz tym, którzy chcą naśladować Twój sukces?
LEIGTON: Nigdy nie chciałem być przedsiębiorcą. Uwielbiam naukowców i współzałożyciel Akamai, ponieważ uważaliśmy, że to najlepszy sposób na przeniesienie naszej technologii ze środowiska badawczego do praktyki. To było naprawdę miłe uczucie, gdy zabieram technologię, zwłaszcza technologię z uniwersytetu, i robię z nią różnicę. To prawdopodobnie największa nagroda. Często potrzeba od 10 do 20 lat, zanim technologia na uniwersytecie rzeczywiście zamanifestuje się w praktyce. I tym razem jesteśmy w stanie drastycznie skrócić ten czas. Jestem całkowicie szczęśliwy pisząc artykuł, który czyta tylko pięć osób. Całkiem mądrzy ludzie to przeczytają, a to sprawia mi frajdę. Spędziłem na tym całe życie. Ale to jest coś, co ma szansę coś zmienić.

TR: Czy tęsknisz za czasami, kiedy, jak to określiłeś, spędzałeś czas na pisaniu prac, które może pięć osób było w stanie przeczytać i zrozumieć?
LEIGTON: Tak, chociaż nie mam zbyt wiele czasu, żeby się nad tym zastanawiać.

ukryć