Wydajna i tania infrastruktura uczenia maszynowego przyspiesza innowacje w chmurze

Dostarczone przez Usługi internetowe Amazon

Sztuczna inteligencja i uczenie maszynowe (AI i ML) to kluczowe technologie, które pomagają organizacjom rozwijać nowe sposoby zwiększania sprzedaży, obniżania kosztów, usprawniania procesów biznesowych i lepszego zrozumienia klientów. AWS pomaga klientom przyspieszyć wdrażanie AI/ML, dostarczając na żądanie potężne moce obliczeniowe, szybkie sieci i skalowalne opcje pamięci masowej o wysokiej wydajności dla dowolnego projektu uczenia maszynowego. Obniża to barierę wejścia dla organizacji, które chcą zastosować chmurę do skalowania swoich aplikacji ML.

Deweloperzy i naukowcy zajmujący się danymi przesuwają granice technologii i coraz częściej przyjmują głębokie uczenie, które jest rodzajem uczenia maszynowego opartego na algorytmach sieci neuronowych. Te modele uczenia głębokiego są większe i bardziej wyrafinowane, co skutkuje rosnącymi kosztami obsługi podstawowej infrastruktury służącej do trenowania i wdrażania tych modeli.

Aby umożliwić klientom przyspieszenie transformacji AI/ML, AWS tworzy wysokowydajne i tanie chipy uczenia maszynowego. AWS Inferentia to pierwszy chip do uczenia maszynowego zbudowany od podstaw przez AWS w celu wnioskowania o najniższym koszcie uczenia maszynowego w chmurze. W rzeczywistości instancje Amazon EC2 Inf1 oparte na technologii Inferentia zapewniają 2,3 razy wyższą wydajność i nawet o 70% niższy koszt wnioskowania uczenia maszynowego niż instancje EC2 z procesorami graficznymi obecnej generacji. AWS Trainium to drugi chip do uczenia maszynowego od AWS, który został stworzony specjalnie do trenowania modeli uczenia głębokiego i będzie dostępny pod koniec 2021 roku.

Klienci z różnych branż wdrożyli swoje aplikacje ML w środowisku produkcyjnym na platformie Inferentia i zauważyli znaczną poprawę wydajności oraz oszczędności. Na przykład platforma obsługi klienta AirBnB umożliwia inteligentne, skalowalne i wyjątkowe usługi dla społeczności milionów gospodarzy i gości na całym świecie. Wykorzystał instancje EC2 Inf1 oparte na Inferentii do wdrożenia modeli przetwarzania języka naturalnego (NLP), które obsługiwały chatboty. Doprowadziło to do dwukrotnej poprawy wydajności po wyjęciu z pudełka w porównaniu z instancjami opartymi na GPU.

Dzięki tym innowacjom w technologii krzemowej AWS umożliwia klientom łatwe szkolenie i wdrażanie ich modeli uczenia głębokiego w produkcji z wysoką wydajnością i przepustowością przy znacznie niższych kosztach.

Wyzwania związane z uczeniem maszynowym przyspieszają przejście do infrastruktury opartej na chmurze

Uczenie maszynowe to proces iteracyjny, który wymaga od zespołów szybkiego tworzenia, trenowania i wdrażania aplikacji, a także częstego szkolenia, ponownego szkolenia i eksperymentowania w celu zwiększenia dokładności przewidywania modeli. Wdrażając przeszkolone modele w swoich aplikacjach biznesowych, organizacje muszą również skalować swoje aplikacje, aby obsługiwać nowych użytkowników na całym świecie. Muszą być w stanie obsłużyć wiele żądań przychodzących w tym samym czasie z opóźnieniem zbliżonym do czasu rzeczywistego, aby zapewnić użytkownikom najwyższy komfort.

Pojawiające się przypadki użycia, takie jak wykrywanie obiektów, przetwarzanie języka naturalnego (NLP), klasyfikacja obrazów, konwersacyjna sztuczna inteligencja i dane szeregów czasowych, opierają się na technologii głębokiego uczenia. Rozmiary i złożoność modeli uczenia głębokiego rosną wykładniczo, przechodząc od milionów parametrów do miliardów w ciągu kilku lat.

Szkolenie i wdrażanie tych złożonych i wyrafinowanych modeli przekłada się na znaczne koszty infrastruktury. Koszty mogą szybko rosnąć jak śnieżka, stając się niewspółmiernie duże, ponieważ organizacje skalują swoje aplikacje, aby dostarczać użytkownikom i klientom doświadczenia w czasie zbliżonym do rzeczywistego.

Tutaj mogą pomóc usługi infrastruktury uczenia maszynowego oparte na chmurze. Chmura zapewnia dostęp na żądanie do mocy obliczeniowej, wydajnej sieci i przechowywania dużych ilości danych, płynnie połączonych z operacjami ML i usługami AI wyższego poziomu, aby umożliwić organizacjom natychmiastowe rozpoczęcie i skalowanie inicjatyw AI/ML.

Jak AWS pomaga klientom przyspieszyć ich transformację AI/ML

AWS Inferentia i AWS Trainium mają na celu demokratyzację uczenia maszynowego i udostępnienie go programistom niezależnie od doświadczenia i wielkości organizacji. Projekt Inferentia jest zoptymalizowany pod kątem wysokiej wydajności, przepustowości i małych opóźnień, co czyni go idealnym do wdrażania wnioskowania ML na dużą skalę.

Każdy układ AWS Inferentia zawiera cztery NeuronCore, które implementują wysokowydajny silnik mnożenia macierzy skurczowej macierzy, który znacznie przyspiesza typowe operacje uczenia głębokiego, takie jak konwolucja i transformatory. NeuronCore są również wyposażone w dużą pamięć podręczną na chipie, która pomaga ograniczyć dostęp do pamięci zewnętrznej, zmniejszyć opóźnienia i zwiększyć przepustowość.

AWS Neuron, zestaw do tworzenia oprogramowania dla Inferentia, natywnie obsługuje wiodące platformy ML, takie jak TensorFlow i PyTorch. Deweloperzy mogą nadal korzystać z tych samych frameworków i narzędzi programistycznych, które znają i kochają. W przypadku wielu wytrenowanych modeli mogą kompilować i wdrażać je na platformie Inferentia, zmieniając tylko jeden wiersz kodu, bez dodatkowych zmian w kodzie aplikacji.

Rezultatem jest wdrożenie wnioskowania o wysokiej wydajności, które można łatwo skalować, utrzymując koszty pod kontrolą.

Sprinklr, firma oferująca oprogramowanie jako usługa, posiada opartą na sztucznej inteligencji platformę do zarządzania doświadczeniami klientów, która umożliwia firmom zbieranie i przekształcanie opinii klientów w czasie rzeczywistym za pośrednictwem wielu kanałów na praktyczne wnioski. Skutkuje to proaktywnym rozwiązywaniem problemów, ulepszonym rozwojem produktów, ulepszonym marketingiem treści i lepszą obsługą klienta. Sprinklr wykorzystał Inferentia do wdrożenia swojego NLP i niektórych modeli widzenia komputerowego i odnotował znaczną poprawę wydajności.

Kilka usług Amazona również wdraża swoje modele uczenia maszynowego na Inferentia.

Amazon Prime Video wykorzystuje modele komputerowego ML do analizy jakości wideo z wydarzeń na żywo, aby zapewnić optymalne wrażenia widza członkom Prime Video. Wdrożyła swoje modele ML do klasyfikacji obrazów na instancjach EC2 Inf1 i odnotowała czterokrotną poprawę wydajności oraz do 40% oszczędności w kosztach w porównaniu z instancjami opartymi na GPU.

Innym przykładem jest inteligencja Amazon Alexa oparta na AI i ML, obsługiwana przez Amazon Web Services, która jest obecnie dostępna na ponad 100 milionach urządzeń. Obietnicą Alexy dla klientów jest to, że zawsze staje się mądrzejsza, bardziej konwersacyjna, bardziej proaktywna i jeszcze bardziej zachwycająca. Spełnienie tej obietnicy wymaga ciągłej poprawy czasu reakcji i kosztów infrastruktury uczenia maszynowego. Dzięki wdrożeniu modeli ML Alexa zamiany tekstu na mowę w instancjach Inf1 udało się zmniejszyć opóźnienie wnioskowania o 25% i koszt wnioskowania o 30%, aby poprawić jakość usług dla dziesiątek milionów klientów, którzy korzystają z Alexy każdego miesiąca.

Uwolnienie nowych możliwości uczenia maszynowego w chmurze

W miarę jak firmy ścigają się, aby przygotować swoją działalność na przyszłość, udostępniając najlepsze produkty i usługi cyfrowe, żadna organizacja nie może pozostać w tyle we wdrażaniu zaawansowanych modeli uczenia maszynowego, aby pomóc w unowocześnianiu doświadczeń klientów. W ciągu ostatnich kilku lat nastąpił ogromny wzrost zastosowania uczenia maszynowego w różnych przypadkach użycia, od personalizacji i przewidywania rezygnacji po wykrywanie oszustw i prognozowanie łańcucha dostaw.

Na szczęście infrastruktura uczenia maszynowego w chmurze uwalnia nowe możliwości, które wcześniej nie były możliwe, dzięki czemu jest znacznie bardziej dostępna dla praktyków, którzy nie są ekspertami. Właśnie dlatego klienci AWS już korzystają z instancji Amazon EC2 Inf1 opartych na technologii Inferentia, aby zapewnić inteligencję stojącą za ich silnikami rekomendacji i chatbotami oraz uzyskać przydatne informacje na podstawie opinii klientów.

Dzięki opcjom infrastruktury uczenia maszynowego AWS w chmurze, które są odpowiednie dla różnych poziomów umiejętności, jasne jest, że każda organizacja może przyspieszyć innowacje i objąć cały cykl życia uczenia maszynowego na dużą skalę. Ponieważ uczenie maszynowe staje się coraz bardziej wszechobecne, organizacje mogą teraz fundamentalnie zmienić sposób obsługi klienta — i sposób prowadzenia działalności — za pomocą opłacalnej, wysokowydajnej infrastruktury uczenia maszynowego opartej na chmurze.

Dowiedz się więcej o tym, jak platforma uczenia maszynowego AWS może pomóc Twojej firmie w innowacjach tutaj .

Ta treść została wyprodukowana przez AWS. Nie została napisana przez redakcję MIT Technology Review.

ukryć