211service.com
Jak sztuczna inteligencja może przyspieszać zgodnie z prawem Moore'a?
Nowe pomysły w projektowaniu chipów prawdopodobnie sprawią, że oprogramowanie stanie się inteligentniejsze. 30 maja 2017 r.
Andrea Chronopoulos
Dyrektor generalny Google, Sundar Pichai, był wyraźnie podekscytowany, gdy na początku tego miesiąca rozmawiał z programistami o przebojowym wyniku swojego laboratorium uczenia maszynowego. Naukowcy odkryli, jak zautomatyzować niektóre prace związane z tworzeniem oprogramowania do uczenia maszynowego, co może znacznie ułatwić wdrażanie technologii w nowych sytuacjach i branżach.
Ale projekt zyskał już reputację wśród naukowców zajmujących się sztuczną inteligencją z innego powodu: sposobu, w jaki zilustrował ogromne zasoby obliczeniowe potrzebne do konkurowania w najnowocześniejszym uczeniu maszynowym.
Artykuł naukowców Google mówi, że jednocześnie używali aż 800 potężnych i drogich procesorów graficznych, które miały kluczowe znaczenie dla niedawnego wzrostu mocy uczenia maszynowego (patrz 10 przełomowych technologii 2013: Deep Learning ). Oni powiedzieli Przegląd technologii MIT że projekt związał setki chipów na dwa tygodnie, co sprawia, że technika ta jest zbyt zasobożerna, aby była czymś więcej niż projektem badawczym nawet w Google.
Koder bez szybkiego dostępu do gigantycznej kolekcji procesorów graficznych potrzebowałby głębokich kieszeni, aby powtórzyć eksperyment. Wypożyczenie 800 procesorów graficznych z usługi przetwarzania w chmurze firmy Amazon na zaledwie tydzień kosztowałoby około 120 000 USD w podanych cenach.
Andrea Chronopoulos
Wprowadzanie danych do oprogramowania do uczenia głębokiego w celu przeszkolenia go pod kątem określonego zadania wymaga znacznie większej ilości zasobów niż późniejsze uruchamianie systemu, ale nadal wymaga znacznego wysiłku. Mówi się, że moc obliczeniowa jest obecnie wąskim gardłem dla uczenia maszynowego Reza Zadeh , adiunkt na Uniwersytecie Stanforda oraz założyciel i dyrektor generalny Matroid , startup, który pomaga firmom używać oprogramowania do identyfikowania obiektów, takich jak samochody i ludzie, na nagraniach z monitoringu i innych materiałach wideo.
Nagłe pragnienie nowej mocy napędzającej sztuczną inteligencję pojawia się w czasie, gdy branża komputerowa dostosowuje się do utraty dwóch rzeczy, na których polegała przez 50 lat, aby utrzymać moce chipów. Jednym z nich jest prawo Moore'a, które przewiduje, że liczba tranzystorów, które można zmieścić w danym obszarze chipa, podwaja się co dwa lata. Drugim jest zjawisko zwane skalowaniem Dennarda, które opisuje, w jaki sposób ilość mocy zużywanej przez tranzystory zmniejsza się w miarę ich kurczenia.
Żadne z nich nie jest prawdziwe dzisiaj. Intel zwolnił tempo, w jakim wprowadza generacje nowych chipów z mniejszymi, gęstszymi tranzystorami (patrz Prawo Moore'a jest martwe. Co teraz?). A zwykłe przyrosty wydajności, które pokazywały tranzystory, gdy stały się mniejsze, ustały w połowie 2000 roku, co sprawiło, że zużycie energii stało się poważnym bólem głowy.
Dobrą wiadomością dla tych, którzy obstawiają sztuczną inteligencję, jest to, że układy graficzne jak dotąd przeciwstawiały się grawitacji. Na niedawnej konferencji wiodącego producenta chipów graficznych Nvidii, dyrektor generalny Jensen Huang pokazał wykres pokazujący, jak wydajność jego chipów nadal rośnie wykładniczo, podczas gdy wzrost wydajności procesorów ogólnego przeznaczenia (CPU) uległ spowolnieniu.
Doug Burger, wybitny inżynier w dziale NExT firmy Microsoft, który pracuje nad komercjalizacją nowej technologii, mówi, że podobna luka otwiera się między oprogramowaniem konwencjonalnym a oprogramowaniem do uczenia maszynowego. Zaczynasz widzieć plateau [wydajności] ogólnego oprogramowania – przestało się poprawiać w historycznym tempie – ale ta sztuczna inteligencja wciąż szybko rośnie, mówi.
Burger uważa, że trend się utrzyma. Inżynierowie sprawili, że procesory graficzne stają się coraz wydajniejsze, ponieważ mogą być bardziej wyspecjalizowane w określonej matematyce, którą muszą wykonać w przypadku grafiki lub uczenia maszynowego, mówi.
Ta sama idea kryje się za projektem prowadzonym przez Burgera w firmie Microsoft, który polega na zwiększeniu mocy oprogramowania AI za pomocą rekonfigurowalnych układów zwanych FPGA. Motywuje również start-upy – i gigantów takich jak Google – do tworzenia nowych chipów dostosowanych do wspomagania uczenia maszynowego (patrz Google ujawnia potężny nowy chip AI i superkomputer).
W dłuższej perspektywie konieczne będą bardziej radykalne zmiany w działaniu chipów komputerowych, aby sztuczna inteligencja stała się potężniejsza. Jedną z opcji jest tworzenie żetonów, które nie dodają się dokładnie. Prototypy pokazały, że mogą sprawić, że komputery staną się bardziej wydajne bez podważania dokładności wyników uzyskiwanych z oprogramowania do uczenia maszynowego (patrz: Dlaczego chip, który jest zły w matematyce, może pomóc komputerom w rozwiązywaniu trudniejszych problemów).
Projekty chipów, które bezpośrednio kopiują z biologii, mogą również mieć kluczowe znaczenie. IBM i inni zbudowali prototypowe chipy, które obliczają przy użyciu skoków prądu, podobnie jak w naszych neuronach (patrz Thinking in Silicon ). Burger wskazuje, że nawet zwykłe zwierzęta zużywają niewiele energii, aby robić rzeczy wykraczające poza to, co mogą osiągnąć dzisiejsze roboty i oprogramowanie — jest to dowód na to, że komputery mają jeszcze dużo do zrobienia.
Spójrz na obliczenia jakie robi karaluch, mówi. Istnieją dowody istnienia, które pokazują znacznie więcej rzędów wielkości wydajności i wydajności. Możemy mieć całe dziesięciolecia skalowania w sztucznej inteligencji.