Mroczny sekret w sercu AI

Nikt tak naprawdę nie wie, jak najbardziej zaawansowane algorytmy robią to, co robią. To może być problem. Za pomocą

• Czy rycerz strona archiwum

11 kwietnia 2017 r.

Keith Rankin

W zeszłym roku na ciche drogi w hrabstwie Monmouth w stanie New Jersey wypuszczono dziwny, autonomiczny samochód. Eksperymentalny pojazd, opracowany przez naukowców z firmy produkującej chipy Nvidia, nie różnił się niczym od innych autonomicznych samochodów, ale był niepodobny do niczego, co zademonstrowały Google, Tesla czy General Motors i pokazał rosnącą moc sztucznej inteligencji. Samochód nie wykonał żadnej instrukcji dostarczonej przez inżyniera lub programistę. Zamiast tego opierał się całkowicie na algorytmie, który nauczył się prowadzić, obserwując, jak robi to człowiek.

Sprawienie, by samochód jeździł w ten sposób, było imponującym wyczynem. Ale jest to również trochę niepokojące, ponieważ nie jest do końca jasne, w jaki sposób samochód podejmuje swoje decyzje. Informacje z czujników pojazdu trafiają bezpośrednio do ogromnej sieci sztucznych neuronów, które przetwarzają dane, a następnie dostarczają polecenia wymagane do obsługi kierownicy, hamulców i innych systemów. Wynik wydaje się odpowiadać odpowiedziom, jakich można oczekiwać od ludzkiego kierowcy. Ale co by było, gdyby pewnego dnia zrobił coś nieoczekiwanego – wpadł na drzewo lub usiadł przy zielonym świetle? W obecnej sytuacji może być trudno dowiedzieć się, dlaczego. System jest tak skomplikowany, że nawet inżynierowie, którzy go projektowali, mogą mieć trudności z wyizolowaniem przyczyny pojedynczego działania. I nie można o to zapytać: nie ma oczywistego sposobu na zaprojektowanie takiego systemu, aby zawsze wyjaśniał, dlaczego zrobił to, co zrobił.

Ta historia była częścią naszego wydania z maja 2017 r.

• Zobacz resztę numeru
• Subskrybuj

Tajemniczy umysł tego pojazdu wskazuje na zbliżający się problem ze sztuczną inteligencją . Podstawowa technologia sztucznej inteligencji samochodu, znana jako głębokie uczenie, okazała się bardzo skuteczna w rozwiązywaniu problemów w ostatnich latach i jest szeroko stosowana do zadań takich jak tworzenie podpisów do obrazów, rozpoznawanie głosu i tłumaczenie języka. Jest teraz nadzieja, że ​​te same techniki będą w stanie diagnozować śmiertelne choroby, podejmować milionowe decyzje handlowe i robić niezliczone inne rzeczy, aby przekształcić całe branże.

Ale tak się nie stanie — lub nie powinno się zdarzyć — chyba że znajdziemy sposoby, aby techniki, takie jak uczenie głębokie, były bardziej zrozumiałe dla ich twórców i odpowiedzialne przed ich użytkownikami. W przeciwnym razie trudno będzie przewidzieć, kiedy mogą wystąpić awarie – a to nieuniknione. To jeden z powodów, dla których samochód Nvidii wciąż jest eksperymentalny.

Modele matematyczne są już wykorzystywane do określania, kto dokonuje zwolnienia warunkowego, kto otrzymuje pożyczkę, a kto zostaje zatrudniony do pracy. Gdybyś mógł uzyskać dostęp do tych modeli matematycznych, byłoby możliwe zrozumienie ich rozumowania. Ale banki, wojsko, pracodawcy i inni zwracają teraz uwagę na bardziej złożone podejścia do uczenia maszynowego, które mogą całkowicie uniemożliwić zautomatyzowane podejmowanie decyzji. Głębokie uczenie, najpowszechniejsze z tych podejść, reprezentuje zasadniczo inny sposób programowania komputerów. To problem, który jest już aktualny i będzie o wiele bardziej istotny w przyszłości, mówi Tommi Jaakkola, profesor na MIT, który pracuje nad zastosowaniami uczenia maszynowego. Niezależnie od tego, czy jest to decyzja inwestycyjna, decyzja medyczna, czy może decyzja wojskowa, nie chcesz po prostu polegać na metodzie „czarnej skrzynki”.

Istnieje już argument, że możliwość przesłuchania systemu sztucznej inteligencji o to, w jaki sposób doszedł do swoich wniosków, jest podstawowym prawem. Począwszy od lata 2018 r. Unia Europejska może wymagać, aby firmy były w stanie wyjaśniać użytkownikom decyzje podejmowane przez zautomatyzowane systemy. Może to być niemożliwe, nawet w przypadku systemów, które z pozoru wydają się stosunkowo proste, takich jak aplikacje i witryny, które wykorzystują głębokie uczenie do wyświetlania reklam lub polecania utworów. Komputery obsługujące te usługi same się zaprogramowały i zrobiły to w sposób, którego nie jesteśmy w stanie zrozumieć. Nawet inżynierowie, którzy tworzą te aplikacje, nie mogą w pełni wyjaśnić ich zachowania.

Rodzi to zadziwiające pytania. Wraz z rozwojem technologii możemy wkrótce przekroczyć pewien próg, poza którym korzystanie ze sztucznej inteligencji wymaga skoku wiary. Jasne, my, ludzie, również nie zawsze potrafimy naprawdę wyjaśnić nasze procesy myślowe — ale znajdujemy sposoby, by intuicyjnie ufać ludziom i oceniać ich. Czy będzie to również możliwe w przypadku maszyn, które myślą i podejmują decyzje inaczej niż człowiek? Nigdy wcześniej nie budowaliśmy maszyn, które działają w sposób, którego ich twórcy nie rozumieją. Jak dobrze możemy oczekiwać, że będziemy się komunikować — i dogadywać z — inteligentnymi maszynami, które mogą być nieprzewidywalne i nieprzewidywalne? Te pytania zabrały mnie w podróż do krwawej krawędzi badań nad algorytmami sztucznej inteligencji, od Google do Apple i wielu innych miejsc, w tym na spotkanie z jednym z wielkich filozofów naszych czasów.

Artysta Adam Ferriss stworzył ten obraz i ten poniżej, używając Google Deep Dream, programu, który dostosowuje obraz, aby stymulować możliwości rozpoznawania wzorców głębokiej sieci neuronowej. Zdjęcia zostały wykonane przy użyciu średniej warstwy sieci neuronowej. Adam Ferriss

W 2015 roku grupa badawcza w szpitalu Mount Sinai w Nowym Jorku została zainspirowana do zastosowania uczenia głębokiego w rozległej bazie danych pacjentów. Ten zestaw danych zawiera setki zmiennych dotyczących pacjentów, pochodzących z ich wyników badań, wizyt lekarskich i tak dalej. Powstały program, który naukowcy nazwali Deep Patient, został przeszkolony przy użyciu danych od około 700 000 osób, a po przetestowaniu na nowych rekordach okazał się niewiarygodnie dobry w przewidywaniu chorób. Bez żadnej fachowej instrukcji Deep Patient odkrył wzorce ukryte w danych szpitalnych, które zdawały się wskazywać, kiedy ludzie byli na drodze do szerokiego zakresu dolegliwości, w tym raka wątroby. Istnieje wiele metod, które są całkiem dobre w przewidywaniu choroby na podstawie dokumentacji pacjenta, mówi Joel Dudley, który kieruje zespołem Mount Sinai. Ale, dodaje, to było o wiele lepsze.

Możemy zbudować te modele, ale nie wiemy, jak one działają.

Jednocześnie Deep Patient jest nieco zagadkowy. Wydaje się zaskakująco dobrze przewidywać wystąpienie zaburzeń psychicznych, takich jak schizofrenia. Ale ponieważ schizofrenia jest notorycznie trudna do przewidzenia przez lekarzy, Dudley zastanawiał się, jak to było możliwe. Wciąż nie wie. Nowe narzędzie nie daje żadnych wskazówek, jak to robi. Jeśli coś takiego jak Deep Patient rzeczywiście ma pomóc lekarzom, idealnie da im uzasadnienie do przewidywania, zapewni ich, że jest to trafne i uzasadni, powiedzmy, zmianę przepisanych leków. Możemy zbudować te modele, mówi z żalem Dudley, ale nie wiemy, jak one działają.

Sztuczna inteligencja nie zawsze tak wyglądała. Od samego początku istniały dwie szkoły myślenia dotyczące tego, jak zrozumiała lub wytłumaczalna powinna być sztuczna inteligencja. Wielu uważało, że najbardziej sensowne jest budowanie maszyn, które rozumują zgodnie z regułami i logiką, czyniąc ich wewnętrzne działanie przejrzystym dla każdego, kto chciałby zbadać jakiś kod. Inni uważali, że inteligencja pojawiłaby się łatwiej, gdyby maszyny czerpały inspirację z biologii i uczyły się poprzez obserwację i doświadczanie. Oznaczało to postawienie programowania komputerowego na głowie. Zamiast programisty piszącego polecenia rozwiązania problemu, program generuje własny algorytm na podstawie przykładowych danych i pożądanego wyniku. Techniki uczenia maszynowego, które później przekształciły się w najpotężniejsze dzisiejsze systemy sztucznej inteligencji, podążały tą drugą ścieżką: maszyna zasadniczo sama się programuje.

Początkowo podejście to miało ograniczone zastosowanie praktyczne, a w latach 60. i 70. pozostawało w dużej mierze ograniczone do obrzeży pola. Następnie komputeryzacja wielu branż i pojawienie się dużych zbiorów danych ożywiło zainteresowanie. To zainspirowało rozwój potężniejszych technik uczenia maszynowego, zwłaszcza nowych wersji jednej znanej jako sztuczna sieć neuronowa. W latach 90. sieci neuronowe mogły automatycznie digitalizować odręczne znaki .

Ale dopiero na początku tej dekady, po kilku sprytnych poprawkach i udoskonaleniach, bardzo duże – lub głębokie – sieci neuronowe wykazały dramatyczną poprawę w automatycznej percepcji. Głębokie uczenie jest odpowiedzialne za dzisiejszą eksplozję sztucznej inteligencji. Dała komputerom niezwykłe możliwości, takie jak zdolność rozpoznawania wypowiadanych słów prawie tak dobrze, jak człowiek, umiejętność zbyt złożoną, aby ręcznie zakodować ją w maszynie. Głębokie uczenie zmieniło wizję komputerową i radykalnie poprawiło tłumaczenie maszynowe. Jest teraz używany do kierowania wszelkiego rodzaju kluczowymi decyzjami w medycynie, finansach, produkcji — i nie tylko.

Adam Ferriss

Działanie każdej technologii uczenia maszynowego jest z natury bardziej nieprzejrzyste, nawet dla informatyków, niż ręcznie zakodowany system. Nie oznacza to, że wszystkie przyszłe techniki sztucznej inteligencji będą równie niepoznawalne. Ale ze swej natury głębokie uczenie jest szczególnie ciemną czarną skrzynką.

Nie możesz po prostu zajrzeć do głębokiej sieci neuronowej, aby zobaczyć, jak to działa. Rozumowanie sieci jest wbudowane w zachowanie tysięcy symulowanych neuronów, ułożonych w dziesiątki, a nawet setki misternie połączonych warstw. Każdy neuron w pierwszej warstwie otrzymuje dane wejściowe, takie jak intensywność piksela na obrazie, a następnie wykonuje obliczenia przed wysłaniem nowego sygnału. Te dane wyjściowe są przesyłane w złożonej sieci do neuronów w następnej warstwie i tak dalej, aż do wytworzenia ogólnego wyniku. Ponadto istnieje proces znany jako propagacja wsteczna, który modyfikuje obliczenia poszczególnych neuronów w taki sposób, aby sieć nauczyła się wytwarzać pożądane dane wyjściowe.

Wiele warstw w głębokiej sieci umożliwia rozpoznawanie rzeczy na różnych poziomach abstrakcji. Na przykład w systemie zaprojektowanym do rozpoznawania psów niższe warstwy rozpoznają proste rzeczy, takie jak kontury lub kolor; wyższe warstwy rozpoznają bardziej złożone rzeczy, takie jak futro lub oczy; a najwyższa warstwa identyfikuje to wszystko jako psa. To samo podejście można z grubsza zastosować do innych danych wejściowych, które prowadzą maszynę do samouczenia się: dźwięków tworzących słowa w mowie, liter i słów tworzących zdania w tekście lub ruchów kierownicy wymaganych do prowadzenia pojazdu.

Może być częścią natury inteligencji, że tylko jej część jest wystawiona na racjonalne wyjaśnienie. Niektóre z nich są po prostu instynktowne.

Wykorzystano pomysłowe strategie, aby spróbować uchwycić, a tym samym wyjaśnić bardziej szczegółowo, co dzieje się w takich systemach. W 2015 roku naukowcy z Google zmodyfikowali algorytm rozpoznawania obrazów oparty na głębokim uczeniu się, aby zamiast wykrywać obiekty na zdjęciach, generował je lub modyfikował. Dzięki efektywnemu działaniu algorytmu w odwrotnej kolejności mogliby odkryć funkcje, których program używa do rozpoznawania, powiedzmy, ptaka lub budynku. ten wynikowe obrazy , wyprodukowany przez projekt znany jako Deep Dream, pokazał groteskowe, podobne do obcych zwierzęta wyłaniające się z chmur i roślin oraz halucynacyjne pagody kwitnące w lasach i pasmach górskich. Obrazy dowiodły, że głębokie uczenie się nie musi być całkowicie nieprzeniknione; ujawnili, że algorytmy skupiają się na znanych cechach wizualnych, takich jak dziób ptaka lub pióra. Ale obrazy wskazywały również na to, jak bardzo różni się głębokie uczenie od ludzkiej percepcji, ponieważ może zrobić coś z artefaktu, o którym wiemy, że należy ignorować. Badacze Google zauważyli, że kiedy jego algorytm generował obrazy hantli, generował również trzymające ją ludzkie ramię. Maszyna doszła do wniosku, że częścią tego jest ramię.

Dalszy postęp osiągnięto dzięki pomysłom zapożyczonym z neuronauki i kognitywistyki. Zespół kierowany przez Jeffa Clune'a, adiunkta na Uniwersytecie Wyoming, zastosował odpowiednik sztucznej inteligencji iluzji optycznych do testowania głębokich sieci neuronowych. W 2015 roku grupa Clune'a pokazała, jak niektóre obrazy mogą oszukać taką sieć, aby dostrzegła rzeczy, których tam nie ma, ponieważ obrazy wykorzystują wzorce niskiego poziomu, których szuka system. Jeden ze współpracowników Clune, Jason Yosinski, również zbudował narzędzie, które działa jak sonda wbita w mózg. Jego narzędzie atakuje dowolny neuron w środku sieci i wyszukuje obraz, który najbardziej go aktywuje. Pojawiające się obrazy są abstrakcyjne (wyobraźcie sobie impresjonistyczne ujęcie flaminga lub szkolnego autobusu), podkreślając tajemniczość percepcyjnych zdolności maszyny.

Ta wczesna sztuczna sieć neuronowa w Cornell Aeronautical Laboratory w Buffalo w stanie Nowy Jork około 1960 roku przetwarzała sygnały wejściowe z czujników światła.

Ferriss został zainspirowany do uruchomienia sztucznej sieci neuronowej Cornella przez Deep Dream, tworząc obrazy powyżej i poniżej. Adam Ferriss

Potrzebujemy jednak czegoś więcej niż tylko przebłysk myślenia AI i nie ma łatwego rozwiązania. To wzajemne oddziaływanie obliczeń w głębokiej sieci neuronowej ma kluczowe znaczenie dla rozpoznawania wzorców wyższego poziomu i podejmowania złożonych decyzji, ale te obliczenia to grzęzawisko funkcji i zmiennych matematycznych. Gdybyś miał bardzo małą sieć neuronową, mógłbyś ją zrozumieć, mówi Jaakkola. Ale kiedy staje się bardzo duży i ma tysiące jednostek na warstwę, a może setki warstw, staje się całkiem niezrozumiały.

W gabinecie obok Jaakkoli jest Regina Barzilay, profesor MIT, która jest zdeterminowana, aby zastosować uczenie maszynowe w medycynie. Kilka lat temu, w wieku 43 lat, zdiagnozowano u niej raka piersi. Diagnoza sama w sobie była szokująca, ale Barzilay był również przerażony, że najnowocześniejsze metody statystyczne i metody uczenia maszynowego nie były wykorzystywane do pomocy w badaniach onkologicznych ani do kierowania leczenie pacjenta. Mówi, że sztuczna inteligencja ma ogromny potencjał, by zrewolucjonizować medycynę, ale uświadomienie sobie tego potencjału będzie oznaczać wyjście poza tylko dokumentację medyczną. Wyobraża sobie wykorzystanie większej ilości surowych danych, które, jak twierdzi, są obecnie w niewystarczającym stopniu wykorzystywane: dane obrazowe, dane patologiczne, wszystkie te informacje.

Jak dobrze możemy dogadać się z maszynami, które są nieprzewidywalne i nieprzeniknione?

Po tym, jak w zeszłym roku zakończyła leczenie raka, Barzilay i jej studenci rozpoczęli współpracę z lekarzami z Massachusetts General Hospital, aby opracować system umożliwiający eksplorację raportów patologicznych w celu identyfikacji pacjentów o określonych cechach klinicznych, które naukowcy mogą chcieć zbadać. Barzilay zrozumiał jednak, że system będzie musiał wyjaśnić swoje rozumowanie. Wspólnie z Jaakkolą i uczniem dodała więc krok: system wyodrębnia i podświetla fragmenty tekstu, które są reprezentatywne dla wykrytego wzorca. Barzilay i jej uczniowie opracowują również algorytm głębokiego uczenia się, który jest w stanie znaleźć wczesne oznaki raka piersi na obrazach mammograficznych i mają na celu umożliwienie temu systemowi wyjaśnienia jego rozumowania. Naprawdę potrzebna jest pętla, w której maszyna i człowiek współpracują ze sobą – mówi Barzilay.

Wojsko USA inwestuje miliardy w projekty, które będą wykorzystywać uczenie maszynowe do pilotowania pojazdów i samolotów, identyfikowania celów i pomagania analitykom w przeszukiwaniu ogromnych stosów danych wywiadowczych. Tutaj, bardziej niż gdziekolwiek indziej, nawet bardziej niż w medycynie, jest mało miejsca na tajemnicę algorytmiczną, a Departament Obrony zidentyfikował możliwość wyjaśnienia jako kluczową przeszkodę.

David Gunning, kierownik programu w Agencji Zaawansowanych Projektów Badawczych Obrony, nadzoruje trafnie nazwany program Sztucznej Inteligencji, którą można wyjaśnić. Siwowłosy weteran agencji, który wcześniej nadzorował projekt DARPA, który ostatecznie doprowadził do powstania Siri, mówi, że automatyzacja wkrada się do niezliczonych obszarów wojskowych. Analitycy wywiadu testują uczenie maszynowe jako sposób na identyfikację wzorców w ogromnych ilościach danych z monitoringu. Wiele autonomicznych pojazdów naziemnych i samolotów jest opracowywanych i testowanych. Ale żołnierze prawdopodobnie nie będą czuli się komfortowo w czołgu-robocie, który im się nie tłumaczy, a analitycy niechętnie będą działać na podstawie informacji bez żadnego uzasadnienia. Często z natury tych systemów uczących się maszyn wynika, że ​​generują wiele fałszywych alarmów, więc analityk wywiadu naprawdę potrzebuje dodatkowej pomocy, aby zrozumieć, dlaczego wydano zalecenie, mówi Gunning.

W marcu tego roku DARPA wybrała 13 projektów ze środowisk akademickich i przemysłowych do finansowania w ramach programu Gunninga. Niektóre z nich mogłyby opierać się na pracach kierowanych przez Carlosa Guestrina, profesora Uniwersytetu Waszyngtońskiego. On i jego koledzy opracowali sposób na systemy uczenia maszynowego, aby zapewnić uzasadnienie ich wyników. Zasadniczo, w ramach tej metody komputer automatycznie znajduje kilka przykładów ze zbioru danych i podaje je w krótkim wyjaśnieniu. Na przykład system zaprojektowany do klasyfikowania wiadomości e-mail jako pochodzących od terrorysty może wykorzystywać wiele milionów wiadomości podczas szkolenia i podejmowania decyzji. Ale stosując podejście zespołu z Waszyngtonu, może wyróżnić określone słowa kluczowe znalezione w wiadomości. Grupa Guestrina opracowała również sposoby dla systemów rozpoznawania obrazu, które wskazują na ich rozumowanie, podkreślając części obrazu, które były najbardziej znaczące.

Adam Ferriss

Jedną z wad tego podejścia i podobnych, takich jak Barzilay, jest to, że dostarczane wyjaśnienia zawsze będą uproszczone, co oznacza, że ​​niektóre ważne informacje mogą zostać po drodze utracone. Nie osiągnęliśmy całego marzenia, w którym sztuczna inteligencja rozmawia z tobą i jest w stanie to wyjaśnić, mówi Guestrin. Daleko nam jeszcze do posiadania prawdziwie interpretowalnej sztucznej inteligencji.

Nie musi to być sytuacja wysokiej stawki, jak diagnoza raka lub manewry wojskowe, aby stało się to problemem. Znajomość rozumowania AI będzie również kluczowa, jeśli technologia ma stać się powszechną i użyteczną częścią naszego codziennego życia. Tom Gruber, który kieruje zespołem Siri w Apple, mówi, że wyjaśnianie jest kluczową kwestią dla jego zespołu, ponieważ stara się, aby Siri była mądrzejszą i bardziej kompetentną wirtualną asystentką. Gruber nie omawiałby konkretnych planów na przyszłość Siri, ale łatwo sobie wyobrazić, że jeśli otrzymasz rekomendację restauracji od Siri, będziesz chciał wiedzieć, jakie było to rozumowanie. Ruslan Salakhutdinov, dyrektor ds. badań nad sztuczną inteligencją w Apple i profesor nadzwyczajny na Uniwersytecie Carnegie Mellon, postrzega wyjaśnialność jako rdzeń ewoluującej relacji między ludźmi a inteligentnymi maszynami. To wprowadzi zaufanie, mówi.

Powiązana historia

Czytaj dalej Maszyny, które naprawdę rozumieją język, byłyby niezwykle przydatne. Ale nie wiemy, jak je zbudować.

Tak jak wiele aspektów ludzkiego zachowania jest niemożliwych do szczegółowego wyjaśnienia, być może sztuczna inteligencja nie będzie w stanie wyjaśnić wszystkiego, co robi. Nawet jeśli ktoś może dać ci rozsądnie brzmiące wyjaśnienie [swoje działania], prawdopodobnie jest ono niekompletne i to samo może równie dobrze dotyczyć sztucznej inteligencji, mówi Clune z University of Wyoming. Może to być po prostu częścią natury inteligencji, że tylko jej część jest wystawiona na racjonalne wyjaśnienie. Niektóre z nich są po prostu instynktowne, podświadome lub nieodgadnione.

Jeśli tak jest, to na pewnym etapie być może będziemy musieli po prostu zaufać osądowi sztucznej inteligencji lub obejść się bez jej użycia. Podobnie ten osąd będzie musiał uwzględniać inteligencję społeczną. Tak jak społeczeństwo jest zbudowane na umowie oczekiwanego zachowania, będziemy musieli zaprojektować systemy sztucznej inteligencji w taki sposób, aby szanowały i pasowały do ​​naszych norm społecznych. Jeśli mamy tworzyć roboty-zbiorniki i inne maszyny do zabijania, ważne jest, aby podejmowanie przez nie decyzji było zgodne z naszymi osądami etycznymi.

Aby zbadać te metafizyczne koncepcje, udałem się na Uniwersytet Tufts, aby spotkać się z Danielem Dennettem, znanym filozofem i naukowcem kognitywnym, który bada świadomość i umysł. Rozdział najnowszej książki Dennetta, Od bakterii do Bacha iz powrotem , encyklopedyczny traktat o świadomości, sugeruje, że naturalną częścią samej ewolucji inteligencji jest tworzenie systemów zdolnych do wykonywania zadań, których ich twórcy nie potrafią wykonać. Pytanie brzmi, jakie udogodnienia musimy zrobić, aby robić to mądrze – jakich standardów wymagamy od nich i od siebie? mówi mi w swoim zagraconym biurze na idyllicznym kampusie uniwersyteckim.

Ma też słowo ostrzeżenia dotyczące poszukiwania wyjaśnień. Myślę, że jeśli zamierzamy używać tych rzeczy i polegać na nich, to jak najmocniej uchwyćmy, jak i dlaczego udzielają nam odpowiedzi, jak to możliwe, mówi. Ale ponieważ może nie być doskonałej odpowiedzi, powinniśmy być tak samo ostrożni w przypadku wyjaśnień AI, jak my nawzajem – bez względu na to, jak sprytna wydaje się maszyna. Jeśli nie potrafi lepiej niż my wyjaśniać, co robi, mówi, to nie ufaj mu.

ukryć