211service.com
Maniak
Chris Schmandt ’73, SM ’80 spędził cztery dekady bawiąc się w Media Lab, wymyślając interaktywne interfejsy mowy dla komputerów i pierwszy system nawigacji samochodowej, który wskazywał kierowcom, gdzie mają się udać. 24 kwietnia 2019 r.
Zdjęcie Christophera Shcmandta Jake Belcher
Kiedy Chris Schmandt studiował na MIT w 1977 roku, zobaczył ogłoszenie o pracy w kampusie zajmującej się programowaniem grafiki w PL/I. Zapłacił tyle samo, co jego występ w stołówce, w którym robił burgery, nauczył się języka programowania PL/I jako kierunek informatyka i inżynieria, i spodobał mu się pomysł pracy, która na końcu nie wymaga brania prysznica. każdej zmiany. Poszedł więc do pracy dla Nicholas Negroponte’s Architecture Machine Group (AMG), prekursora MIT Media Lab.
Zadanie polegało na zaprogramowaniu bufora ramki Model 85, który był jednym z pierwszych systemów grafiki komputerowej, który mógł renderować ramkę z kolorowych pikseli, umożliwiając maszynie wyświetlanie tekstu, grafiki, diagramów, a nawet kolorowych zdjęć. Ale najpierw ktoś musiał napisać mikrokod niskiego poziomu dla kontrolera bufora ramki. Ktoś też musiał zaopatrzyć się w czcionki i je zakodować. Tą osobą był Schmandt. Zacząłem malować piksele na ekranie i wciągnęło mnie, mówi.
Ta praca miała ogromne konsekwencje, nie tylko dla Schmandta, ale dla nas wszystkich: jego praca ostatecznie doprowadziła do rozwoju nowoczesnych systemów nawigacji, takich jak Garmin GPS i Google Maps, a także interfejsów głosowych, których ludzie coraz częściej używają do interakcji z komputerami .
Notatnik audio, opracowany przez laboratorium Schmandta około 1997 roku, łączył notatki papierowe z jakiegoś wydarzenia z cyfrowym nagraniem audio. Dzięki uprzejmości MIT Media Lab
Pamiętam bardzo wyraźnie, jak Nicholas mówił wszystkim, że pewnego dnia każdy komputer będzie miał wbudowany jeden z nich, powiedział Schmandt o buforze ramki podczas uroczystości przejścia na emeryturę w grudniu 2018 roku. To było prorocze, ale nie powiedział, że każdy telefon będzie miał jeden!
Okrężna droga do laboratorium
Przełomowa praca Schmandta w zakresie integracji mowy i przetwarzania danych prawie się nie odbyła. Rozpoczął pracę w MIT w 1969 roku, a gdyby ukończył klasę wstępną w 1973 roku, mógłby nigdy nie napotkać bufora ramki. Ale w 1971 roku ogłosił, że ukończył studia urbanistyczne, zakochał się w lingwistyce i prawie ukończył studia humanistyczne… i prowadził badania meteorologiczne w ramach programu MIT Undergraduate Research Opportunities Program (UROP). Zdecydowałem, że nie wiem, co robię, mówi.
Wycofał się więc ze szkoły, aby to rozgryźć, i zamienił swój UROP na pełnoetatową pracę w dziale meteorologii, transportując karty dziurkowane do centrum komputerowego wózkiem na zakupy. Wkrótce nauczył się wystarczająco dużo o programowaniu, aby poprawiać literówki na kartach, co pozwoliło mu uniknąć powtórnego przeskakiwania przez kampus, aby jego szef mógł je naprawić. Ale Schmandt wkrótce poczuł żądzę wędrówki i wyruszył w pięcioletnią podróż. Podróżował — głównie autostopem — z Londynu do Hiszpanii, Maroka, Algierii, Nigru, Kamerunu, Zairu, Ugandy i Kenii, gdzie został zbesztany przez gliniarzy za to, że nie mówił w języku suahili, i wspiął się na 19 000 stóp po grzbiecie prowadzącym do szczyt Everestu. Nigdy nie widziałeś czegoś podobnego – ogromne, ośnieżone szczyty wokół ciebie, spoglądające w dół na trzy lodowce, mówi. A nocą lodowce śpiewają i jęczą, powoli tłukąc w dolinach.
Podróżując po Indiach, znanym jako Hippie Trail, spotkał brytyjskich i australijskich programistów, którzy przekonali go, że programowanie to dobre źródło utrzymania, z którego można korzystać wszędzie. Tak więc w 1977 wrócił do MIT i ponownie zapisał się na kierunek elektrotechnika i informatyka.
Praca nad buforem ramki przekonała Schmandta, że była to dobra decyzja. Bufor ramki był jednym z pierwszych komputerowych systemów graficznych, które nie migały, gdy obraz na ekranie stał się bardziej złożony – co udało się osiągnąć poprzez buforowanie lub przechowywanie całego ekranu w dedykowanej pamięci. Z 400 rzędami po 512 pikseli każdy bufor ramki wymagał ponad 200 000 bajtów pamięci o dostępie swobodnym, co w tamtych czasach było fantastycznie drogie. Tak więc Schmandt musiał napisać program do uruchomienia Modelu 85, który zmieściłby się w ograniczonej dostępnej pamięci.
To był naprawdę geekowy materiał, nawet jak na AMG, wspomina Schmandt. Aby go oszukać, jeden z jego kolegów z laboratorium w końcu zhakował laboratoryjny syntezator, programując go tak, aby wyprodukował krótką muzyczną fanfarę i powiedział Geek! kiedy Schmandt się zalogował. Radośnie przyjął swój nowy pseudonim.
Laboratorium Negroponte tworzyło środowisko komputerowe zwane Systemem Zarządzania Danymi Przestrzennymi (SDMS), które pozwalało osobie używać spojrzenia, gestów i głosu do interakcji z bazą danych zawierającą tekst, zdjęcia, mapy, a nawet wideo. Mieszczący się w Departamencie Architektury i solidnie wspierany przez amerykańską Agencję Zaawansowanych Projektów Badawczych Obrony (DARPA) i sponsorów korporacyjnych, AMG był przepełniony sprzętem, pomysłami i pieniędzmi. Kiedy więc Schmandt ukończył studia licencjackie w 1979 roku, został, aby uzyskać tytuł magistra architektury w 1980 roku.
Laboratorium miało mnóstwo naprawdę fajnych rzeczy dzięki projektowi SDMS i wsparciu DARPA, mówi. Rozpoznawanie głosu NEC DP-100 kosztowało 100 000 USD. Nikt nie wiedział, ile kosztuje zawór świetlny — był to pierwszy system projekcji wideo. Mogłem siedzieć i bawić się sprzętem wartym milion dolarów.
W demo Put That There z 1980 roku Schmandt steruje komputerem za pomocą głosu i gestów. Dzięki uprzejmości MIT Media Lab
Umieść to tam
Krzywa uczenia się wymagana do opanowania każdego elementu sprzętu w AMG była stroma, więc Negroponte przypisał każdemu urządzeniu matkę, która byłaby odpowiedzialna za napisanie oprogramowania lub zbudowanie sprzętu, aby pomóc mu stać się czymś użytecznym. W swojej pracy magisterskiej Schmandt zaadoptował małe pudełko, które po przypięciu do nadgarstka wskazywało interaktywnemu komputerowi laboratorium, gdzie był i gdzie wskazywał nadgarstek. Znane jako urządzenie sześciu stopni swobody, zostało opracowane do montowania na hełmach pilotów śmigłowców, którzy używali ich w symulatorach do treningu i nad polem bitwy do celowania; dziś tanie wersje są dostępne w wielu zestawach słuchawkowych rzeczywistości wirtualnej.
Eric Hulteen ’80, SM ’82 otrzymał zadanie opracowania oprogramowania dla rozpoznawania głosu NEC. Pracując razem, Schmandt i Hulteen stworzyli Umieść to tam , system rysowania sterowany głosem i gestami, który po raz pierwszy zaprezentowali w 1979 roku.
Aby uruchomić Put That There, musiałbyś usiąść w skórzanym fotelu Eames w dźwiękoszczelnym laboratorium pokój medialny i skieruj rękę na ekran do tylnej projekcji wielkości ściany, który został oświetlony przez zawór światła, projektor po drugiej stronie ściany. Po skonfigurowaniu czujnika i mikrofonów możesz powiedzieć Umieść żółte kółko tam , a komputer będzie posłuszny. Jeśli nie określisz, gdzie ma iść koło, komputer zapyta Gdzie? i czekaj, aż wskażesz i powiesz Tam! Schmandt mówi, że był to jeden z dwóch pierwszych systemów konwersacyjnych, jakie kiedykolwiek napisano.
W 1980 roku Schmandt i Hulteen ulepszyli funkcję Put That There: zmienili tło w mapę Karaibów i nauczyli komputer reagować na polecenia, takie jak Stwórz tam zielony frachtowiec i przenieś statek wycieczkowy na północ od Dominikany. To sprawiło, że program stał się jeszcze bardziej popularny wśród sponsorów wojskowych laboratorium, którzy mogli siedzieć w fotelu Eamesa i odgrywać fantazje, takie jak otaczanie Kuby pancernikami i fregatami.
Jerry Wiesner był prezesem MIT, a jego biuro znajdowało się piętro niżej, przypomniał sobie Negroponte podczas kolacji emerytalnej Schmandta. Kiedy wychodził na lunch, przyprowadzał swoich przyjaciół i gości i mówił: „Och, wpadnijmy i zobaczmy Maszynę Architektoniczną”… Nie wiem, ile osób siedziało na tym krześle, ale było ich dużo .
Schmandt nie był zainteresowany doktoratem. (Nie chciałem spędzać dwóch lat na pracy nad projektem, mówi.) Ale badania zatrzymały go w MIT. Dołączył do personelu AMG i wkrótce założył grupę badawczą skupioną na opracowywaniu sposobów interakcji ludzi z komputerami za pomocą mowy. Celem było udostępnienie technologii komputerowej poza środowiskiem biurowym.
Jake Belcher
Kierowca tylnego siedzenia
W 1985 roku AMG przekształciło się w Media Lab. Jako członek założyciel Schmandt przez lata miał wielu uczniów. Ale projekt z jednym z pierwszych, Jimem Davisem ’77, PhD ’89, okazałby się jednym z najbardziej dalekosiężnych. Davis miał również UROP w AMG w latach 70-tych i pracował w kilku firmach, zanim wrócił do Media Lab w 1985 roku. o nazwie Direction Assistance, która może zawierać szczegółową mapę ulic miasta, punkt początkowy i miejsce docelowe oraz dostarczać szczegółowe instrukcje w języku angielskim w celu uzyskania efektywnej trasy. Więc logiczną rzeczą, jaką Davis zrobił w laboratorium, było uruchomienie pomocy kierunkowej w samochodzie i przekazanie wskazówek za pomocą syntetycznego głosu.
W tym czasie GPS był dostępny tylko dla wojska, mówi Davis; cywile mieli dostęp do wersji o zdegradowanej precyzji. Firma NEC, sponsor laboratorium, opracowała samochodowy system nawigacyjny, który zamiast GPS używał martwego liczenia: odnotowywał przebytą odległość i dopasowywał ruchy samochodu do skomputeryzowanej mapy .
Działa tylko z Acura Legend, samochodem z najwyższej półki, mówi Davis. Aby przeprowadzić badania, Media Lab potrzebowało Acura Legend! To był dla nich spory krok naprzód: Schmandt prowadził Datsun 210 kombi, żeby móc przewozić swoje narty, a Davis nie miał nawet samochodu.
NEC zainstalował sprzęt, który wyświetlał mapę z kropką pokazującą położenie samochodu na ekranie wbudowanym w środek deski rozdzielczej. To okropne, wyjaśnia Schmandt. Ponieważ jeśli coś porusza się w twoim peryferyjnym polu widzenia, masz bardzo silny odruch, aby na to spojrzeć — może to być dzikie zwierzę, które zaraz na ciebie rzuci się! Schmandt obawiał się, że ruchomy ekran odwróci uwagę kierowców od patrzenia na drogę. To, że zobaczyłem [mapę NEC], przekonało mnie, że to jest miejsce, w którym nastąpi przemówienie, mówi. I mieliśmy rację – zaledwie 30 lat przed czasem.
Schmandt, tutaj z wczesnym telefonem komórkowym, opracował w kodzie futurystyczny system poczty głosowej o nazwie Telefon niewolnik w 1980. Dzięki uprzejmości MIT Media Lab
System, który zbudowali Schmandt i Davis, wysyłał pozycję samochodu (zgodnie z mapą NEC) przez telefon komórkowy do programu działającego na potężnym komputerze w Media Lab. Program obliczył kolejny wymagany zestaw kierunków ulic, biorąc pod uwagę pozycję kierowcy, prędkość samochodu i czas potrzebny na wypowiedzenie obliczonej wypowiedzi. Te wskazówki były następnie wprowadzane do wczesnego syntezatora mowy o nazwie DECtalk i wysyłane z powrotem do samochodu przez drugi telefon komórkowy. Nierówny zasięg sieci komórkowej spowodował wiele problemów, więc druga wersja systemu przeniosła komputer bezpośrednio do bagażnika. Schmandt i Davis nazwali system Back Seat Driver.
Bardzo się cieszę, że zrobiliśmy Back Seat Driver, mówi. To była słodka aplikacja głosu. Patent, który on i Davis złożyli na ten temat – który, jak mówi, został obficie ściągnięty z rozprawy Davisa – był cytowany przez 523 inne patenty do lutego 2019 r., według US Patent and Trademark Office. Mówi, że przez pewien czas był to najczęściej cytowany patent w portfolio MIT. Jednak nigdy nie zarobili na tym żadnych pieniędzy. Wszystkie patenty, które przytoczyły, dokładają wszelkich starań, aby wyjaśnić, czym się różnią, mówi, wyjaśniając, że w ten sposób rozgrywa się grę patentową.
Nie zawsze wiesz, skąd przyjdą świetne pomysły, mówi Schmandt, dodając, że przez lata nauczył się słuchać uczniów. Moim zadaniem jest pomóc im udoskonalić ich pomysły — dowiedzieć się, która część pomysłu jest dobra. Gdzie jest prawdziwa nowość? Jak możesz to zbudować, jak możesz to wyjaśnić?
Cindy Hsin-Liu Kao, PhD ’18, mówi, że zachęta Schmandt była kluczowa dla jej badań, które obejmowały interfejsy użytkownika, które przyczepiają się do ciała za pomocą materiałów przyjaznych dla skóry. „Dziękuję, że zawsze we mnie wierzyłaś” – powiedziała podczas jego kolacji na emeryturze, w której uczestniczyła wirtualnie, używając podręcznego komputera z wbudowanym rozpoznawaniem mowy, ze szczytu Bazyliki Świętego Piotra w Rzymie. Kiedy myślałem, żeby pójść w bardziej konwencjonalnym kierunku lub odkryć coś naprawdę dziwnego, zawsze mówiłeś, żeby zrobić coś dziwnego. Obecnie Kao jest adiunktem w zakresie projektowania i analizy środowiskowej na Uniwersytecie Cornell. A jej bezprzewodowy przekaz wideo podczas kolacji u Schmandta nie zaskoczył nikogo z obecnych: dzisiaj rzeczywiście każdy ma w kieszeni bufor ramki.