Magiczne pióro Microsoftu

Gdyby Jian Wang miał swój sposób, wszystko byłoby cyfrowe.

Nienawidzę drukarek — zamieniają cyfrowe rzeczy w analogowe, żartuje, brodząc w morzu boksów w Microsoft Research Asia w Pekinie w Chinach. Czterdziestoletni i chudy informatyk specjalizuje się w wymyślaniu nowych interfejsów komputerowych, aby wypełnić lukę między analogiem a cyfrowym. Jego własny interfejs to szeroki uśmiech, który uzupełnia jego dżinsową koszulę i swobodny sposób bycia.

Ta historia była częścią naszego wydania z maja 2004 r.

• Zobacz resztę numeru
• Subskrybuj

Zatrzymując się przy biurku, Wang podnosi prostokątny, srebrzysty długopis wielkości magicznego markera i nanosi kilka poprawek na papierowym dokumencie. Ale to nie jest zwykły długopis. Kilka sekund później jego komentarze pojawiają się na pobliskim ekranie komputera – nałożone na elektroniczną wersję dokumentu dokładnie w miejscu, w którym napisał na papierze. Pióro Wanga rejestruje pismo odręczne i umożliwia użytkownikom wprowadzanie zmian w plikach cyfrowych na papierze.

To uniwersalne pióro, jak nazywa je Wang, może zmienić sposób, w jaki ludzie wchodzą w interakcję z komputerami. W przeciwieństwie do gadżetów piszących na monitorach komputerowych lub specjalnych blokach papieru, wynalazek Wanga wykorzystuje zwykły atrament, współpracuje ze zwykłym papierem i pozwala użytkownikom łączyć odręczny tekst i diagramy z treściami cyfrowymi z raportów, czasopism i stron internetowych. Na przykład dyrektor w podróży samolotem może zaznaczyć papierową kopię raportu, a później automatycznie przenieść zmiany do pliku na swoim komputerze.

Cyfrowe pióro Wanga odzwierciedla również trwającą transformację procesu wynalazczego w niektórych dużych laboratoriach korporacyjnych, hybrydyzację samotnego wynalazcy i tradycyjnego korporacyjnego R&D. Wang jest głównym wynalazcą pióra i to jego wnikliwość, odwaga i kreatywność w dużej mierze przyczyniły się do jego opracowania. Ale jednocześnie nie mógłby poczynić tak szybkiego postępu bez zbiorowej wiedzy Microsoftu w zakresie algorytmów rozpoznawania wzorców, wizji komputerowej, technologii pisma ręcznego i oprogramowania do edycji tekstu. Osobiście jestem bardzo podekscytowany, mówi Rick Rashid, starszy wiceprezes Microsoft Research, którego główna siedziba znajduje się w Redmond w stanie Waszyngton. Jest to przykład nowego rodzaju inkubacji produktów, który robimy… taki, który łączy ludzi o wielu różnych umiejętnościach w celu rozwiązania unikalnego problemu.

Połączenia z Microsoft

Himalajskie stosy papierów wypełniają biuro Wanga, pomimo jego głoszonej niechęci do wydruków. Wśród tych wspomnień o analogowym świecie wynalazca opisuje początki projektu pióra. Jako profesor psychologii inżynierskiej na Uniwersytecie Zhejiang w Hangzhou w Chinach, Wang zasłynął w dziedzinie interfejsów człowiek-komputer i systemów rzeczywistości wirtualnej. Następnie, w 1998 roku, u szczytu kariery akademickiej, otrzymał zagadkową wiadomość e-mail od Kai-Fu Lee, znanego badacza, który właśnie otwierał pekińskie laboratorium Microsoftu. Lee zaproponował spotkanie, ale był zbyt zajęty, by wyjaśnić dlaczego. Nie wiem, skąd wziął moje imię, śmieje się Wang i nie wyjaśnił, kim jest.

Czując się na siłach, Wang i tak poszedł. Szybko odkrył, że on i Lee podzielali ambicję stworzenia interfejsu użytkownika dla komputerów opartego na piśmie odręcznym. Projekt pióra został częściowo zainspirowany pragnieniem Wanga, aby umożliwić komputerom mobilnym obsługę odręcznych języków azjatyckich. Jednak ze swoich akademickich badań nad interfejsami 3D dowiedział się, że jeśli technologia nie zostanie zaprojektowana tak, aby była praktyczna i atrakcyjna dla różnych użytkowników, nie zostanie powszechnie przyjęta. Chcieliśmy dokonać przełomu, a nie ulepszeń, mówi, dodając, że w Microsoft znalazł idealnego partnera. Zdałem sobie sprawę, że jest to odpowiednie miejsce, jeśli chcesz, aby twój wynalazek był używany przez miliony ludzi, a nie tylko parę. Z tą motywacją Wang opuścił Uniwersytet Zhejiang i dołączył do laboratorium w Pekinie jesienią 1999 roku.

Natychmiast Wang, Lee i podstawowa grupa badaczy rozpoczęli codzienne sesje burzy mózgów, aby doprecyzować sesje celów projektu, które ostatecznie obejmowały ich najwyższego szefa. Kiedy rozmawialiśmy z Billem [Gates] o tej technologii, mówi Wang, zdaliśmy sobie sprawę, że wymyślamy nowy rodzaj dokumentu, a nie tylko długopis. Kluczowym pomysłem, który pasuje do działalności Microsoftu polegającej na zwiększaniu użyteczności komputerów biurowych, było to, że dokument może być przechowywany w formie cyfrowej, nawet po wydrukowaniu – przy użyciu odpowiedniego rodzaju interfejsu pióra i oprogramowania.

Sprawienie, że to zadziałało, zajęło prawie cztery lata. Microsoft nie tylko trzymał się Wanga, ale także pozwolił mu zbudować zespół około 20 badaczy, dając mu dostęp do umiejętności programowania i sprzętu potrzebnego do zaprojektowania pióra. Po kilku fałszywych startach — w tym nieporęcznej wersji, która wywnioskowała, co pisze użytkownik z ruchów pióra — zespół Wanga wykorzystał postęp w algorytmach komputerowego widzenia i oparł wykrywanie pióra na prostym aparacie cyfrowym.

Pierwszym wyzwaniem naukowców było znalezienie sposobu na określenie pozycji pióra na stronie. Ich rozwiązanie obejmuje specjalne oprogramowanie, które umieszcza ledwo widoczny wzór tła, taki jak znak wodny, na standardowym papierze do kopiowania podczas drukowania dokumentu (patrz wkładanie pióra do… komputera poniżej). Pozwala to komputerowi nie tylko określić, gdzie dokładnie znajduje się pióro w stosunku do dokumentu, ale także, który dokument jest modyfikowany, ponieważ każda strona ma unikalny kod. Czujnik nacisku w piórze uruchamia maleńki wbudowany aparat, który robi zdjęcia pisania użytkownika. Obrazy są przechowywane w piórze na chipie pamięci, takim jak te znajdujące się w aparatach cyfrowych; po zbliżeniu się do komputera stacjonarnego lub laptopa z zainstalowanym odpowiednim oprogramowaniem na odległość kilku metrów, pióro przesyła obrazy bezprzewodowo za pomocą połączenia Bluetooth.

Wkładanie pióra do… komputera

Długopis zawiera aparat cyfrowy, czujnik ciśnienia, radio Bluetooth i układ pamięci. Gdy użytkownik pisze na papierze, aparat robi małe obrazy atramentu.
Papier ma wzór tła, taki jak znak wodny, który jest drukowany wraz z dokumentem. Komputer używa tego kodu, aby dowiedzieć się, gdzie dokładnie znajduje się atrament na stronie.
Komputer odbiera sekwencję obrazów bezprzewodowo i rekonstruuje pismo odręczne we właściwym miejscu w cyfrowym pliku dokumentu. Dzięki specjalnemu oprogramowaniu do edycji użytkownik może manipulować i formatować pismo odręczne.

Interpretacja tych obrazów i włączenie ich do plików cyfrowych okazało się trudniejszym problemem. Sztuczka, wyjaśnia Wang, polega na tym, aby komputer rozpoznawał różne rodzaje pisma i rysunków — aby wiedzieć, co to jest pudełko, co to zdanie, a co to doodle — tylko z serii zdjęć. Po pierwsze, komputerowe algorytmy wizyjne klasyfikują sekwencje znaków jako słowa, diagramy lub kształty, którymi można manipulować. Następnie oprogramowanie do rozpoznawania znaków — przedmiot wieloletnich intensywnych badań w firmie Microsoft i innych miejscach — nadaje sens odręcznemu tekstowi. Na ekranie komputera znaki użytkownika są wyświetlane jako pismo odręczne osadzone w dokumencie. Narzędzia programowe mogą następnie konwertować pismo na tekst maszynowy i renderowaną grafikę; za pomocą tych narzędzi użytkownik może manipulować, powiedzmy, ramkami i tekstem z ręcznie rysowanego schematu blokowego.

Oprócz umożliwienia użytkownikom importowania i manipulowania odręcznym tekstem, tabelami i wykresami, mówi Wang, pióro umożliwi wielu współpracownikom komentowanie oddzielnych wydruków dokumentu; komputer mógłby następnie zintegrować je wszystkie w tym samym pliku. Rezultatem końcowym, mówi Wang, będzie interfejs podobny do przenośnego skanera, ale wystarczająco inteligentny, aby zrozumieć uchwycone obrazy i spełnić marzenie wynalazcy o zamianie stosów papieru analogowego z powrotem w pliki cyfrowe.

Wszechobecne długopisy

Z dala od laboratorium, przy posiłku składającym się z szanghajskiej zupy z klopsikami i gotowanej na parze ryby, Wang wyjaśnia, jak kultura laboratorium promuje wynalazki. Oprócz dzielenia się ciężką pracą i twardą mentalnością, mówi, członkowie laboratorium i liderzy są doświadczonymi naukowcami, którzy rozumieją, że przełom wymaga czasu. Nie zawsze musisz się udowadniać w ciągu miesiąca, a nawet roku, mówi Wang. Dzięki temu naukowcy mają swobodę wypróbowywania różnych podejść – ważnych w przypadku ambitnych projektów, takich jak wymyślanie na nowo pióra.

Microsoft Research Asia to duże laboratorium korporacyjne, zatrudniające 150 pełnoetatowych badaczy, ale ma zaskakująco mało biurokracji, mówi Wang. Brak specjalnych procedur zatwierdzania. Żadnych ciężkich mandatów z góry. Firma stara się pielęgnować inwencję, dając swoim inżynierom swobodę odkrywania interesujących ścieżek długoterminowych badań, jednocześnie koncentrując się na wynikach krótkoterminowych, wyznaczając kamienie milowe i przeprowadzając przeglądy projektów kilka razy w roku. To sprawia, że ​​bardziej przypomina to środowisko akademickie, mówi Wang. Publikujemy artykuły, jeździmy na konferencje i gościmy wielu profesorów wizytujących. To otwarte środowisko.

Obserwatorzy twierdzą, że ta otwartość jest niezbędna dla produktywności laboratorium, zwłaszcza w kraju o ograniczonej historii badań korporacyjnych. Odniosły sukces dzięki swoim powiązaniom ze środowiskiem akademickim, mówi Shiqiang Yang, wiceprzewodniczący Wydziału Informatyki i Technologii na Uniwersytecie Tsinghua, jednej z wiodących uczelni inżynieryjnych w Pekinie. Swobodna wymiana pomysłów ze studentami i profesorami wzmocniła pozycję laboratorium w społeczności akademickiej, a to pomaga w rekrutacji najlepszych chińskich studentów i informatyków.

Bliskie więzy przynoszą efekty: ponad 70 technologii opracowanych w pekińskim laboratorium znalazło drogę do produktów firmy Microsoft w takich dziedzinach, jak grafika w grach wideo i rozpoznawanie mowy w dyktowaniu. Jeśli chodzi o pióro cyfrowe Wanga, może otworzyć zupełnie nowe rynki dla Microsoftu. Chociaż do komercjalizacji pozostało jeszcze kilka lat, zespół Wanga prowadzi rozmowy z grupami ds. rozwoju produktów firmy w Redmond. Konkretne plany produktów nie zostały jeszcze opracowane, mówi Rashid, ale generuje to wiele ekscytujących pomysłów na to, co może być możliwe.

W rzeczywistości technologie opracowane przez grupę Wanga w trakcie projektu pióra już przynoszą firmie dywidendy. Oprogramowanie, które może rozpoznawać pismo ręczne na ekranie i manipulować nim to funkcja systemu operacyjnego Tablet PC, wydanego przez firmę Microsoft w 2002 roku. Rynek azjatycki może być pierwszym punktem wejścia dla interfejsów takich jak pióro cyfrowe ze względu na zapotrzebowanie na oprogramowanie do rozpoznawania i edycji Znaki azjatyckie, których liczba powoduje, że wprowadzanie ich za pomocą klawiatury jest żmudne.

Z każdym nowym wynalazkiem wiąże się wiele wyzwań związanych z przekształceniem ekscytującego prototypu w rzeczywisty produkt; ale tutaj szkolenie Wanga w zakresie psychologii i czynników ludzkich powinno mu dobrze służyć. Pióro i jego oprogramowanie muszą być łatwiejsze w użyciu, mówi; klienci nie będą tolerować dodatkowej złożoności. Po wypracowaniu pozostałych problemów, wynalazek może jednak stać się wszechobecny ze względu na znajomość i wygodę zwykłych długopisów. Pióro jest tak wszechobecne, tak wyraziste i jeden z najlepszych wynalazków, mówi Wang. Myślę więc, że pióro może być bardzo dobrym urządzeniem komputerowym na przyszłość.

Ostatecznie, mówi Wang, wszystko na twoim biurku – książki, dzienniki, wydruki – będzie miało cyfrowe połączenie z twoim komputerem. Nazywa to zamknięciem pętli między analogiem a cyfrą. A wraz ze wzrostem mocy obliczeniowej i pamięci, urządzenie takie jak pióro Wanga może stać się głównym interfejsem komputerowym używanym przez ludzi w drodze. Wang wyobraża sobie, że użytkownicy mogą nie tylko wprowadzać i przechowywać dane, ale także, za pomocą bezprzewodowego komputera podręcznego, uzyskiwać dostęp do informacji w, powiedzmy, artykule z czasopisma, po prostu podkreślając słowa, które można rozpoznać i wyszukać w sieci.

Jednak mając tak wiele do zrobienia, Wang nie ma czasu do stracenia. Mógłby pracować dla jednej z największych korporacji na świecie, ale wciąż spędza długie, nocne godziny samotnego wynalazcy. Po kolacji, podczas gdy większość Pekinu jest ciemna i cicha, wraca do pracy z zamiarem napisania przyszłości interfejsów człowiek-komputer.

ukryć