211service.com
Jak zdigitalizować milion książek
Piętnaście miesięcy po ogłoszeniu przez Google projektu skanowania książek o biblijnych proporcjach – próby digitalizacji wszystkich księgozbiorów m.in. Biblioteki Publicznej Nowego Jorku i Uniwersytetu Harvarda – firma nadal ukrywa, jak rozwiązują kluczowe problemy techniczne i nie powie, ile osiągnęli do tej pory.
Jednak podobny, choć mniejszy projekt – Projekt miliona książek na Carnegie Mellon University w Pittsburghu – trwa od około siedmiu lat. Może dostarczyć pewnych wskazówek. Dyrektor projektu, informatyk Raj Reddy, mówi, że on i jego koledzy nie mają większej wiedzy na temat metod ani postępów Google niż ktokolwiek inny, ale mierzą się z wieloma podobnymi wyzwaniami.
Celem Google Book Search jest umożliwienie przeszukiwania wszystkich książek offline – obecnie niewidocznych dla oka Google. Oznacza to fizyczne skanowanie setek milionów stron umieszczonych między okładkami około 18 milionów książek, rozpoznawanie około 430 języków i wszelkiego rodzaju czcionek, udostępnianie wyników wyszukiwania tekstowego i replikowanie tradycyjnego przeglądania biblioteki, gdy wszystko jest gotowe. Daniel Clancy, dyrektor techniczny Google Book Search, mówi, że nie może komentować dotychczasowych osiągnięć firmy.
Jednak w projekcie CMU technologia skanowania jest dostępna z półki. Używają łatwo dostępne Minolta PS 7000 skanery książek ustawione w 40 stacjach skanowania w Indiach i Chinach, gdzie lokalne władze pomagają utrzymać niskie koszty projektu non-profit. W tej konfiguracji pracownicy ręcznie przewracają każdą stronę. Po siedmiu latach trwania projektu zeskanowano około 600 000 książek (w większości dzieł należących do domeny publicznej, które zostały wysłane z całego świata), a każdego dnia do cyfrowego korpusu dołącza kolejne 100 000 stron. W tym tempie ukończenie projektu CMS może zająć niecałe pięć lat.
Clancy natomiast twierdzi, że Google opracował własną technologię skanowania. Ale firma milczy na temat szczegółów technicznych sprzętu, oprogramowania do optycznego rozpoznawania znaków (OCR) i szybkości skanowania w swoich pięciu centrach skanowania w pobliżu współpracujących partnerów bibliotecznych na Harvardzie, Stanford, University of Michigan, University of Oxford i Nowym Jorku Biblioteka Publiczna.
Reddy mówi, że jest dostępny na rynku oprogramowanie za rozpoznawanie języka angielskiego dobrze sprawdza się w przypadku Million Book Project. Wyzwania, jakie napotykają w przypadku rozpoznawania OCR, są rozwiązywane przez ich chińskich partnerów, którzy opracowują specjalne oprogramowanie, aby lepiej rozpoznawać niekonwencjonalne czcionki i pisma kaligraficzne często spotykane w starszych książkach. Dodatkowo ich partnerzy w Egipcie opracowują OCR dla języka arabskiego. Obecnie, jak mówi Reddy, OCR jest aktywnym obszarem badawczym, w którym wiele krajów wnosi swoją wiedzę ekspercką.
Gdy książki zostaną zeskanowane, a ich teksty dostępne, głównym wyzwaniem jest sprawienie, by tekst był przydatny do wyszukiwania. Niespójność w fizycznej jakości książek może powodować problemy, mówi Clancy, w szczególności z numeracją stron. Na przykład może brakować pełnych stron lub w rogach z uszami z uszami może pojawić się nieprawidłowy numer strony. A jeśli w którejś części księgi błędna jest paginacja, błąd szerzy się w całej pracy.
Jak mówi Reddy z CMU, ten problem można przezwyciężyć, projektując oprogramowanie, które nie opiera się na numeracji stron. Zamiast tego tworzy metadane strukturalne, które są zasadniczo znacznikami podsumowującymi znaczenie informacji w książce, dzięki czemu badacze mogą łączyć słowa ze spisu treści z odpowiadającymi im rozdziałami. Dodatkowo zindeksowane terminy mogą być połączone z poprawnymi fragmentami. Niestety, mówi Reddy, tworzenie linków to wciąż proces ręczny; nikt nie opracował oprogramowania, które może ustanowić te hiperłącza z dokładnością większą niż około 90 procent. Jeśli jednak technikę tę można udoskonalić, może to sprawić, że wyszukiwanie tekstowe będzie bardziej sensowne.
Ostatecznie, jak mówi Clancy, Google chciałoby, aby Book Search dał taki sam wynik, jak ktoś, kto idzie do biblioteki, zagląda do jej stosów i przypadkowo znajduje książkę, która jest interesująca lub użyteczna. Sugeruje, że jednym ze sposobów na to byłoby połączenie książek ze sobą według kategorii i tematów. Zadanie komplikuje się jednak, gdy łączymy prace Virginii Woolf na przykład z krytyką jej twórczości, pracami, które ją zainspirowały, czy autorami, którzy pisali w tym samym czasie. Zaprojektowanie algorytmów, które będą w stanie skutecznie uporządkować wszystkie te nowe informacje, mówi Clancy, jest jednym z wielkich wyzwań i zajmie wiele lat.
Reddy mówi, że badacze CMU próbują stawić czoła temu wyzwaniu, stosując statystyczne podejście do porządkowania informacji. W tym podejściu, na przykład, zdania strumienia świadomości Virginii Woolf byłyby analizowane przez algorytm, który znajdowałby wzorce na podstawie długości zdania, struktury i interpunkcji. Ta technika może znaleźć pracę Jamesa Joyce'a, jednego z inspiracji Woolf – lub nieznanego autora, którego pisma w przeciwnym razie nigdy by nie zostały odnalezione.
Tymczasem naukowcy szukają skrótów do wyszukiwania wśród autorów, książek i gatunków, mówi Reddy. Podobnie jak w przypadku filtrowania grupowego w Amazon, które wykorzystuje wcześniejsze zakupy, aby pomóc innym znaleźć potencjalne zakupy, użytkownicy Book Search mogą sobie nawzajem pomagać. Podejście społecznościowe to pomysł, którego Google nie ogłosił, mówi Clancy, ale może dodać kolejną warstwę do wyszukiwania książek i wywołać oddolne zainteresowanie projektem.
Z pewnością trzymanie kart blisko siebie nie jest dla Google nowością. Są skryci prawie we wszystkim, co robią… jest to bardzo powszechne w firmach z Doliny Krzemowej, mówi Reddy z CMU. W przypadku Book Search, mówi, Google chce mieć zamknięte rozwiązanie dla wszystkich bibliotek. Mimo to Reddy jest podekscytowany projektem Google i wierzy, że ostatecznie uzupełni on jego badania. Jestem pewien, że w pewnym momencie będą mieli wskazówkę do naszych książek, mówi.
Tymczasem Google musi zmagać się z nietechnicznym problemem niezadowolonych właścicieli praw autorskich, wciągając ich do sądu. Author’s Guild i wielu wydawców pozwało ich, twierdząc, że projekt Google narusza prawa autorskie. (Profesor Stanford Lawrence Lessig zrobił 30 minut wideo o kontrowersje prawne.)
Jeśli jednak uda się przezwyciężyć wyzwania prawne i techniczne, cyfrowe książki fizyczne mogą znacznie przewyższyć miliardy istniejących stron internetowych pod względem szerokości i głębokości informacji. Rzeczywiście, jeden obszerny katalog kartek online dla milionów książek z całego świata może stworzyć zupełnie nowy rozdział w erze informacji.