Szukaj poza Google

Gdyby pracownicy Google niepokoili się o przyszłość, nie poznalibyście tego z wizyty w centrali firmy. Od zeszłej jesieni, kiedy rozmowa o pierwszej ofercie publicznej wywołała u inwestorów ślinienie, organizacja jest pod niezwykłą obserwacją: niektórzy obserwatorzy nazwali ją najgorętszą firmą na świecie, podczas gdy inni twierdzą, że jest to biznes w nieładzie bez przywódców, a konkurenci tłoczą się i głównych klientów na skraju dezercji. Ale kompleks Google w Mountain View w Kalifornii jest na pozór tak beztroski jak każdy kampus uniwersytecki. Główny hol to gabinet w shagadelic kiczu, z dziecięcym fortepianem, obracającym się oświetleniem imprezowym i rzędem jaskrawych neonowych lamp lawowych ustawionych w tej samej kolejności niebiesko-czerwono-żółto-niebiesko-zielono-czerwona logo. Kafeteria pulsuje muzyką rockową, krzykiem rozmów i dźwiękami geeków siorbających darmowe, wykwintne jedzenie. Na górze, na farmach boksów, programiści gawędzą na chodnikach zaśmieconych zabawkami, transporterami Segway i okazjonalnie psimi.

Dopiero gdy siadam w cichej sali konferencyjnej z dyrektorem technologicznym Google Craigiem Silversteinem, zawrotny nastrój dot-comów staje się poważniejszy. Teraz, gdy firmy takie jak Google i internetowa agencja reklamowa Overture wykazały, że wyświetlanie płatnych reklam o określonej tematyce obok wyników na stronie wyszukiwania jest prawdziwym źródłem pieniędzy — przyczyniającym się do szacowanych 2 miliardów przychodów w całej branży w 2003 r. — grupa chętnych inwestuje w Oprogramowanie do wyszukiwania, które mówią, zapewni użytkownikom trafniejsze wyniki niż Google, szybciej. Pytam Silversteina, czy słynna koncentracja Google na lepszej technologii utrzyma ją przed całą tą konkurencją. Jego odpowiedź jest ostrożna.

Bardzo łatwo jest przejść z jednej wyszukiwarki do lepszej – mówi. Google płaci setkom badaczy i programistów, w tym ponad 60 doktorom, aby stanęli na pierwszej linii frontu w tej wojnie technologicznej, wyjaśnia Silverstein, który sam przebywa na przedłużonym urlopie po ukończeniu studiów doktoranckich z informatyki na Uniwersytecie Stanforda. Ale przyznaje, że to nie gwarantuje zwycięstwa. Mamy nadzieję, że kolejny przełom nastąpi od Google – ale kto wie?

Kto wie, rzeczywiście? Według Reston, firmy badawczej comScore z siedzibą w Wirginii, Google ma dużą przewagę nad swoimi rywalami pod względem udziału w oglądalności w USA, odpowiadając za 77 procent wszystkich wyszukiwań w sierpniu 2003 r. (w tym wyszukiwania przeprowadzone w AOL i Yahoo!, które korzystały z wyszukiwarki Google ). Ale w branży wyszukiwania innowacja to dzika karta. W 1999 roku można było powiedzieć, że AltaVista prawie całkowicie wykończyła rynek wyszukiwania, zauważa Whit Andrews, dyrektor ds. badań w firmie doradztwa technologicznego Gartner. W 1997 roku był to Inktomi. W 1995 roku był to Yahoo!. W branży wyszukiwania nigdy nie wiadomo, kiedy na ulicy jest ktoś, kto sprawi, że będziesz wyglądać jak wczorajsze wiadomości.

Google jest podatne na ataki częściowo dlatego, że ma niewiele zalet infrastrukturalnych, takich jak niegdyś wyłączna własność AT&T większości sieci telefonicznej lub kontrola Microsoftu nad systemami operacyjnymi komputerów PC, które zazwyczaj pomagają utrwalić dominację. (Rzeczywiście, doniesienia prasowe ze stycznia wskazywały, że Yahoo! może wkrótce zerwać stosunki z Google i zwrócić się ku własnej technologii wyszukiwania). popularność może się zestarzać. Kiedy Google po raz pierwszy wystartowało, mieli kilka nowych sztuczek, o których nikt wcześniej nie pomyślał, mówi Doug Cutting, niezależny konsultant ds. oprogramowania, który napisał niektóre z podstawowych technologii związanych z wyszukiwarką Excite i zaprojektował narzędzia wyszukiwania dla komputerów Apple Macintosh. Jednak wiele innych wyszukiwarek oferuje teraz intrygujące alternatywy dla technik Google, uważa Cutting.

Na przykład jest Teoma, która rankinguje wyniki według ich pozycji wśród uznanych autorytetów w danej dziedzinie, oraz australijski startup Mooter, który bada zachowania użytkowników, aby lepiej wyczuć dokładnie to, czego szukają. A potem jest goryl z Redmond: Microsoft zwraca się do wyszukiwania jako jednej z kolejnych wielkich możliwości biznesowych. Jej badacze opracowują nowy system operacyjny, który łączy funkcje wyszukiwania podobne do Google we wszystkich programach Windows, a także oprogramowanie, które przeszukuje sieć w poszukiwaniu ostatecznych odpowiedzi na pytania zadawane w codziennym języku angielskim. Tymczasem Yahoo! uruchomił własne laboratorium badawcze w styczniu, a sam Cutting buduje alternatywę open-source dla Google. Obecnie, mówi, nie jestem przekonany, że [Google jest] wyraźnie lepszy.

Bez względu na to, która technologia przyciągnie przyszłych internautów, jej twórca przyniesie ogromne wpływy i niezłe zyski. Każdego dnia na całym świecie pojawia się około 550 milionów żądań wyszukiwania (245 milionów z nich w Stanach Zjednoczonych). Według analityka Piper Jaffray, Safa Rashtchy, do 2007 r. przychody z reklam z płatnych miejsc docelowych generowane przez wszystkie te wyszukiwania wyniosą około 7 miliardów dolarów. Jednak ankiety wskazują, że prawie jedna czwarta użytkowników nie znajduje tego, czego szuka w pierwszym zestawie linków zwróconych przez wyszukiwarkę. Dzieje się tak częściowo dlatego, że cenne igły informacji, których szukamy, są zakopane pod stogiem siana, który każdego dnia rośnie o około 60 terabajtów. I właśnie dlatego brutalna konkurencja w branży wyszukiwania z pewnością będzie się utrzymywać, zwłaszcza że firmy wyszukiwawcze wprowadzają szereg zaawansowanych technologii, takich jak przetwarzanie języka naturalnego i uczenie maszynowe. W ciągu następnych pięciu do dziesięciu lat, mówi Rashtchy, mogliśmy zobaczyć ogromne ulepszenia, które zapewnią wzrost trafności i użytkowania o rząd wielkości. I to właśnie konkurencja w dostarczaniu tych ulepszeń – znacznie więcej niż sukces lub porażka rzekomego IPO Google, którego wielu oczekuje tej wiosny – prawdopodobnie określi, jak będziemy poruszać się po sieci za kilka lat.

Ranga ciągnąca

Z natury chaotyczny i zdecentralizowany Internet domaga się narzędzi, które pomogą ludziom znaleźć dokumenty bez względu na to, gdzie się znajdują. Załóżmy, że potrzebujesz informacji na temat leczenia szkorbutu w XVIII wieku: bez wyszukiwarki nie masz możliwości dowiedzenia się, że potrzebne dane są przechowywane tylko w miejscach takich jak plik o zagadkowej nazwie ( www.jameslindlibrary.org/trial_records/17_18_ Century/lind/lind_kp.html) na serwerze w bibliotece Royal College of Physicians w Edynburgu w Szkocji.

Kiedy jednak wpisujesz szkorbut w polu wyszukiwania w Google, MSN lub Ask Jeeves, nadal nie dotykasz rzeczywistego pliku w Royal College. Po prostu przeglądasz indeks sieci Web firmy wyszukującej — ogromną listę stworzoną przez roboty programistyczne, które przemierzają tysiące stron na sekundę, kopiując słowa kluczowe, frazy, tytuły i podtytuły, linki i inne informacje opisowe. Gdy fragment informacji trafia do indeksu, jest zwykle kompresowany, przypisywany wagę lub ważność i przechowywany w bazie danych w celu szybkiego wyszukania. Wprowadzane terminy wyszukiwania są porównywane z tym indeksem, a łącza do stron zawierających co najmniej jedno z Twoich terminów są wyświetlane w kolejności trafności.

Sposób, w jaki wyszukiwarka określa tę trafność, jest sekretnym sosem. Google zyskał rozgłos w 1999 roku, głównie dzięki PageRank, algorytmowi wynalezionemu przez założycieli Larry'ego Page'a i Sergeya Brina, który jako pierwszy wykorzystał masowe łączenie stron internetowych. Każdy link jest w efekcie głosem oddanym przez autora jednej strony na zawartość innej. Page i Brin zdali sobie sprawę, że jeśli ich indeks byłby wystarczająco duży, mogliby ocenić ważność strony, licząc liczbę innych stron, które zawierają do niej linki. Wzięli również pod uwagę inne czynniki, takie jak trafność tekstu otaczającego linki i własna popularność linkujących stron. Jednak ich przełomowe spostrzeżenie polegało na tym, że Internet jest gigantycznym konkursem popularności – i że najczęściej cytowane strony będą prawdopodobnie najbardziej przydatne. Technika ta zadziałała piekielnie dobrze, a internauci głosowali swoimi kliknięciami. Między czerwcem 2000 a styczniem 2004 r. były czołowy pies AltaVista, który rankingował wyniki głównie na podstawie tego, ile razy strona wymieniała słowa kluczowe wyszukiwania użytkownika, spadł z ósmego miejsca w ogólnym rankingu ruchu internetowego na 61., podczas gdy Google wspiął się z prawie niewidocznego na czwarte miejsce według danych firm badawczych Media Metrix i Alexa. Google tak przeniknęło Internet, że sama jego nazwa została wybrana przez American Dialect Society jako najbardziej przydatne nowe słowo 2002 roku.

Pomimo swoich zalet, PageRank ma kilka wad. Tak jak wcześniejsze wyszukiwarki mogły zostać oszukane przez strony usiane tysiącami słów kluczowych napisanych niewidzialnym białym na białym, tak pozbawiony skrupułów właściciel witryny, który chce, aby jego adres internetowy pojawiał się wyżej w wynikach wyszukiwania Google, może z łatwością opublikować tysiące, a nawet miliony niepotrzebnych stron. które zawierają linki do jego strony, sztucznie podnosząc jej rangę. (Google twierdzi, że ma sposoby na przeciwdziałanie takim atakom, ale nie będzie ich omawiać). Ta sama luka w PageRank umożliwia bombardowanie Google – niedawne zjawisko, w którym blogerzy robią żartobliwy lub polityczny punkt, tworząc tak wiele linków do danej witryny, że pojawia się jako pierwszy, gdy użytkownicy wpisują określony termin w polu wyszukiwania Google. Na przykład bombowce Google, protestujące przeciwko wojnie w Iraku, zdołały uczynić biografię Białego Domu George'a W. Busha pierwszym wynikiem po żałosnej porażce.

Jednak bardziej dokuczliwa dla niektórych krytyków jest obsesja PageRank na punkcie sławy. Legalna strona, która idealnie pasuje do haseł wyszukiwanych przez użytkownika Google, może zostać pochowana w wynikach wyszukiwania tylko dlatego, że nie ma wystarczającej liczby wskazujących na nią stron, zauważa Daniel Brandt, twórca stron internetowych, który prowadzi krytyczną witrynę o nazwie Google Watch. Jak twierdzą Brandt i inni krytycy, trafność strony dla konkretnego użytkownika może zależeć nie tylko od jej popularności. Tylko dlatego, że reszta planety uważa, że ​​jest to witryna turystyczna numer jeden, nie oznacza to, że jest to witryna numer jeden dla ciebie, mówi Liesl Capper, założycielka i dyrektor generalna firmy Mooter z Sydney, która wierzy, że po prostu mogła mieć lepszy sposób.

Umieszczanie pieczątki w wynikach wyszukiwania

Wprowadź to samo wyszukiwane hasło w dziesięciu różnych wyszukiwarkach, a prawdopodobnie otrzymasz dziesięć sprzecznych zestawów wyników. Dzieje się tak częściowo dlatego, że roboty-pająki wyszukiwarek indeksują różne podzbiory sieci; ale co ważniejsze, jest to odzwierciedlenie unikalnych zasad stosowanych w algorytmach rankingowych każdej firmy. Oto jak trzy wyszukiwarki obsługują ten termin zbieranie znaczków .

	Zapytaj Jeevesa/Teomę	Google	Mooter
jeden.	Amerykańskie Towarzystwo Filatelistyczne	Zbieranie monet i znaczków (O.com)	Link do pieczątki -Filatelistyczna najlepsza strona zbierania znaczków w swojej kategorii
dwa.	Zasoby filatelistyczne Josepha Lufta w sieci	Zasoby filatelistyczne Josepha Lufta w sieci	Towarzystwo Filatelistyczne Warragul (zbieranie znaczków)
3.	Linns.com : Strona internetowa największego na świecie tygodnika gazety „Linn’s Stamp News”	Amerykańskie Towarzystwo Filatelistyczne	Historia poczty sprzedam okładki i znaczki filatelistyczne
Cztery.	Link do pieczątki -Filatelistyczna najlepsza strona zbierania znaczków w swojej kategorii	Zbieranie znaczków BNAPS dla dzieci	Brytyjskie Towarzystwo Filatelistyczne
5.	Filatelistyka.Com	Linns.com : Strona internetowa największego na świecie tygodnika gazety „Linn’s Stamp News”	Zbieranie znaczków, filatelistyka, aukcja znaczków
	Strona zajmująca najwyższe miejsce w rankingu ma najwyższy autorytet — w zasadzie najwięcej linków — wśród społeczności witryn internetowych zajmujących się kolekcjonowaniem znaczków. Potwierdzają to referencje ze stron zasobów (kolekcje linków od ekspertów i entuzjastów – w tym przypadku kolekcjonerów znaczków) oraz pomiary popularności linków podobne do Google. Drugie miejsce, Zasoby Filatelistyczne Josepha Lufta, ma coraz mniej wykwalifikowanych skierowań od ekspertów w tej dziedzinie.	Urzędnicy Google nie będą dyskutować, w jaki sposób silnik Google osiąga rankingi dla konkretnych witryn. Dokumenty patentowe i opublikowane artykuły pokazują jednak, że Google klasyfikuje strony według tego, jak często prowadzą do nich linki na innych stronach. Google bierze również pod uwagę takie czynniki, jak trafność stron odsyłających i tekst otaczający linki. Przypuszczalnie znaczki kolekcjonerskie. about.com to najczęściej cytowana strona na ten temat w indeksie Google.	Wyniki pierwszych grup Mootera w klastry lub tematy. Strony pokazane powyżej pojawiają się w klastrze filatelistycznym, uszeregowanym według tego, jak często słowa kluczowe wyszukiwania i nazwa klastra pojawiają się na każdej stronie, między innymi. Mooter poznaje intencje użytkownika, odnotowując, które klastry i strony są klikane, i zmienia kolejność wyników, aby odzwierciedlić widoczny wzorzec zainteresowania.

Źródła: Ask Jeeves, Google, Mooter. Wyniki aktualne na dzień 5 stycznia 2004 (Ask Jeeves, Google), 13 stycznia 2004 (Mooter).

Wybuch pomysłów

Jem lunch z Capperem w cudowny, wczesnozimowy dzień w San Francisco. Przyjechała do miasta, aby zadzwonić do potencjalnych inwestorów i klientów. Mówi mi szczerze, że ludzie, którzy kontrolują przepływ informacji, mają subtelną, ale wszechogarniającą moc. Ktoś musi mieć tę władzę i ważne jest, aby ludzie, którzy to robią, świadomie próbowali mieć pozytywny wpływ i oddawali władzę jednostce. Mooter dąży do tego, aby wyszukiwanie w sieci było łatwiejsze i bardziej osobiste. Capper dorastała w Zambii, studiowała psychologię w RPA i założyła sieć ośrodków wczesnego dzieciństwa, zanim wyemigrowała do Australii w 1997 roku i wybrała technologię wyszukiwania jako miejsce, w którym miała wywrzeć kolejny wpływ. Założyła sklep w centrum Sydney i zatrudniła Jondarra Gibba, doświadczonego architekta oprogramowania, oraz Johna Zakosa, doktoranta piszącego swoją pracę doktorską na Griffith University na temat zastosowań teorii sieci neuronowych w wyszukiwaniu w Internecie.

Cała trójka połączyła swoje pomysły dotyczące psychologii, oprogramowania i sieci neuronowych, aby stworzyć algorytm rankingu, który uczy się od użytkownika w miarę postępu wyszukiwania. Przed wrzuceniem długiej listy linków do użytkownika, Mooter analizuje potencjalne znaczenia i kombinacje początkowych słów kluczowych, a za kulisami ocenia trafność wynikowych stron internetowych w szerokich kategoriach zwanych klastrami. Użytkownik najpierw widzi na ekranie gwiazdę nazw klastrów. Na przykład wyszukiwanie nazwiska Paul Czanne daje w wyniku klastry takie jak sztuka, artyści, Czanne, Francja, galerie , oraz znane obrazy . To część psychologii. Kiedy przeprowadzasz tradycyjne wyszukiwanie, otrzymujesz miliony wyników, a twój umysł wykonuje konceptualne grupowanie, mówi Capper. Ale nasze umysły są zaprogramowane na przetwarzanie tylko trzech do pięciu rodzajów informacji naraz. Zdecydowaliśmy się tego nie omijać, ale pracować z tym.

Potem przychodzi czas na naukę. Aby lepiej zrozumieć, czego prawdopodobnie szuka użytkownik, silnik Mooter odnotowuje, które klastry i linki są klikane, i wykorzystuje te informacje do poprawy przyszłych odpowiedzi. Załóżmy, że użytkownik wprowadza termin pies, klika klaster o nazwie rasy, a następnie spędza dużo czasu, przeglądając strony poświęcone schnoodles (popularna mieszanka sznaucerów i pudli). Gdy użytkownik kliknie nowy wynik wyszukiwania, Mooter spersonalizuje ranking, aby odzwierciedlić ten pozorny wzorzec zainteresowania, co może na przykład prowadzić do wyższych stron o psach i rasach oraz Schnoodles. Dopracowany zestaw wyników pojawia się na każdej stronie; silnik kontynuuje dostosowywanie rankingów w oparciu o zachowanie użytkownika.

Cała idea polega na zapewnieniu ludziom pożądanych wyników za pomocą jak najmniejszej liczby kliknięć. Dwa kliknięcia i już wiemy, dokąd zmierzasz, mówi Capper. Kiedy witryna beta Mootera zadebiutowała w październiku ubiegłego roku, Capper nie spodziewał się, że zostanie zauważona poza Australią. Jednak ruch z całego świata jest tak duży, jak mówi, że firma musiała zainstalować więcej serwerów sieci Web, aby usługa działała.

Poświęć dużo czasu na rozmowę z osobami z branży wyszukiwania, a zdasz sobie sprawę, że istnieje prawie tyle samo sposobów oceniania wyników wyszukiwania, ile jest stron w sieci. Domniemane nadmierne poleganie Google na popularności było jedną z inspiracji Teomy (wymawia się tay-o-ma), założonej w 2000 roku przez informatyka Apostolosa Gerasoulisa i współpracowników z Rutgers University w New Jersey. Oprogramowanie do wyszukiwania Teomy obsługuje teraz Ask Jeeves, wyszukiwarkę numer sześć. Google przygląda się strukturze sieci, ale ta metoda nie schodzi na wyższy poziom – mówi Paul Gardi, starszy wiceprezes Teomy ds. wyszukiwania. Kiedy przejdziesz do poziomu lokalnego, zauważysz, że powiązania skupiają się wokół pewnych tematów lub tematów, podobnie jak społeczności. Na przykład strony poświęcone majsterkowaniu nie są po prostu linkami w górę do bardziej popularnych stron; często łączą się ze sobą, tworząc kręgi wokół znanych witryn, takich jak Hometime.com, Homeideas.com i BobVila.com.

Naukowcy z Rutgers zaprojektowali Teomę (w języku gaelickim oznaczającym eksperta), aby znaleźć społeczności tematyczne i wykorzystać ich mądrość. Gardi wyjaśnia, że ​​zanim silnik Teoma przedstawi wyniki dla danego zestawu słów kluczowych, identyfikuje powiązane społeczności i szuka w nich autorytetów, czyli stron, na które najczęściej wskazują witryny internetowe członków społeczności. Teoma stara się zweryfikować wiarygodność tych stron autorytetu, sprawdzając, czy znajdują się one na stronach zasobów tworzonych przez ekspertów lub entuzjastów tematu, które zwykle prowadzą do najlepszych stron w społeczności. Następnie klasyfikuje wyniki wyszukiwania według tego, jak często każda strona jest cytowana przez strony autorytetów.

IBM i inne organizacje eksperymentowały z podobnymi systemami rankingowymi opartymi na autorytetach pod koniec lat 90., ale Gerasoulis twierdzi, że ich podejście może zająć wiele godzin, aby przebrnąć przez wszystkie dostępne strony. Zastrzeżona technika Gerasoulisa robi to samo w około jedną piątą sekundy. Ask Jeeves porzuciła swojego poprzedniego dostawcę wyszukiwania i przeszła na technologię Teoma w 2001 roku, a liczba zapytań skakała o 30 procent rocznie w 2002 i 2003 roku.

Choć trudno w to uwierzyć, patrząc na kilkanaście stron wyników wyszukiwania, dzisiejsze wyszukiwarki ignorują większość tego, co jest dostępne w Internecie. Pająki oprogramowania mają trudności z indeksowaniem treści chronionych za pomocą formularzy rejestracyjnych lub przechowywanych w bazach danych, takich jak katalogi produktów lub archiwa prawne i medyczne, i gromadzonych w strony internetowe tylko wtedy, gdy użytkownicy tego zażądają. Według School of Information Management and Systems na Uniwersytecie Kalifornijskim w Berkeley ta tak zwana głęboka sieć może wynosić nawet 92 petabajty (92 miliony gigabajtów) na całym świecie, czyli prawie 500 razy więcej niż objętość sieci powierzchniowej.

Mining the Deep Web to misja kolejnej świeżej twarzy w wyszukiwarce Dipsie z Chicago. Google i Teoma indeksują tylko około 1 procent dostępnych dokumentów, mówi Jason Wiener, założyciel i dyrektor ds. technologii Dipsie. Wiener, programista-samouk, który prowadził firmę zajmującą się tworzeniem stron internetowych w San Francisco do czasu awarii dot-comu, spędził ostatnie dwa lata na tworzeniu bardziej zwinnego crawlera, który potrafi omijać formularze i interfejsy baz danych. Powiedzmy, że zastanawiasz się nad standardowym wyposażeniem kabrioletu Mercedes 55SL. W Cars.com przejście do strony ze szczegółowymi informacjami o produkcie zajmie około sześciu kroków. Jednak Dipsie zindeksuje wcześniej całą bazę danych Cars.com, dzięki czemu jednym kliknięciem może wysłać Cię na tę samą stronę. Nie zajmujemy się niczym, co wymaga uwierzytelnienia za pomocą nazwy użytkownika i hasła, ale robimy prawie wszystko inne, mówi Wiener. Twierdzi, że zanim wyszukiwarka Dipsiego stanie się publicznie dostępna tego lata, jej indeks będzie zawierał 10 miliardów dokumentów, czyli trzy razy więcej niż obecny indeks Google.

Tak więc, podczas gdy Google wciąż jest królem skoczni, samo wzgórze jest teraz pełne konkurentów z własnymi błyskotliwymi pomysłami. Google o tym wie, mówi Andrews, analityk Gartnera. Urodzili się w Stanford i wiedzą, że na zajęciach w Stanford są studenci, którzy mówią: „Hej, mam pomysł – co, jeśli weźmiemy ten algorytm i połączymy go z tym algorytmem?” Muszą albo zatrudnić młodych Turków lub ich pokonaj.

Mikrowyszukiwanie

Ale jeśli istnieje jedna firma programistyczna, która wie, jak zatrudniać młodych Turków i przekształcać ich pomysły w produkty dominujące na rynku, jest to Microsoft. Wymień dowolny gorący zakątek informatyki, a firma zbudowana przez Billa prawdopodobnie zatrudni co najmniej jednego lub dwóch czołowych badaczy w tej dziedzinie: w końcu pięć laboratoriów Microsoft Research na całym świecie zatrudnia ponad 600 badaczy. A kiedy Microsoft wyczuwa duży rynek, zwykle porusza się z pełną siłą, aby obstawić swoje roszczenie.

Nie ma nic błękitnego w napadach Microsoftu na wyszukiwanie informacji, dyscyplinę, z której zrodziła się wyszukiwarka. Firma zdobyła już 97-procentowy udział w rynku systemów operacyjnych dla komputerów PC i 90-procentowy udział w oprogramowaniu biurowym; wyszukiwanie jest jednym z ostatnich dużych elementów krajobrazu komputerowego, którego Microsoft nie dominuje. A badanie projektów badawczo-rozwojowych w firmie potwierdza, że ​​postrzega ona ulepszone formy wyszukiwania jako klucz do rozwoju jej działalności. W miarę zbliżania się do wydania kolejnej wersji systemu Windows o nazwie kodowej Longhorn – wersja testowa będzie gotowa jeszcze w tym roku – badacze i twórcy produktów przyspieszają wysiłki, aby wyszukiwanie w sieci było jego integralną częścią.

Jedno z najbardziej błyskotliwych programów, które powstają, obiecuje, że pozwoli ci wpisywać pytania w prostym języku angielskim i uzyskać bezpośrednią odpowiedź. Firma uważa, że ​​użytkownicy wyszukiwarki nie powinni martwić się o wybór właściwych słów kluczowych, łącząc je z odpowiednimi operatorami boolowskimi ( i lub nie itp.) oraz przewijanie kolejnych stron wyników wyszukiwania. Zamiast tego, mówi badacz Microsoft Eric Brill, wyszukiwarki powinny rozumieć pytania i odpowiadać na nie w języku naturalnym.

Weźmy na przykład program AskMSR firmy Microsoft Research, który Brill i jego współpracownicy testują w wewnętrznej sieci Microsoftu od ponad roku. Podstawą jest proste pole wyszukiwania, w którym użytkownicy mogą wpisywać pytania, takie jak Kto zabił Abrahama Lincolna? i zamiast otrzymać listę witryn, które mogą zawierać poszukiwane informacje, otrzymaj prostą odpowiedź: John Wilkes Booth. Oprogramowanie nie opiera się na żadnym zaawansowanym algorytmie sztucznej inteligencji, ale na dwóch zaskakująco prostych sztuczkach. Po pierwsze, używa reguł językowych wyuczonych z dużej bazy danych przykładowych zdań, aby przepisać wyszukiwaną frazę tak, aby przypominała możliwe odpowiedzi: na przykład ___ zabił Abrahama Lincolna lub Abraham Lincoln został zabity przez ___. Te ciągi tekstowe są następnie używane jako zapytania w sekwencji standardowych wyszukiwań w sieci Web opartych na słowach kluczowych. Jeśli wyszukiwania dają dokładne dopasowanie, program jest wykonywany i przedstawia tę odpowiedź użytkownikowi.

Jednak w wielu przypadkach program nie znajdzie dokładnego dopasowania, a jedynie ukośne wariacje ciągów tekstowych, takie jak brutalny czyn Johna Wilkesa Bootha w teatrze Forda, zakończył drugą kadencję Lincolna, zanim się zaczął. To też w porządku. Jako druga sztuczka, AskMSR argumentuje, że jeśli Booth często pojawia się w tym samym zdaniu co Lincoln, musi istnieć między nimi ważna relacja, która pozwala mu na postawienie odpowiedzi, nawet jeśli nie jest w 100% pewny ( zobacz P: Jak działa odpowiadanie na pytania? poniżej ). Wykorzystujemy redundancję sieci Web, wyjaśnia Brill. Jeśli masz wiele miejsc, w których jesteś pewien, że znalazłeś odpowiedź, redundancja czyni ją bardziej pewną. Wraz z rozwojem sieci, zwiększa się również jej redundancja, czyniąc AskMSR coraz potężniejszymi, argumentuje Brill. Chociaż plany dotyczące AskMSR nie są określone, Brill wierzy, że kod ujrzy światło dzienne, być może jako część przyszłej wyszukiwarki Microsoft.

Inny wysiłek Microsoft Research dotyczy mniej sposobu działania wyszukiwarek, niż tego, jak i kiedy użytkownicy potrzebują informacji. W tej chwili, gdy chcesz wyszukać informacje, w zasadzie przerywasz wszystko, co robisz, otwierasz oddzielną aplikację, uruchamiasz wyszukiwanie, a następnie próbujesz zintegrować wynik wyszukiwania z tym, co robiłeś wcześniej, mówi Susan, ekspert ds. wyszukiwania informacji firmy Microsoft. Dumais. Staramy się myśleć o tym, jak wyszukiwanie może być bardziej częścią ciągłego doświadczenia komputerowego.

W tym celu Dumais opracowuje program o nazwie Rzeczy, które widziałem, który ma zapewnić użytkownikom komputerów szybki i łatwy dostęp do wszystkiego, co oglądali na swoich komputerach. Interfejs programu eksperymentalnego, który wpłynie na możliwości wyszukiwania w Longhorn, to zawsze dostępne pole wyszukiwania na pasku zadań Windows. Wpisz zapytanie w polu, a Rzeczy, które widziałem, wyświetli uporządkowaną listę łączy do powiązanych wiadomości e-mail, terminów kalendarza, kontaktów z książki adresowej, dokumentów biurowych lub stron internetowych w jednym, ujednoliconym oknie. Jedna z pojawiających się funkcji Rzeczy, które widziałem, zwana Niejawne zapytanie, działałaby w tle, aby pobierać informacje związane z tym, nad czym pracuje użytkownik. Jeśli na przykład czytasz wiadomość e-mail, zapytanie niejawne może wyświetlić pole z łączami do tytułów i adresów e-mail wszystkich osób, o których mowa w wiadomości, oraz do wszystkich poprzednich wiadomości e-mail z nadawca. Aby oprogramowanie było jeszcze bardziej użyteczne, Dumais pracuje nad dodaniem elementu do standardowego menu prawego przycisku myszy w systemie Windows, które będzie oznaczone etykietą Znajdź mnie w ten sposób i będzie przeszukiwać zarówno dane osobiste, jak i internetowe w celu znalezienia informacji związanych z podświetlonym imię lub frazę.

AskMSR, Rzeczy, które widziałem i powiązane projekty są częścią większej zmiany w strategii technologicznej w Microsoft, która może umożliwić firmie przekonwertowanie setek milionów użytkowników systemu Windows na całym świecie na własną technologię wyszukiwania, podobnie jak wyrwał Netscape rynek przeglądarek internetowych w latach 90-tych. Sednem tej transformacji jest nowy system plików Windows, czyli WinFS – samo serce Longhorn. W obecnym systemie plików Windows każda aplikacja dzieli przydzieloną przestrzeń dyskową na własną, osobliwą hierarchię folderów. To sprawia, że ​​prawie niemożliwe jest na przykład powiązanie fragmentu informacji, takich jak nazwisko autora dokumentu Word, z adresem lub numerem telefonu tej samej osoby w Outlooku. Z kolei WinFS ma u podstaw relacyjną bazę danych: uporządkowany zestaw tabel przechowywanych na dysku twardym, w których wszystkie dane na komputerze mogą być przeszukiwane i modyfikowane przez wszystkie aplikacje przy użyciu standardowego zestawu poleceń.

Jeśli Longhorn zawiera narzędzia oparte na rzeczach, które widziałem i pozwala im komunikować się bezpośrednio z wyszukiwarką internetową, może stworzyć jedno pole wyszukiwania, o jakim marzą twórcy oprogramowania — bramę do wszystkich potrzebnych informacji, zarówno w komputerze, jak i w sieci. Na przykład Whit Andrews z Gartnera nie może się doczekać nowego oprogramowania Microsoftu. Przynieś to! on mówi. Siedzę tutaj i patrzę na mój e-mail. Jeśli chcę Cię wyszukać, muszę pamiętać, aby przejść do Google Ciebie. Ale to, czego naprawdę chcę, to dowiedzieć się, czy rozmawiałem z tobą w przeszłości. Chcę więc kliknąć prawym przyciskiem myszy i przeszukać globalnie, przeszukać moje foldery poczty e-mail i kontaktów, przeszukać witrynę Search.com w USA [która sprzedaje dostęp do informacji przechowywanych w rejestrach publicznych]. Kto ma tę przewagę? Microsoft tam jest, a jeśli chodzi o rzeczy o niskiej cenie, na które konsumenci nie zamierzają wydawać dużo pieniędzy, są w świetnej sytuacji.

Q: Jak działa odpowiadanie na pytania?
Odp.: jak to

Microsoft ZapytajMSR oprogramowanie zamienia pytania w zwykłym języku angielskim w formalne zapytania wyszukiwania i ankiety w Internecie
dla odpowiedzi konsensusu.

1. Pytanie	Ile jajek jest w tuzinie piekarzy?
2. Przepisz zapytanie	Jest + jajka w + tuzinie piekarza Tuzin piekarzy ma + jajka piekarz + tuzin + jajka
3. Zbieraj wyniki wyszukiwania i filtruj (na przykład zignoruj ​​wyniki, które nie przypominają odpowiedzi na pytanie „ile”)	Tuzin ma zwykle 12 jaj, więc ile jaj ma tuzin piekarzy? Książka kucharska Piekarza Dlaczego 13 jajek nazywa się tuzinem piekarzy? 13 jajek to tuzin piekarski.
4. Wyodrębnij odpowiedzi z tekstu i przedstaw najbardziej prawdopodobne odpowiedzi	13 jaj (prawdopodobnie 81 procent) 12 jaj (prawdopodobnie 7 procent)

Źródło: Microsoft

Tymczasem z powrotem w Googlepleksie

Pytam dyrektora ds. technologii Google, Craiga Silversteina, czy nagromadzenie wyników wyszukiwania Microsoft nie pozwala mu zasnąć w nocy. Przyznaje, że Microsoft i Google badają niektóre z tego samego obszaru technicznego, ale twierdzi, że ponieważ Google jest znacznie mniejszy niż Microsoft (1 000 pracowników w porównaniu do 55 000), może działać bardziej zwinnie w oparciu o swoje pomysły. I pomimo ogólnego mniejszego rozmiaru, Google ma więcej badaczy zajmujących się głównie wyszukiwaniem niż Microsoft. Silverstein wskazuje również, że każdy z kilkuset programistów Google jest zobowiązany – w ramach swojej pracy – do spędzania 10 procent swojego czasu na dalekosiężnych osobistych projektach, które zapewniają ciągły przepływ kreatywnych pomysłów.

Niektóre z tych projektów pojawiają się w Google Labs (labs.google.com), sekcji witryny Google, w której użytkownicy mogą wypróbowywać i komentować oprogramowanie związane z wyszukiwaniem, które wciąż jest w fazie rozwoju. Na przykład Google Viewer animuje wyniki, aby przewijały się w górę ekranu jak napisy końcowe. Wyszukiwanie głosowe umożliwia wprowadzenie wyszukiwania przez telefon, jeśli zdarzy ci się być z dala od swojego biurka, a następnie odzyskanie wyników online później. Google Deskbar instaluje stałe pole wyszukiwania Google na pasku zadań Windows; wyniki pojawiają się w małym, tymczasowym oknie, więc użytkownicy nie muszą uruchamiać swoich przeglądarek internetowych za każdym razem, gdy chcą coś wyszukać.

Ale żaden z prototypów Google Labs nie reprezentuje innowacji w skali oryginalnego algorytmu PageRank Page i Brin. Nie należą też do tej samej ligi, co starania Microsoftu o ponowne wymyślenie systemu Windows i zintegrowanie działających na nim aplikacji. Podczas gdy Silverstein i jego koledzy będą rozmawiać o wydajności ponad 10 000 serwerów internetowych Google oraz o pasji i zapału programistów Google, nie powiedzą, w jaki sposób firma ma nadzieję poprawić PageRank ani jakie nowe technologie mogą przeciwdziałać zagrożeniom, takim jak Teoma i ZapytajMSR. Tak więc ostatecznie nie ma zewnętrznych dowodów na to, że Google ma nowe pomysły, których będzie potrzebował, aby zachować swój udział w rynku. Mówi programista open-source Doug Cutting, Google ma wiele osób, które próbują wymyślić monumentalne postępy, ale ich nie widzieliśmy. Myślę, że gdyby je mieli, to by je pokazali.

Jedną z rzeczy, o których Silverstein lubi rozmawiać, jest jego dalekosiężny cel dotyczący technologii wyszukiwania, który jego zdaniem jest wciąż w powijakach. Oczywiste jest, że odpowiedzią [na wyszukiwanie] nie jest rankingowa lista witryn internetowych, mówi. Nikt nie spodziewa się, że zwróci się do bibliotekarza, zada pytanie o Kanał Panamski i otrzyma w odpowiedzi 50 tytułów książek, przekonuje. Silverstein uważa, że ​​eksperci ds. wyszukiwania informacji powinni stawiać sobie wysoko, tworząc oprogramowanie, które jest tak samo dobre w wskazywaniu użytkownikom konkretnych zasobów, jakich potrzebują, jak dobrze wyszkolony bibliotekarz referencyjny. To oczywiście będzie wymagało znacznych postępów w takich dziedzinach, jak probabilistyczne uczenie maszynowe i przetwarzanie języka naturalnego, a Google nadal zatrudnia najlepszych nowych doktorów w tych dziedzinach, w tym czterech niedawnych absolwentów laboratorium Daphne Koller w Stanford. czołowy badacz uczenia maszynowego ( zobaczyć 10 nowych technologii, które zmienią Twój świat , DZIECI luty 2004 ).

Ale czy cały ten talent zostanie przełożony na narzędzia, z których mogą korzystać ludzie? Sam Google pojawił się pozornie znikąd, szybko przysłaniając inne znane wyszukiwarki, takie jak AltaVista. A jeśli jest jedna wiadomość rozpowszechniana przez kapłanów boomu internetowego, która wciąż jest prawdziwa, to jest to, że pragnienie ludzi na szybsze i wydajniejsze sposoby robienia rzeczy za każdym razem przebija lojalność wobec marki. Jeśli rywale, tacy jak Ask Jeeves i nowicjusze, tacy jak Mooter czy Dipsie, zrealizują chociażby część swoich wizji lepszych algorytmów rankingowych, prostszych interfejsów i większych, bardziej wszechstronnych indeksów, mogą odgryźć firmie Google. Tymczasem gruntowny remont środowiska Windows firmy Microsoft obiecuje zmienić samą koncepcję wyszukiwania dla zdecydowanej większości użytkowników komputerów.

Dobra wiadomość dla internautów jest taka, że ​​konkurencja sprawi, że narzędzia wyszukiwania staną się jeszcze bardziej przydatną częścią naszego codziennego życia. Bez narzędzi wyszukiwania bogactwa Sieci byłyby tak samo niedostępne, jak tablice, zwoje i ręcznie kopiowane tomy z epoki sprzed Gutenberga, a wraz z rozwojem sieci rośnie nasza potrzeba lepszych sposobów jej penetracji. Ale które technologie zapewnią dostęp, którego pragniemy – i kto na nich zyska najwięcej – to pytania, na które nie potrafią odpowiedzieć nawet najlepsze wyszukiwarki.

ukryć