Ty też możesz być następnym Google

Byłem w Google przez cztery lata i Google oczywiście ma o kilka więcej komputerów niż my, mówi Tom Annau, wiceprezes ds. inżynierii w Blekko, wyszukiwarce, która twierdzi, że jest pod każdym względem równa istniejącym gigantom wyszukiwania Bing i Google – bez spam.

Wykorzystując nowe strony internetowe jako proxy, wzrost ludzkiej wiedzy uległ spowolnieniu…

Ale ilość rzeczywistych, użytecznych, interesujących informacji w Internecie nie rośnie tak szybko, jak prawo Moore'a – dodaje.

Prawo Moore'a jest nie tyle prawem, co ogólnym trendem w branży mikroprocesorów – w dużym stopniu wynikiem trwających dziesięciolecia wysiłków badawczo-rozwojowych ze strony firm takich jak Intel w wyniku jakichkolwiek podstawowych zasad fizycznych. Stwierdza, że ​​liczba mikroprocesorów, które można uzyskać za jednego dolara, mniej więcej podwaja się co 18 miesięcy. Oznacza to mniejsze, szybsze chipy, których moce rosły wykładniczo przynajmniej od lat 60. XX wieku.

W przeciwieństwie do rozwoju sieci może się wyrównywać . Mimo to, jak jakakolwiek firma, a tym bardziej startup, mogłaby mieć nadzieję na konkurowanie z naprawdę gigantyczną infrastrukturą serwerową i sieciową firm takich jak Google i Microsoft?

Wyszukiwarka internetowa to nadal aplikacja, która dość mocno przesuwa granice obecnych urządzeń komputerowych, mówi Annau. Ale Blekko tworzy kompletny, aktualny indeks sieci z mniej niż 1000 serwerami – prawdopodobnie mniej niż w którymkolwiek z głównych centrów danych Google – wykorzystując sprowadzenie problemu do rozsądnych rozmiarów w sposobów, w jakie giganci wyszukiwania nie mogą lub nie chcą.

Staramy się unikać indeksowania spamu i innych złych treści, mówi Annau. Myślę, że inne wyszukiwarki mają zasady indeksowania najpierw zadawania pytań później. Jedną z efektywności, którą zyskujemy, jest po prostu nie indeksowanie splogów [blogów spamowych] i innych generowanych maszynowo bełkotu.

Prawie cała treść generowana przez maszyny w sieci Web jest tworzona właśnie po to, by złapać roboty-pająki wyszukiwarek, które ją przemierzają, i zapchać ich indeksy stronami z reklamami. Łączne unikanie tych witryn — przy użyciu algorytmów wykrywania spamu i ludzkiej opieki — pozwala firmie Blekko zaoszczędzić ogromne ilości zasobów.

Istnieje pewien stopień, poza którym, jeśli będziesz nadal indeksować, nie będziesz indeksować żadnych bardziej interesujących, przydatnych lub dobrych rzeczy - istnieje wiele malejących zwrotów z dużego indeksowania sieci, mówi Annau.

Blekko stosuje również taktykę stosowaną przez inne wyszukiwarki — podzielone indeksowanie, które dokładnie indeksuje całą sieć, w tym znaczną część jej statycznej zawartości, rzadziej niż szybkie indeksowanie, które stale ponownie indeksuje często zmieniające się witryny, takie jak wiadomości i blogi.

Agresywnie indeksujemy wiele szybko zmieniających się źródeł wysokiej jakości, mówi Annau. Możesz to zobaczyć, gdy przeprowadzasz wyszukiwanie z ukośnikiem – możesz zobaczyć rzeczy, które pojawiły się zaledwie minutę temu.

Prawo Moore'a idzie dalej.
(DC)Wgsimona

Zgodnie z długim spojrzeniem Annau na wyszukiwanie, indeksowanie całej sieci — a przynajmniej jej użytecznych części — staje się bardziej przystępne, a nie mniej. W tym rachunku Microsoft i Google oraz inne duże wyszukiwarki reklamują skalę swoich centrów danych po części po to, by zastraszyć potencjalnych rywali; aby bariery wejścia w branży wyszukiwania wydawały się wyższe niż w rzeczywistości.

Niezależnie od tego, czy jako start-up odniesiemy sukces, czy poniesiemy porażkę, prawdą będzie, że z każdym rokiem poszczególne serwery będą stawały się coraz potężniejsze, a możliwość przeszukiwania i indeksowania przydatnych informacji w sieci stanie się w rzeczywistości coraz bardziej przystępna cenowo. Annau.

Każdy startup to hipoteza o pewnej dostrzeganej przez siebie efektywności na rynku – dodaje. Dla Blekko i innych start-upów wyszukiwarek, takich jak jednoosobowa operacja Gabriela Weinberga Duck Duck Go, wydajność polega na tym, że suma ludzkiej wiedzy zostanie z łatwością pokonana przez tempo wzrostu mocy obliczeniowej.

Jak lubi podkreślać Rich Skrenta, dyrektor generalny Blekko, wzrost Wikipedii stabilizuje się. Po prostu nie ma zbyt wielu tematów na świecie - ludzie mogą dodawać i edytować strony, ale nie będziesz stale widzieć podwojenia ich rozmiaru, mówi Annau.

Śledź Mims na Twitterze lub skontaktuj się z nim przez e-mail .

ukryć