Bezpłatna baza danych z całej sieci może zrodzić następne Google

Google słynie z początku jako niewiele więcej niż wydajniejszy algorytm do rankingu stron internetowych. Ale firma zbudowała swój sukces również na przeszukiwaniu sieci — przy użyciu oprogramowania, które odwiedza każdą stronę w celu stworzenia obszernego indeksu treści online.

Organizacja non-profit o nazwie Wspólne indeksowanie korzysta teraz z własnego przeszukiwacza sieci Web i tworzy gigantyczną kopię sieci, którą udostępnia każdemu. Organizacja oferuje ponad pięć miliardów stron internetowych, dostępnych za darmo, dzięki czemu badacze i przedsiębiorcy mogą wypróbować rzeczy, które w innym przypadku byłyby możliwe tylko dla tych, którzy mają dostęp do zasobów na skalę Google.

Sieć stanowi, o ile mi wiadomo, największą akumulację wiedzy, a na tym można zbudować tak wiele, mówi przedsiębiorca Gilad Elbaz, założyciel Common Crawl. Ale samo wykonanie ogromnej ilości pracy, która jest konieczna, aby uzyskać w ogóle te informacje, jest dużym blokerem; niewiele organizacji… miało na to środki.

Nowe wyszukiwarki to tylko jedna z rzeczy, które można zbudować za pomocą indeksu sieci, mówi Elbaz, który wskazuje, że oprogramowanie do tłumaczenia Google zostało przeszkolone przy użyciu tekstu online dostępnego w wielu językach. Jedyny sposób, w jaki mogli to zrobić, to zacząć od masowego czołgania się. To postawiło ich na drodze do zbudowania Star Trek tłumacz, mówi. Posiadanie otwartego, wspólnego korpusu ludzkiej wiedzy to po prostu sposób na demokratyzację dostępu do informacji, które mają fundamentalne znaczenie dla innowacji.

Elbaz mówi, że około pięć lat temu zauważył, że badacze z nowymi pomysłami na wykorzystanie danych internetowych czuli się zmuszeni do podjęcia pracy w Google, ponieważ było to jedyne miejsce, w którym mogli przetestować te pomysły. Mówi, że dane Common Crawl ułatwią zdobywanie nowych pomysłów, zarówno w świecie startupów, jak i w badaniach naukowych.

Elbaz jest założycielem i dyrektorem generalnym firmy big data Faktyczny , a wcześniej założył firmę kupioną przez Google, która ma być podstawą jej działalności reklamowej na stronach internetowych. Common Crawl ma również dyrektora ds. badań Google, Peter Norvig oraz dyrektor MIT Media Lab Joi Ito w radzie doradczej.

Common Crawl zindeksował do tej pory ponad pięć miliardów stron, co daje łącznie 81 terabajtów danych udostępnianych za pośrednictwem usługi przetwarzania w chmurze Amazona. Za około 25 dolarów programista może założyć konto w Amazon i zabrać się do pracy nad przetwarzaniem danych Common Crawl, mówi Lisa Green, dyrektor Common Crawl. ten Archiwum internetowe , inna organizacja non-profit, również kompiluje kopię sieci i oferuje usługę o nazwie Maszyna powrotna które mogą pokazywać stare wersje określonej strony. Nie pozwala jednak nikomu analizować w ten sposób wszystkich swoich danych jednocześnie.

Common Crawl już zainspirował lub pomógł niektórym nowym start-upom internetowym. TinEye , wyszukiwarka wsteczna, która znajduje obrazy podobne do tych dostarczonych przez użytkownika, na początek korzystała z wczesnych danych Common Crawl. Osobisty projekt jednego programisty wykorzystujący dane Common Crawl do mierzenia, ile stron internetowych łączy się z Facebookiem — około 22 procent, doszedł do wniosku —doprowadził do pozyskania finansowania dla startupu, Szczęśliwa Ostryga , oparty na pomaganiu ludziom w znajdowaniu przydatnych informacji w ich danych społecznościowych.

Inne pomysły, które umożliwił projekt, powstały w wyniku przeprowadzonego w zeszłym roku konkursu, w którym przyznano nagrody dla najlepsze przypadki użycia . Jeden ze zwycięzców wykorzystał łącza Wikipedii w danych indeksowania do zbudowania usługi zdolnej do definiowania znaczeń słów; inny próbował ustalić postawy społeczeństwa wobec ustawodawstwa Kongresu poprzez analizę treści internetowych dyskusji na temat nowych przepisów.

Rich Skrenta, współzałożyciel i CEO startupu wyszukiwarek Blekko (patrz As Google Tinkers With Search, Upstarts Gain Ground ) mówi, że dane Common Crawl zaspokajają określone potrzeby społeczności startupów. Mówi, że do Blekko zwróciły się startupy z technologią, które potrzebują dostępu do dużych zbiorów danych online. Tego rodzaju dane są teraz łatwo dostępne w Common Crawl, mówi Skrenta, którego firma w grudniu 2012 roku wniosła do projektu część własnych danych. Blekko udostępnił informacje ze swojego systemu, który kategoryzuje strony internetowe według treści, na przykład oznacza, że ​​zawierają one pornografię. lub spam.

Ben Zhao , profesor nadzwyczajny na Uniwersytecie Kalifornijskim w Santa Barbara, który wykorzystuje duże zbiory danych internetowych do badania aktywności w serwisach społecznościowych (patrz Hidden Industry Dupes Social Media Users ), mówi, że dane Common Crawl są prawdopodobnie unikalne. Świeże indeksowanie na dużą skalę jest dość rzadkie i osobiście nie znam miejsc, w których można uzyskać duże dane indeksowania w Internecie, mówi.

Jednak Zhao zauważa, że ​​niektóre z najciekawszych i najbardziej wartościowych części sieci nie będą dobrze reprezentowane w danych Common Crawl: obecnie serwisy społecznościowe są dość wrażliwe na ich zawartość, a wiele z nich wdraża mechanizmy zapobiegające indeksowaniu, aby ograniczyć prędkość każdego mogą uzyskać dostęp do ich treści.

Aby uzyskać dostęp do tych danych, badacze muszą nawiązać relacje z firmami i polegać na tym, co udostępnią – jest to droga mniej dostępna dla startupów, które mogą być postrzegane jako konkurencja.

ukryć