Postępy AI umożliwiają wyszukiwanie, zakupy z obrazami

Sieć bardzo się zmieniła w ciągu ostatnich 20 lat, ale pola wyszukiwania tekstu są czymś stałym. Wpisywanie tekstu w prostokąty podzielone na piksele pozostaje podstawą interakcji ze stronami internetowymi i aplikacjami mobilnymi, takimi jak sklepy internetowe.

Użytkownicy Pinteresta mogą wyszukiwać elementy w serwisie, wybierając fragmenty obrazu.

Aby temu zakwestionować, wykorzystuje się najnowsze osiągnięcia w oprogramowaniu do rozpoznawania obrazów. Sieć społecznościowa Pinterest i internetowy sprzedawca obuwia Shoes.com testują nowe sposoby wyszukiwania i przeglądania przy użyciu samych obrazów, a nie tekstu.

Obie firmy zdecydowały się na technikę znaną jako głębokie uczenie, która niedawno umożliwiła oprogramowaniu: dopasuj ludzi na niektórych benchmarkach do rozpoznawania obrazu. Technika ta napędza wyszukiwarkę grafiki Google i usługę organizacji zdjęć, którą uruchomiono tego lata (patrz Google wypuszcza nowych zautomatyzowanych pomocników ).

Nowe narzędzie wyszukiwania wizualnego na Pintereście pozwala narysować ramkę wokół czegoś widocznego na obrazie w usłudze, aby znaleźć wizualnie podobne elementy z indeksu ponad miliarda. Na przykład w szybkim teście funkcji rysowanie wokół ekspresu do kawy widocznego na zdjęciu kuchni zwróciło uwagę innych, w tym zbliżenia dokładnie tego samego modelu.

Niektóre przedmioty przywoływane przez wyszukiwanie wizualne mają dołączone przyciski kupowania — funkcja, którą Pinterest wprowadził tego lata . W tym tygodniu funkcja wyszukiwania obrazów zostanie udostępniona wszystkim użytkownikom witryny internetowej firmy i aplikacji mobilnych. System Pinteresta nauczył się rozumieć obrazy, rysując na tekście dołączonym do zdjęć udostępnianych w serwisie.

Firmy już wcześniej próbowały wykorzystywać technologię wyszukiwania obrazów, aby ułatwić zakupy lub odkrywanie produktów. Na przykład Amazon dołączył w zeszłym roku aplikację do wyszukiwania produktów złapanych na zdjęciu ze swoim smartfonem Fire. W 2010 r. firma Google kupiła witrynę Like.com, która uruchomiła porównywarkę zakupów, która umożliwiała wyszukiwanie produktów wizualnie podobnych do wybranego przez Ciebie, a nawet pozwalała wyróżnić ważne szczegóły na obrazie, aby ułatwić wybór. Google wyświetla dziś podobne produkty w swojej witrynie zakupów, ale nie pozwala na podkreślenie szczegółów.

Kevin Jing, szef działu wyszukiwania wizualnego na Pintereście, mówi, że wyszukiwanie wizualne ma teraz większą szansę stać się niezastąpione. Reprezentacja obrazu pochodząca z głębokiego uczenia się jest dużo, dużo dokładniejsza, mówi. Nawet w tym roku nastąpiła tak duża poprawa. Nowe narzędzia wyszukiwania wizualnego nie są jednak doskonałe. Dopiero gdy wiele osób będzie miało okazję je wypróbować, stanie się jasne, czy podstawowa technologia poprawiła się na tyle, aby znacząco zmienić sposób, w jaki ludzie wchodzą w interakcję z usługami online.

Sprzedawca obuwia Shoes.com testuje inne podejście do wyszukiwania wizualnego, również opartego na głębokim uczeniu się. Firma jako pierwsza wykorzystuje technologię przetwarzania obrazu skierowaną do detalistów, opracowaną przez startup Sentient zajmujący się sztuczną inteligencją, który pozyskał od inwestorów ponad 143 miliony dolarów (patrz AI Supercomputer Built by Tapping Data Warehouses for Idle Computing Power).

Shoes.com początkowo testuje technologię Sentient w sekcja kozaków damskich swojego kanadyjskiego sklepu. Kliknij przycisk filtra wizualnego, a zobaczysz siatkę 12 obrazów, które według oprogramowania Sentient reprezentują najbardziej wyraźne klastry stylów z katalogu około 7000 butów. Wybierz ten, który jest najbliższy temu, czego szukasz, a oprogramowanie użyje wizualnych cech Twojego wyboru, aby odświeżyć siatkę i pokazać 11 kolejnych, które tak wyglądają. Kilkukrotne powtórzenie tego procesu pozwala znaleźć wybór butów o bardzo szczególnych cechach.

Nigel Duffy, dyrektor ds. technologii Sentient, mówi, że nowa funkcja pokazuje, w jaki sposób oprogramowanie, które potrafi zrozumieć obrazy, zwiększa wydajność zakupów online. To kategoria, w której bardzo trudno jest opisać słowami wyszukiwarce, czego szukasz, mówi. Bardzo szybko możemy uzyskać naprawdę szczegółowe preferencje.

Roger Hardy, dyrektor generalny Shoes.com, mówi, że istnieją dowody na to, że funkcja filtra wizualnego zwiększa sprzedaż i rozważa wprowadzenie jej do innych kategorii obuwia. Duffy ze Sentient mówi, że spodziewa się, że podstawowa technologia zostanie zastosowana w innych produktach, takich jak biżuteria, torby i inne akcesoria.

ukryć