Ostateczne wyzwanie dla silników rekomendacji

Sformułowanie Ludzie, którzy kupili X, kupili także Y, stało się jednym z najsłynniejszych pseudonimów ery Internetu. Ta szczególna forma słów pochodzi z wyszukiwarek rekomendacji, które analizują produkty, które kupiłeś w przeszłości, aby zasugerować produkty, które mogą Ci się spodobać w przyszłości, zwykle na podstawie wyborów dokonanych przez inne osoby o podobnych gustach.

Dobre silniki rekomendacji mogą zwiększyć sprzedaż o kilka procent. Dlatego stały się jedną z obowiązkowych funkcji w sklepach i usługach internetowych.

Nietrudno więc zrozumieć, dlaczego istnieje duże zainteresowanie poprawą wydajności silników rekomendacyjnych. Rzeczywiście, w 2006 roku dostawca filmów online, Netflix, zaoferował nagrodę w wysokości 1 miliona dolarów każdemu, kto mógłby ulepszyć ich algorytm rekomendacji o ponad 10 procent. Nagroda została należycie zdobyta zaledwie trzy lata później.

Skąd więc mogą pochodzić kolejne ulepszenia?

Dzisiaj otrzymujemy odpowiedź dzięki pracy Amy Zhang z Massachusetts Institute of Technology w Cambridge i kilku kumpli. Ci faceci zwracają uwagę, że jeśli chodzi o usługi internetowe, takie jak dostawcy filmów, kilka osób często korzysta z tego samego konta. Oznacza to, że wybór filmów i oceny na tym koncie to połączone wybory kilku różnych osób.

Pytanie, na które chcieli odpowiedzieć, dotyczy tego, czy możliwe jest zidentyfikowanie współdzielonych kont po prostu poprzez badanie powiązanych z nimi ocen. A jeśli tak, to w jaki sposób należy zmodyfikować zalecenia w odpowiedzi?

Zaczynają od dwóch zestawów danych z rekomendacjami filmów. Pierwsza zawiera ponad 4 miliony rekomendacji od 171 000 użytkowników na ponad 20 000 filmów. Ten zbiór danych zawiera również dodatkowe informacje na temat ustaleń gospodarstw domowych dla podzbioru 600 użytkowników. Spośród nich 272 gospodarstwa domowe mają dwóch użytkowników, 14 ma trzech użytkowników, a cztery ma czterech użytkowników. Rekomendacje z tych gospodarstw domowych dostarczają więc podstawowej prawdy o wspólnych kontach.

Zhang i spółka mają również zestaw danych Netflix z ocenami prawie 500 000 użytkowników dla ponad 17 000 filmów.

Swoją analizę rozpoczynają od matematycznego potraktowania tego, jak rozłożyć wspólny zestaw ocen na jego części składowe. Zasadniczo zadanie polega na znalezieniu szeregu spójnych grup zaleceń, które odpowiadają liczbie osób w gospodarstwie domowym.

W praktyce oznacza to znajdowanie skupisk podobnych filmów o podobnych ocenach. Jedną z technik, która okazuje się ważna, jest to, że można z dużą pewnością przydzielić kilka filmów różnym użytkownikom. Na przykład filmy Toy Story, Monsters Inc i Frozen mogły być oglądane i oceniane przez inną osobę niż grupa filmów, w tym Teksańska masakra piłą mechaniczną, Obcy i Egzorcysta.

W matematyce jest to znane jako problem grupowania podprzestrzeni i istnieje kilka standardowych podejść do jego rozwiązania. Zhang i spółka najpierw stosują te metody do zbiorów danych, z których znane są gospodarstwa domowe, aby dowiedzieć się, która działa najlepiej.

Następnie zastosowali tę metodę do około 55 000 użytkowników w bazie danych Netflix, którzy ocenili ponad 500 filmów. Ich algorytm określił 37 000 z nich jako konta jednoosobowe, 15 000 jako konta 2-osobowe i 3000 jako konta używane przez 3 lub więcej osób.

Nie ma możliwości dowiedzenia się, czy ten podział jest poprawny, ponieważ informacje o podstawie prawdy nie są dostępne. Jednak możliwe jest zbadanie tych złożonych relacji, aby sprawdzić, czy wydają się rozsądne. Wizualna inspekcja kont, które zostały oznaczone jako złożone, dostarczyła kilku interesujących obserwacji, mówią Zhang i spółka.

Na przykład na wielu kontach odkryli, że sequele lub sezony tego samego programu telewizyjnego były zgrupowane razem. Odkryli również, że jeden użytkownik wolałby filmy oznaczone jako Science Fiction i Fantasy, podczas gdy inny może preferować filmy oznaczone jako Romantyczne. To wydaje się dawać Zhangowi i współpracownikom pewność, że ich algorytm jest na dobrej drodze.

Ostatnim pytaniem jest, jak zmienić rekomendacje, gdy algorytm ustali, że więcej niż jeden użytkownik korzysta z tego samego konta. Odpowiedź jest prosta. Po prostu wyświetl najlepsze rekomendacje dla każdego użytkownika.

To ciekawe podejście, chociaż nie jest jasne, o ile lepiej te rekomendacje radzą sobie z konwencjonalnymi silnikami pod względem tego, czy zwiększają sprzedaż, czy nie. To oczywisty cel przyszłych badań.

Co ciekawe, Zhang i współpracownicy zwracają uwagę, że takie podejście może pozwolić jednej osobie na pojawienie się jako kompozyt, celowo umieszczając oceny filmów, które normalnie by jej się nie podobały. Ciekawym tematem badawczym jest zmienianie lub zwiększanie profilu oceny, aby pojawiał się jako użytkownik złożony, w celu ukrycia na przykład swojej płci.

Być może w przyszłości zobaczymy wyniki tych badań.

Nr ref.: arxiv.org/abs/1408.2055 : Zgadnij, kto ocenił ten film: Identyfikacja użytkowników za pomocą klastrów podprzestrzennych

ukryć