Algorytm uczenia maszynowego wydobywa 16 miliardów e-maili

Poczta elektroniczna odgrywa niezwykle ważną rolę w życiu dużej części światowej populacji. A jednak, o dziwo, niewiele wiadomo o tym, jak ludzie korzystają z poczty e-mail. Ile rozmów e-mail prowadzą ludzie? Jak długo trwają te rozmowy i jak się kończą? A jak ilość poczty przychodzącej wpływa na zachowanie ludzi?

Dziś, dzięki pracy naukowców z Yahoo Labs w Barcelonie i Kalifornii oraz z University of Southern California, uzyskujemy odpowiedź na szereg takich pytań. Ci faceci zbadali wzorce zachowań w bazie danych 16 miliardów e-maili wymienianych między dwoma milionami ludzi w ciągu kilku miesięcy. Wierzymy, że nasza jest pierwszą na dużą skalę analizą rozmów e-mailowych, mówią.

Okazuje się, że wzorce e-maili są tak niezawodne, że algorytm uczenia maszynowego może z góry przewidzieć, jak długo może być odpowiedź i kiedy konwersacja e-mailowa prawdopodobnie się zakończy. To informacje, które mogą odegrać ważną rolę w nowej generacji systemów pocztowych.

Łatwo sobie wyobrazić, że antropolodzy obliczeniowi musieli ślęczeć nad ogromnymi bazami danych e-maili, aby określić wpływ tej stosunkowo nowej formy przesyłania wiadomości na zwykły styl życia.

Bynajmniej. Stosunkowo niewiele ukończonych badań zostało wykonanych na małych próbkach e-maili i zaowocowało stosunkowo prostymi odkryciami. Należą do nich fakt, że niektórzy ludzie odpowiadają na e-maile w kolejności, w jakiej przychodzą, podczas gdy inni wybierają najważniejsze, na które najpierw odpowiadają.

Aby zaradzić tej luki w naszej wiedzy, Farshad Kooti z Uniwersytetu Południowej Kalifornii i jego koledzy badają bazę danych 16 miliardów e-maili w Yahoo Mail od osób, które zgodziły się na wykorzystanie ich danych do badań.

Ponieważ większość wiadomości e-mail otrzymywanych przez użytkowników to spam lub jest generowana automatycznie, zespół wybrał tylko te wiadomości e-mail, które zostały wysłane między dwiema osobami w rozmowie trwającej co najmniej pięć wymian.

Te 16 miliardów e-maili pochodziło z kont e-mailowych dwóch milionów unikalnych użytkowników i obejmowało tylko e-maile z domen komercyjnych oraz od innych użytkowników Yahoo, którzy zdecydowali się na badanie. Z tych 16 miliardów 187 milionów e-maili zostało wymienionych między parami użytkowników w zbiorze danych. Były to w zasadzie te, które były interesujące.

Naukowcy byli następnie w stanie zbadać statystyczny charakter tej formy komunikacji w parach, korzystając z takich informacji, jak identyfikator nadawcy, identyfikator odbiorcy, czas wysłania, temat wiadomości e-mail, treść wiadomości e-mail i liczba załączników.

Aby zapewnić prywatność, naukowcy anonimizowali nadawców i odbiorców, a żaden człowiek nie analizował treści wiadomości e-mail. Zamiast tego naukowcy wykorzystali algorytmy do wyodrębnienia statystyk z treści wiadomości e-mail, takich jak ich długość, liczba identyfikatorów e-mail w wątku i tak dalej.

Zespół grupował e-maile między osobami, jeśli miały ten sam temat (wszystkie z wyjątkiem jednego zaczynającego się od Re:) i porządkował wiadomości zgodnie z ich znacznikiem czasu.

Następnie zbadali różne cechy tych łańcuchów e-maili, takie jak czas odpowiedzi na wiadomość e-mail, długość odpowiedzi, a także to, jak te czynniki różnią się w zależności od wieku i płci nadawcy itd. .

Wyniki stanowią ciekawą lekturę. Okazuje się, że młodsi ludzie wysyłają szybsze, krótsze odpowiedzi, a mężczyźni nieco szybciej i krócej niż kobiety.

Ważny jest również czas pisania. Odkryliśmy, że użytkownicy szybciej odpowiadają na wiadomości e-mail otrzymywane w dni powszednie i w godzinach pracy, a odpowiedzi stają się krótsze później w ciągu dnia i w weekendy, mówią Kooti i spółka.

Urządzenia mobilne też mają wpływ. Odpowiedzi z urządzeń mobilnych były szybsze i krótsze niż z komputerów stacjonarnych, a wiadomości e-mail bez załączników zazwyczaj otrzymywały szybsze odpowiedzi.

Coraz ważniejszym zjawiskiem jest przeciążenie poczty elektronicznej. Kooti i spółka odkryli, że gdy ludzie otrzymują więcej e-maili, zwiększają częstotliwość odpowiadania, ale nie na tyle, aby zrekompensować większe obciążenie.

Innymi słowy, gdy ludzie stają się bardziej przeciążeni, odpowiadają na mniejszą część przychodzących wiadomości e-mail krótszymi odpowiedziami. Jednak ich reakcja pozostała nienaruszona i może być nawet szybsza, twierdzą naukowcy.

Zespół przyjrzał się również różnicom między wiadomością e-mail a odpowiedzią na nią, takim jak liczba użytych słów i czas między odpowiedziami. Co ciekawe, w pierwszej połowie rozmowy e-mailowej odpowiedzi stają się bardziej zbliżone, zarówno pod względem czasu, jak i długości odpowiedzi. Jednak wszystko to zmienia się po środku zagrożenia, gdy zachowanie odpowiedzi staje się coraz bardziej inne.

Te wzorce umożliwiły zespołowi zbudowanie algorytmu uczenia maszynowego do wykrywania różnych etapów konwersacji e-mailowych i przewidywania, kiedy mogą się one zakończyć. Wytrenowali ten algorytm, aby przewidywał czas i długość odpowiedzi oraz czy wiadomość e-mail była ostatnią w wątku.

I chociaż te przewidywania nie są doskonałe, są wystarczająco dobre, aby mieć wpływ na sposób, w jaki systemy pocztowe mogą być projektowane w przyszłości. Zdolność do dokładnego przewidywania, na które wiadomości odpowie użytkownik, może być wykorzystywana przez klienty poczty e-mail do klasyfikowania wiadomości e-mail w skrzynce odbiorczej użytkowników według ich priorytetu odpowiedzi, co pomaga w zmniejszeniu obciążenia związanego z nadmiarem informacji, mówi zespół.

To ciekawa praca, która może pomóc w określeniu sposobu, w jaki algorytmy będą obsługiwać nasze e-maile w przyszłości. Wszystko, co pożytecznie pomaga zmniejszyć obciążenie związane z przeciążeniem poczty e-mail, może stać się ważną częścią ukrytej biurokracji komunikacji.

Yahoo jest wyraźnie zainteresowane tego rodzaju pracą, więc zaskakujące jest, że tego rodzaju badanie zostało przeprowadzone po raz pierwszy. Przy odrobinie szczęścia proces wprowadzania tych ustaleń do przyszłych systemów poczty e-mail nie potrwa tak długo.

Nr ref: a rxiv.org/abs/1504.00704 : Ewolucja konwersacji w dobie przeciążenia poczty e-mail

ukryć