Eksploracja danych ujawnia sposób, w jaki ludzie oceniają się nawzajem

Sposób, w jaki oceniamy wydajność innych ludzi, jest jedną z większych tajemnic psychologii poznawczej. Proces ten zachodzi w sposób ciągły, ponieważ oceniamy zdolność poszczególnych osób do wykonywania określonych zadań, oceniając każdego, od elektryków i kierowców autobusów po księgowych i polityków.

Problem polega na tym, że mamy dostęp tylko do ograniczonego zestawu danych o wynikach danej osoby – niektóre z nich mają bezpośrednie znaczenie, takie jak historia jazdy taksówkarza, ale wiele z nich jest nieistotnych, takich jak płeć kierowcy. Rzeczywiście, ilość informacji może być tak ogromna, że ​​jesteśmy zmuszeni do podejmowania decyzji na podstawie ich niewielkiego podzbioru. Jak podejmowane są te decyzje?

Dzisiaj otrzymujemy swego rodzaju odpowiedź dzięki pracy Luki Pappalardo z Uniwersytetu w Pizie we Włoszech i kilku kumplom, którzy badali ten problem na arenie sportowej, gdzie pytania dotyczące wydajności są rzucane z wielką ulgą. Ich praca zapewnia unikalny wgląd w sposób, w jaki oceniamy ludzką wydajność i jak odnosi się to do obiektywnych miar.

Czynniki wykorzystywane przez obserwatorów do oceny wyników to niewielki podzbiór obiektywnych miar.

Wyniki sportowe to jeden z obszarów, w którym od kilku lat gromadzone są szczegółowe zapisy indywidualnych wyników. Pappalardo i spółka skupiają się na piłce nożnej, najpopularniejszym sporcie na świecie, a w szczególności na wynikach zawodników rywalizujących na najwyższym poziomie we włoskiej lidze piłkarskiej Serie A.

Od wielu lat włoskie gazety sportowe oceniają wyniki zawodników w każdym meczu w skali od 0 do 10, gdzie 0 to niezapomnianie złe, a 10 niezapomniane niesamowite. System ten jest oparty na włoskim systemie ocen szkolnych, gdzie 6 oznacza, że ​​uczeń osiągnął dobre wyniki. Sposób oceniania zawodników nie jest publikowany, ale prawdopodobnie robi to doświadczony dziennikarz sportowy.

W ostatnich latach ci sami zawodnicy byli również oceniani przez obiektywny system pomiaru, który zlicza liczbę podań, strzałów, wślizgów, obrońców itd., które wykonuje każdy zawodnik. Ta miara techniczna uwzględnia 150 różnych parametrów i zapewnia kompleksowe zestawienie wyników każdego gracza na boisku.

Pytanie, które zadaje Pappalardo i spółka, dotyczy tego, w jaki sposób oceny gazet są skorelowane z ocenami technicznymi i czy możliwe jest wykorzystanie danych technicznych do zrozumienia czynników, które wpływają na oceny ludzi.

Badacze zaczynają od zestawu danych technicznych 760 meczów w Serie A w sezonach 2015-16 i 2016-17. Składa się z ponad miliona punktów danych opisujących wydarzenia na boisku ze znacznikami czasu. Wykorzystują dane, aby wyodrębnić wektor wydajności technicznej dla każdego gracza w każdej grze; działa to jako obiektywna miara jego wydajności.

Badacze mają również oceny każdego gracza w każdej grze z trzech gazet sportowych: Gazzetta dello Sport , Corriere dello Sport , oraz Tuttosport .

Rankingi gazet mają kilka interesujących właściwości statystycznych. Tylko 3 procent ocen jest niższych niż 5, a tylko 2 procent wyższych niż 7. Gdy oceny są kategoryzowane zgodnie z systemem ocen szkolnych — złe, jeśli są niższe niż 6 i dobre, jeśli mają 7 i więcej — złe oceny okazują się być trzy razy częstsze niż dobre.

Ogólnie rzecz biorąc, gazety oceniają wyniki podobnie, chociaż od czasu do czasu zdarzają się spory nawet o 6 punktów. Obserwujemy dobrą zgodność w parze ocen między gazetami, stwierdzając, że oceny (i) mają identyczny rozkład; (ii) są ze sobą silnie skorelowane; oraz (iii) zazwyczaj różnią się jedną jednostką oceny (0,5), powiedzmy Pappalardo i spółka.

Aby przeanalizować związek między ocenami gazet a ocenami technicznymi, Pappalardo i wspólnie wykorzystują uczenie maszynowe w celu znalezienia korelacji w zestawach danych. W szczególności tworzą sztucznego sędziego, który próbuje odtworzyć oceny gazet z podzbioru danych technicznych.

Prowadzi to do ciekawego wyniku. Sztuczny sędzia może dopasować oceny gazet z rozsądnym stopniem dokładności, ale nie tak dobrze, jak gazety pasują do siebie. Spór wskazuje, że same cechy techniczne nie mogą w pełni wyjaśnić procesu oceniania [gazety], mówią Pappalardo i spółka.

Innymi słowy, oceny gazet muszą zależeć od czynników zewnętrznych, które nie są uwzględnione w danych technicznych, takich jak oczekiwanie określonego wyniku, osobiste nastawienie i tak dalej.

Aby przetestować ten pomysł, Pappalardo i spółka zebrali kolejny zestaw danych, które wychwytują czynniki zewnętrzne. Należą do nich wiek, narodowość i klub gracza, oczekiwany wynik gry oszacowany przez bukmacherów, rzeczywisty wynik gry oraz to, czy mecz jest rozgrywany u siebie, czy na wyjeździe.

Po uwzględnieniu tych danych sztuczny sędzia radzi sobie znacznie lepiej. Dodając informacje kontekstowe, zgodność statystyczna między sztucznym sędzią a ludzkim sędzią znacznie się zwiększa, twierdzą zespół.

Rzeczywiście, wyraźnie widzą przykłady wpływu czynników zewnętrznych na notowania gazet. W całym zestawie danych tylko dwóm graczom kiedykolwiek przyznano idealną dziesiątkę. Jednym z nich był argentyński napastnik Gonzalo Higuaín, który grał w Napoli. Przy tej okazji strzelił trzy gole w jednym meczu, stając się przy tym najwyższym strzelcem w sezonie w Serie A. Ten kamień milowy był prawie na pewno powodem doskonałej oceny, ale nie ma sposobu, aby to wywnioskować. wynik z zestawu danych technicznych.

Ważnym pytaniem jest, jakie czynniki wykorzystuje sztuczny sędzia, aby dopasować oceny gazet. Zauważamy, że większość uwagi ludzkiego sędziego poświęca się niewielkiej liczbie cech, a zdecydowana większość cech technicznych jest słabo uwzględniana lub odrzucana podczas procesu oceny, mówią Pappalardo i spółka.

Tak więc w przypadku atakujących napastników gazety zwykle oceniają ich za pomocą łatwo obserwowalnych czynników, takich jak liczba zdobytych bramek; oceniają bramkarzy na podstawie liczby straconych bramek. Zawodnicy pomocnicy są zwykle oceniani na podstawie bardziej ogólnych parametrów, takich jak różnica bramek.

To ma sens — ludzcy obserwatorzy mają ograniczoną przepustowość i prawdopodobnie są w stanie obserwować tylko niewielką część wskaźników wydajności. Rzeczywiście, zespół twierdzi, że sztuczny sędzia może dopasować oceny ludzkie przy użyciu mniej niż 20 czynników technicznych i zewnętrznych.

To fascynujący wynik, który ma ważne implikacje dla sposobu, w jaki myślimy o ocenach wydajności. Celem jest oczywiście znalezienie bardziej efektywnych sposobów oceny wyników we wszystkich sytuacjach. Pappalardo i spółka uważają, że ich praca ma na to znaczący wpływ. Ten artykuł może być wykorzystany do umożliwienia ewaluatorom zrozumienia logiki leżącej u podstaw ich decyzji, podsumowują.

Nr ref.: arxiv.org/abs/1712.02224 : Ludzkie postrzeganie wydajności

ukryć