Prawo Benforda i sztuka sukcesu w testach wielokrotnego wyboru

W latach 30. XX wieku amerykański fizyk Frank Benford odkrył, że na niektórych listach liczb o wiele bardziej prawdopodobne jest, że pierwsza cyfra to 1 niż 9. Testował ten pomysł na różnych zbiorach danych, takich jak powierzchnia rzek, lista stałych fizycznych, a nawet adresy ulic pierwszych 342 wpisów w American Men of Science.

W każdym przypadku znalazł ten sam wzór. Liczba 1 jest pierwszą cyfrą w 30 procentach przypadków, liczba 2 jest pierwszą cyfrą w 18 procentach przypadków, liczba 3 jest pierwszą w 13 procentach przypadków i tak dalej, aż do liczby 9, która jest pierwsza tylko 5 procent czasu.

Następnie zaproponował prawo Benforda: rozkład pierwszych liczb w wielu, ale nie we wszystkich zbiorach danych, przebiega według tego samego wzoru logarytmicznego. Okazuje się, że ta właściwość jest prawdziwa dla wielu zbiorów danych zawierających wielkości fizyczne, ale nie jest prawdziwa dla liczb generowanych losowo, w których rozkład pierwszych cyfr jest jednolity.

Teraz, 60 lat później, prawo Benforda jest znane. Najbardziej znaną aplikacją jest wykrywanie oszustw. Jest to możliwe, ponieważ rozkład pierwszych cyfr na rachunkach firmy okazuje się zgodny z prawem Benforda. Więc każde odstępstwo od tego jest dobrym dowodem na to, że ktoś gotował książki. A to doprowadziło do upadku różnych oszustów.

Ale to rodzi interesujące pytanie: gdzie jeszcze można by dobrze wykorzystać prawo Benforda?

Dzisiaj Aaron Slepkov z Trent University w Peterborough w Kanadzie i kilku kumpli wysunęli propozycję. Wskazują, że odpowiedzi na egzaminy wielokrotnego wyboru z fizyki muszą być zgodne z prawem Benforda. Ale jeśli nieprawidłowe odpowiedzi zostaną wybrane losowo, nie będą zgodne z prawem Benforda.

Czy zatem przedsiębiorczy student, który rozumie prawo Benforda, ale ma niewielką wiedzę na temat fizyki, może zyskać przewagę?

Aby się tego dowiedzieć, Slepkov i spółka przeprowadzili symulację takiego egzaminu wielokrotnego wyboru obejmującego 5000 próbnych pytań. W celu uzyskania poprawnych odpowiedzi wykorzystali zbiór liczb pobranych z odpowiedzi na pytania z prawdziwej fizyki. Ale wzięli niepoprawne odpowiedzi z zestawu danych liczb losowych, w którym pierwsze cyfry są równomiernie rozłożone (tj. pierwsza cyfra jest równie prawdopodobna, jak dowolna z cyfr od 1 do 9).

Najlepszą strategią w takim teście wielokrotnego wyboru jest wybranie odpowiedzi z najniższą pierwszą cyfrą. A jeśli dwie lub więcej odpowiedzi ma tę samą najniższą cyfrę, wybierz.

I to właśnie zrobili Slepkov i spółka podczas testów. Wyniki są rozstrzygające. W teście wielokrotnego wyboru obejmującym 3 możliwe odpowiedzi strategia ta dała wynik 51 procent. To jasne, mimo że odpowiedzi zostały wybrane bez żadnej wiedzy na temat testowanej fizyki.

W pewnym sensie nie jest to zaskakujące. Prawo Benfordsa sugeruje, że szanse na to, że pierwsza cyfra to 1, 2 lub 3 są większe niż 50 procent, co daje wyraźną stronniczość dla kogoś wtajemniczonego.

Ale czy ta strategia sprawdza się w przypadku prawdziwych egzaminów? Slepkov i jego współpracownicy przetestowali go na zbiorze danych znanych egzaminów wielokrotnego wyboru z fizyki, a ich wyniki zaskakują.

Strategia sugerowana przez prawo Benforda nie daje żadnej przewagi. Odkryli, że nie da się w ten sposób zdać egzaminu z fizyki.

Dlaczego? Slepkov i spółka przyjrzeli się poprawnym odpowiedziom, a także fałszywym odpowiedziom w tych artykułach i znaleźli coś zaskakującego. Podczas gdy prawdziwe odpowiedzi są zgodne z prawem Benforda, niepoprawne odpowiedzi również. Nie ma więc różnicy w rozmieszczeniu pierwszych cyfr, które przedsiębiorczy student może wykorzystać.

Nie jest jasne, dlaczego błędne odpowiedzi są zgodne z prawem Benforda. Oczywiście nie są to liczby losowe, więc jak można je wybrać? Slepkov i współpracownicy omawiają szereg możliwości, być może najbardziej oczywistym jest to, że są one odpowiedziami na inne pytania, podobnie jak same wielkości fizyczne. Ale są też inne możliwości.

Będzie to rozczarowanie dla legionów czytających to studentów fizyki, którzy mieli nadzieję, że poradzą sobie z niewielką lub żadną wiedzą na swój temat.

Tym studentom Slepkov i spółka oferują promyk nadziei. Wskazują, że szanse na poprawną odpowiedź na pytanie z fizyki zaczynające się od cyfr 1, 2 lub 3 wynoszą ponad 50%. Ale równie dobrze szanse na odpowiedź zaczynającą się od 7, 8 lub 9 wynoszą tylko 15 procent.

Kończą więc tak:

Jedna drobna rada, jaką możemy dać uczniowi zorientowanemu na test, jest następująca: pod koniec długiego egzaminu konstruowanych odpowiedzi, jeśli masz mało czasu na ponowne sprawdzenie odpowiedzi na wszystkie pytania, poświęć czas na te pytania, które dały ostateczne odpowiedzi, które mają największą cyfrę wiodącą; Oczekuje się, że pytania będą miały odpowiedzi z wiodącymi cyframi 7, 8 lub 9 tylko w 15% przypadków.

Powodzenia!

Nr ref.: arxiv.org/abs/1311.4787v1 : Prawo Benforda: ćwiczenia podręcznikowe i banki testów wielokrotnego wyboru

ukryć