Czy zautomatyzowane narzędzia redakcyjne mogą pomóc malejącej grupie wolontariuszy Wikipedii?

Rezultatem jest wiele wysokiej jakości artykułów na wiele różnych tematów w ponad 200 językach. Ale są też artykuły o słabej jakości i wątpliwej prawdziwości.

Rodzi to ważne pytanie dla odwiedzających witrynę: na ile wiarygodny jest dany artykuł w Wikipedii?

Dzisiaj otrzymujemy odpowiedź dzięki pracy Xiangju Qin i Pádraiga Cunninghama z University College Dublin w Irlandii. Ci faceci opracowali algorytm, który ocenia jakość stron Wikipedii w oparciu o autorytatywność zaangażowanych redaktorów i trwałość wprowadzonych przez nich zmian.

Hipoteza jest taka, że ​​strony ze znaczącym wkładem autorytatywnych autorów prawdopodobnie będą stronami wysokiej jakości. Biorąc pod uwagę te informacje, odwiedzający Wikipedię powinni być w stanie znacznie dokładniej ocenić jakość dowolnego artykułu.

W przeszłości różne grupy badały jakość artykułów w Wikipedii i sposoby jej mierzenia. Nowość tej pracy polega na łączeniu istniejących środków w nowy sposób.

Qin i Cunningham zaczynają od standardowego sposobu mierzenia trwałości edycji. Chodzi o to, że wysokiej jakości edycja z większym prawdopodobieństwem przetrwa przyszłą wersję. Obliczyli to, łącząc rozmiar edycji wykonanej przez danego autora i czas trwania edycji po innych korektach.

Wandalizm to częsty problem na Wikipedii. Aby obejść ten problem, Qin i Cunningham ignorują wszystkie anonimowe wpisy, a także przeprowadzają średnią miarę jakości, która zwykle zmniejsza wpływ złośliwych edycji.

Następnie mierzą autorytet każdego redaktora. Wikipedia jest dobrze znana ze stosunkowo niewielkiej liczby oddanych redaktorów, którzy odgrywają fundamentalną rolę w społeczności. Ci ludzie pomagają utrzymać różne standardy redakcyjne i rozpowszechniają tę wiedzę w całej społeczności.

W tej społeczności Qin i Cunningham zakładają, że istnieje powiązanie między dwoma redaktorami, jeśli obaj są współautorami artykułu. Nieuchronnie więc bardziej doświadczeni redaktorzy mają lepsze połączenie w sieci.

Istnieją różne sposoby mierzenia autorytetu. Qin i Cunningham sprawdzają liczbę innych edytorów, z którymi dany edytor jest połączony. Oceniają odsetek najkrótszych ścieżek w sieci, które przechodzą przez danego edytora. I używają iteracyjnego algorytmu typu Pagerank do mierzenia autorytetu. (Pagerank to algorytm Google, w którym strona internetowa jest uważana za ważną, jeśli wskazują na nią inne ważne strony internetowe).

Wreszcie Qin i Cunningham łączą te wskaźniki długowieczności i autorytetu, aby uzyskać miarę jakości artykułu.

Aby sprawdzić skuteczność swojej oceny, wykorzystali swój algorytm do oceny jakości ponad 9000 artykułów, które zostały już ocenione przez redaktorów Wikipedii. Mówią, że sama długowieczność edycji jest już dobrym wskaźnikiem jakości artykułu. Jednak uwzględnienie autorytetu redaktorów generalnie poprawia ocenę.

Artykuły ze znaczącym wkładem autorytatywnych autorów będą prawdopodobnie wysokiej jakości, a artykuły wysokiej jakości zazwyczaj wymagają większej komunikacji i interakcji między autorami, podsumowują.

Oczywiście istnieją pewne ograniczenia. Popularny rodzaj edycji, znany jako cofnięcie, zmienia artykuł na jego poprzednią wersję, tym samym całkowicie usuwając edycję. Jest to często używane do pozbycia się wandalizmu. Qin i Cunningham przyznają, że obecnie nie mamy żadnego specjalnego traktowania w przypadku cofniętych edycji, które nie wprowadzają nowej treści na stronę. Jest więc praca do wykonania w przyszłości.

Jednak nowe podejście może być przydatnym narzędziem w arsenale redaktora Wikipedii. Qin i Cunningham sugerują, że może to pomóc w identyfikacji nowych artykułów, które są stosunkowo dobrej jakości, a także w identyfikacji istniejących artykułów, które są szczególnie niskiej jakości i dlatego wymagają dalszej uwagi.

Wraz z dobrze udokumentowanym spadkiem liczby wolontariuszy Wikipedii, zautomatyzowane narzędzia redakcyjne są wyraźnie przydatne w zmniejszaniu obciążenia pracą tych, którzy pozostają. Szersze pytanie brzmi, jak dobre mogą się stać te narzędzia i jak powinny być używane w tego rodzaju przedsięwzięciach opartych na tłumach.

Nr ref.: arxiv.org/abs/1206.2517 : Ocenianie jakości stron Wikipedii za pomocą długowieczności edycji i centralności współtwórców

ukryć