Wiodąca konferencja AI próbuje rozwiązać kryzys odtwarzalności w tej dziedzinie

Kategoria: Sztuczna inteligencja Opublikowany kwi 09

W zeszłym tygodniu organizatorzy konferencji Neural Information Processing Systems Conference (NeurIPS), jednej z największych na świecie corocznych konferencji naukowych poświęconych AI, zaktualizowany ich polityka dotycząca zgłoszeń papierowych wymaga tego, co nazywają listą kontrolną odtwarzalności. To niewielka zmiana w większej walce o powstrzymanie narastającego kryzysu odtwarzalności w nauce, w której niepokojąca liczba wyników badań nie jest z powodzeniem replikowana przez innych badaczy, co poddaje w wątpliwość słuszność wstępnych ustaleń.

W lutym statystyk z Rice University ostrzegł, że techniki uczenia maszynowego prawdopodobnie napędzają ten kryzys, ponieważ uzyskiwane przez nie wyniki są trudne do audytu. Jest to niepokojący problem, ponieważ uczenie maszynowe jest coraz częściej stosowane w ważnych obszarach, takich jak opieka zdrowotna i badania nad lekami.

Lista kontrolna odtwarzalności NeurIPS próbuje rozwiązać ten problem. Między innymi badacze muszą przedstawić jasny opis swojego algorytmu; pełny opis procesu gromadzenia danych; link do dowolnego środowiska symulacyjnego, którego używali podczas szkolenia; oraz obszerny opis tego, jakie dane przechowywali, wyrzucali i dlaczego. Pomysł polega na stworzeniu nowego standardu przejrzystości dla naukowców, aby pokazać, w jaki sposób doszli do swoich wniosków.

Jako najważniejsza na świecie konferencja AI, napisał Jack Clark, dyrektor ds. Polityki organizacji non-profit OpenAI, w swoim cotygodniowym biuletynie Import AI, polityka NeurIPS 2019 będzie miała efekt domina w szerszym ekosystemie AI.

Ta historia pierwotnie pojawiła się w naszym nominowanym przez Webby biuletynie AI The Algorithm. Aby otrzymać go bezpośrednio do skrzynki odbiorczej, zarejestruj się tutaj za darmo.