211service.com
Dlaczego i jak Baidu oszukał test na sztuczną inteligencję?
Sport oprogramowania treningowego do inteligentnego działania właśnie wywołał swój pierwszy skandal z oszustwami. W zeszłym miesiącu chińska firma Baidu ogłosiła, że jej oprogramowanie do rozpoznawania obrazów wyprzedziło Google w standardowym teście dokładności. We wtorek firma przyznała, że osiągnęła te wyniki łamiąc zasady tego testu.
Eksperci akademiccy, którzy utrzymują ten test, twierdzą, że: sprawia, że twierdzenia Baidu o pokonaniu Google są bezsensowne . Ren Wu, badacz Baidu, który kierował pracami nad omawianym oprogramowaniem, przeprosił i powiedział, że firma przegląda wyniki. Firma ma poprawiono dokument techniczny wydane na swoim oprogramowaniu.
Nie wiemy, czy było to działanie jednej osoby, czy strategia zespołu jako całości. Ale dlaczego wielomiliardowa korporacja może zawracać sobie głowę oszustwem w niejasnym teście przeprowadzanym przez naukowców na zasadzie dobrowolności, jest w rzeczywistości całkiem jasne.
Baidu, Google, Facebook i inne duże firmy komputerowe w ostatnich latach dużo wydały na tworzenie grup badawczych zajmujących się głębokim uczeniem, podejściem do tworzenia oprogramowania do uczenia maszynowego, które poczyniło ogromne postępy w rozpoznawaniu mowy i obrazów. Firmy te ciężko pracowały, aby zatrudnić czołowych ekspertów w małej dziedzinie – często od siebie nawzajem (patrz Czy Google zdobywa rynek w zakresie uczenia głębokiego ). Garść standaryzowanych testów opracowanych w środowisku akademickim to waluta, według której te grupy badawcze porównują swoje postępy i promują swoje osiągnięcia wśród opinii publicznej.
Baidu uzyskał nieuczciwą przewagę, wykorzystując projekt testu. Aby uzyskać ocenę swojego oprogramowania w ramach ImageNet Challenge, najpierw trenuj je za pomocą ustandaryzowanego zestawu 1,5 miliona obrazów. Następnie przesyłasz kod na serwer ImageNet Challenge, aby jego dokładność można było przetestować na zbiorze 100 000 obrazów weryfikacyjnych, których oprogramowanie nigdy wcześniej nie widziało.
Reguły Challenge mówią, że musisz testować swój kod tylko dwa razy w tygodniu, ponieważ w wynikach jest element szansy.
Baidu przyznał, że używał wielu kont e-mail do testowania swojego kodu około 200 razy w ciągu niecałych sześciu miesięcy – ponad cztery razy więcej niż pozwalają na to przepisy.
Oren Etzioni, dyrektor generalny Instytut Allena ds. Sztucznej Inteligencji , porównuje to, co zrobił Baidu, z kupowaniem wielu losów na loterię. Jeśli kupisz dwa bilety tygodniowo, masz pewną szansę, jeśli kupisz 200 tygodniowo, masz większą szansę, mówi. Co więcej, testowanie nieco innego kodu w wielu testach może pomóc zespołowi badawczemu zoptymalizować jego oprogramowanie pod kątem osobliwości zbierania obrazów walidacyjnych, które nie są odzwierciedlone w rzeczywistych zdjęciach.
Sukces głębokiego uczenia się na tym konkretnym teście jest tak duży, że nawet niewielka przewaga może mieć znaczenie. Baidu poinformował, że osiągnął wskaźnik błędów wynoszący tylko 4,58 procent, pokonując poprzedni najlepszy wynoszący 4,82 procent, zgłoszone przez Google w marcu. W rzeczywistości niektórzy eksperci zauważyli, że niewielkie marginesy zwycięstwa w wyścigu, aby poprawić się w tym konkretnym teście, sprawiają, że staje się on coraz bardziej bezsensowny. To, że Baidu i inni nadal trąbią o swoich wynikach – a nawet mogą być skłonni łamać zasady – sugeruje, że bycie najlepszym w uczeniu maszynowym ma dla nich ogromne znaczenie.