211service.com
Watson on Jeopardy, część 2
Oglądam pierwszą noc Niebezpieczeństwo Mecz, w którym program IBM Watson walczył z ludzkimi zawodnikami, był świetną zabawą. Jednym miłym akcentem był wyświetlacz za kulisami, który pokazywał trzy odpowiedzi, które Watson rozważał na każde pytanie, oraz zaufanie, jakie maszyna do nich pokładała. To interesujące, ponieważ daje pewien wgląd w zakres rzeczy, które rozważał.
Niektóre z kategorii to oczywiście softball dla Watsona. Jedna kategoria, Beatles People, była łatwa, ponieważ zwykłe dopasowanie tekstów piosenek zapewniłoby programowi długą drogę (ale nie całą) do znalezienia odpowiedzi. Reguły gry zabraniały komputerowi wychodzenia do sieci w celu znalezienia odpowiedzi. Watson musi polegać na własnych zasobach, przechowywanych z wyprzedzeniem. Ale w swoich 15 petabajtach pamięci Watson w zasadzie ma mniej więcej kopię dobrego obszaru sieci.
Oczywiście miał kopię tekstów Beatlesów, których szukał. W przeciwnym razie nie miałby modlitwy na te pytania.
Watson zakończył pierwszą rundę z remisem na pierwszym miejscu, z 5000 $; Ken Jennings był trzeci z 2000 $. Ale aby zorientować się, jak dobrze Watson naprawdę sobie poradził, możesz przeprowadzić własny konkurs w domu, przeciwko prawdziwemu konkurentowi Watsona. Nie Brada Ruttera czy Kena Jenningsa, ale wyszukiwarkę taką jak Google. Po prostu wpisz wskazówkę do Google i zobacz, co otrzymasz. Podobnie jak Watson, Google analizuje ogromne ilości tekstu, licząc słowa i śledząc, jak często słowa występują razem. Podobnie jak Watson, Google stosuje wiele podejść do analizy tekstu, a następnie stosuje rodzaj schematu głosowania, aby dowiedzieć się, na ile jest pewny odpowiedzi.
Istnieje wiele różnic między Watsonem a Google, ale zrobienie tego pozwoli Ci dobrze wyczuć problem. W większości przypadków otrzymujesz strony internetowe, które mają gdzieś w sobie odpowiedź, ale wybranie odpowiedzi z tego, co jest na stronie, reklam i wszystkiego innego, jest nie lada wyczynem. Głównym problemem jest zrozumienie, co stanowi odpowiedź.
Co ciekawe, sytuacja, w której Watson zawiódł, była czasami bardziej pouczająca niż wtedy, gdy mu się to udało.
Wskazówka: To była ta anatomiczna osobliwość amerykańskiego gimnastyczki George'a Eysera….
Odpowiedź Kena Jenningsa: Brakuje ręki (źle)
Odpowiedź Watsona: noga (źle)
Prawidłowa odpowiedź: brak nogi
Watson nie zdawał sobie sprawy, że samo słowo „noga” nie jest w rzeczywistości odpowiedzią na pytanie. To zdrowy rozsądek dla ludzi, ponieważ noga jest częścią anatomiczną, a nie anatomiczną osobliwością, chociaż Watson zdawał sobie sprawę, że nogi są w jakiś sposób zaangażowane. To, co się tutaj wydarzyło, mogło być czymś głębszym niż zwykły błąd. David Ferrucci, lider projektu Watsona, przypisał porażkę trudnościom słowa osobliwość w pytaniu. Aby zrozumieć, co może być dziwne, musisz to porównać z tym, co nie jest dziwne — to znaczy z tym, co jest zdrowe. Problem z podejściem Watsona polega na tym, że jeśli jakieś zdanie pojawi się w jego bazie danych, nie jest w stanie stwierdzić, czy ktoś je tam umieścił tylko dlatego, że jest prawdziwe, czy dlatego, że ktoś uznał, że jest tak niezwykłe, że trzeba je wypowiedzieć.
Komputer, któremu brakuje zdrowego rozsądku, niestety nie jest osobliwością. Może tak powinno być.
Henry Lieberman jest badacz który pracuje nad sztuczną inteligencją w Media Laboratory na MIT.