211service.com
Sztuczna inteligencja pokonała ludzi w czytaniu z ust
Czytanie z ruchu warg jest bardzo trudne, ponieważ zależy w takim samym stopniu od kontekstu i znajomości języka, jak i od wskazówek wizualnych. Ale naukowcy pokazują, że uczenie maszynowe może być wykorzystywane do odróżniania mowy z niemych klipów wideo skuteczniej niż profesjonalni użytkownicy ruchu warg.
W ramach jednego projektu zespół z Wydziału Informatyki Uniwersytetu Oksfordzkiego opracował nowy system sztucznej inteligencji o nazwie LipNet. Jak Zgłoszono kwarc , jego system został zbudowany na zbiorze danych znanym jako GRID, który składa się z dobrze oświetlonych, skierowanych do przodu klipów ludzi czytających trzysekundowe zdania. Każde zdanie oparte jest na ciągu słów zgodnych z tym samym wzorem.
Zespół wykorzystał ten zestaw danych do wytrenowania sieci neuronowej, podobnej do tej, której często używa się do rozpoznawania mowy. Jednak w tym przypadku sieć neuronowa identyfikuje zmiany w kształcie ust w czasie, ucząc się łączyć te informacje z wyjaśnieniem tego, co zostało powiedziane. Sztuczna inteligencja nie analizuje materiału filmowego we fragmentach, ale rozważa całość, umożliwiając zrozumienie kontekstu analizowanego zdania. To ważne, ponieważ kształtów ust jest mniej niż dźwięków wydawanych przez ludzki głos.
Kiedy przetestowany , system był w stanie poprawnie zidentyfikować 93,4% słów. Ochotnicy czytający z ruchu warg, poproszeni o wykonanie tych samych zadań, poprawnie zidentyfikowali tylko 52,3% słów.
Ale jak Nowy naukowiec raporty , inny zespół z Department of Engineering Science w Oksfordzie, który współpracuje z Google DeepMind, wykonał raczej trudniejsze zadanie. Zamiast używać schludnego i spójnego zestawu danych, takiego jak GRID, wykorzystuje serię 100 000 klipów wideo zaczerpniętych z telewizji BBC. Te filmy mają znacznie szerszy zakres językowy, ze znacznie większą różnorodnością oświetlenia i pozycji głowy.
Za pomocą podobne podejście , zespołowi Oxford i DeepMind udało się stworzyć sztuczną inteligencję, która była w stanie poprawnie zidentyfikować 46,8 procent wszystkich słów. To także znacznie lepiej niż ludzie, którzy bezbłędnie zarejestrowali tylko 12,4 procent słów. Istnieje wiele powodów, dla których dokładność jest niższa, od oświetlenia i orientacji po większą złożoność języka.
Pomijając różnice, oba eksperymenty pokazują, że sztuczna inteligencja znacznie przewyższa ludzi w czytaniu z ruchu warg i nietrudno wyobrazić sobie potencjalne zastosowania takiego oprogramowania. W przyszłości Skype może wypełnić luki, gdy osoba dzwoniąca będzie przebywać w hałaśliwym otoczeniu, a osoby z wadami słuchu będą mogły podnieść smartfon, aby usłyszeć, co ktoś mówi.
(Czytaj więcej: Kwarc , Nowy naukowiec , Oxford Machine Learning Reading Group , arXiv , Wyzwania i zagrożenia związane z automatycznym czytaniem z ust )