211service.com
Czy sztuczna inteligencja wygra konkurs na napisy?
Kiedy użytkownicy mediów społecznościowych przesyłają zdjęcia i podpisują je, nie tylko oznaczają ich treści. Opowiadają historię, która nadaje zdjęciom kontekst i dodatkowe znaczenie emocjonalne.
DO opublikowany artykuł przez Microsoft Research opisuje system podpisów graficznych, który naśladuje unikalny styl wizualnego opowiadania historii. Firmy takie jak Microsoft, Google i Facebook spędziły lata ucząc komputery etykietowania zawartości obrazów, ale to nowe badanie idzie o krok dalej, ucząc system oparty na sieci neuronowej, aby wywnioskować historię z kilku obrazów. Kiedyś może być używany do automatycznego generowania opisów zestawów obrazów lub do przenoszenia ludzkiego języka do innych zastosowań sztucznej inteligencji.
Zamiast podawać nijakie lub waniliowe opisy tego, co dzieje się na obrazach, umieszczamy je w szerszym kontekście narracyjnym, mówi Frank Ferraro, doktorant z Johns Hopkins University, współautor artykułu. Możesz zacząć wyciągać prawdopodobne wnioski na temat tego, co może się wydarzyć.
Rozważ album ze zdjęciami przedstawiającymi grupę przyjaciół świętujących urodziny w barze. Niektóre z wczesnych zdjęć pokazują ludzi zamawiających piwo i pijących je, podczas gdy późniejsze zdjęcie pokazuje kogoś śpiącego na kanapie.
System napisów może po prostu powiedzieć: „Osoba leżąca na kanapie” – mówi Ferraro. Ale system opowiadania historii może być w stanie powiedzieć: „No cóż, biorąc pod uwagę, że myślę, że ci ludzie imprezowali lub jedli i pili, to ta osoba może być pijana”.
Jeden z przykładów wymienionych w artykule obejmuje serię pięciu obrazów. Pokazują rodzinę zebraną wokół stołu, talerz ze skorupiakami, psa i zdjęcia z plaży. Sieć neuronowa opisała ich czytając historyjkę: Rodzina zebrała się na wspólne gotowanie. Mieli dużo pysznego jedzenia. Pies był szczęśliwy, że tam był. Świetnie się bawili na plaży. Mieli nawet kąpiel w wodzie.
Zespół, którym kierowała badaczka Microsoft Margaret Mitchell i obejmowała stażystów Microsoftu, takich jak Ferraro i badacz z Facebook AI, przekształcił tak zwaną sieć neuronową sekwencja-sekwencja w narratora, szkoląc go za pomocą obrazów pochodzących z Flickr. Poprosili pomocników o pisanie podpisów do poszczególnych obrazów i serii obrazów w określonych sekwencjach.
Podejście podobne do stosowanego do oznaczania zawartości pojedynczych zdjęć dawało historie, które były zbyt ogólne. Aby temu przeciwdziałać, zespół opracował sposób, w jaki sieć wybiera słowa, które mogą być wizualnie istotne. Wymagały również, aby system nie powtarzał słów.
Opowiadanie historii jest ważną częścią bycia człowiekiem, mówi dyrektor Stanford Vision Lab Fei-Fei Li, który nie brał udziału w badaniach. Technologia, która może naśladować ludzkie techniki dokumentowania historii, musi być w stanie odnosić się do obiektów i postaci widzianych na wielu zdjęciach i wnioskować o związkach między ludźmi, przedmiotami i miejscami.
Opublikowany artykuł to dopiero początek tego rodzaju technologii, mówi Li. Jednak rozpoczęcie realizacji tak ambitnego projektu to dobry krok naprzód. Nie mogę się doczekać dalszych prac tych autorów i innych.