AI uważa, że ​​to zdjęcie powodzi to toaleta. Naprawa, która może poprawić reagowanie na katastrofy.

Poważne powodzie na Środkowym Zachodzie. Dzięki uprzejmości MIT Lincoln Laboratory

Andrew Weinert i jego koledzy byli głęboko sfrustrowani. Po tym, jak huragan Maria uderzył w Portoryko, naukowcy z Lincoln Laboratory w MIT ciężko pracowali, próbując pomóc Federalnej Agencji Zarządzania Kryzysowego (FEMA) w ocenie szkód. Mieli w ręku doskonały zestaw danych: 80 000 zdjęć lotniczych regionu wykonanych przez Cywilny Patrol Powietrzny tuż po katastrofie.

Ale był problem: było zbyt wiele obrazów do ręcznego sortowania, a komercyjne systemy rozpoznawania obrazów nie identyfikowały niczego sensownego. W jednym szczególnie rażącym przykładzie ImageNet, złoty standard klasyfikacji obrazów, zalecił oznaczenie obrazu przedstawiającego główną strefę zalania jako toaletę.

Była tam niesamowita zawartość informacji, ale nie była dostępna, mówi Weinert.

Wkrótce zdali sobie sprawę, że ten problem nie jest wyjątkowy. W każdym scenariuszu katastrofy na dużą skalę zespoły ratownicze, takie jak FEMA, mogą zaoszczędzić znaczną ilość czasu i zasobów, analizując szczegóły warunków naziemnych przed ich przybyciem. Jednak większość komputerowych systemów wizyjnych jest szkolona w oparciu o regularne, codzienne obrazy, więc nie są w stanie wiarygodnie rozpoznać istotnych szczegółów w strefach katastrofy.

Realizacja zmusiła zespół do skompilowania i opisania nowego zestawu zdjęć i materiałów filmowych dostosowanych do scenariuszy reagowania kryzysowego. Wydali zestaw danych wraz z papier w tym tygodniu w nadziei, że w przyszłości zostanie on wykorzystany do szkolenia komputerowych systemów wizyjnych.

Zestaw danych obejmuje ponad 620 000 zdjęć i 96,5 godziny wideo, które obejmują zdjęcia ze wszystkich 50 stanów USA. Większość mediów pochodziła z rządowych baz danych lub filmów Creative Commons na YouTube; niewielka część została również sfilmowana przez samych pracowników Lincoln Lab.

Obrazy ze zbioru danych. Dzięki uprzejmości MIT Lincoln Laboratory

Aby uczynić go naprawdę użytecznym dla ratowników, badacze rozważyli różne scenariusze awaryjne, które prawdopodobnie zakłócą działanie powszechnych systemów klasyfikacji obrazów. Na przykład skompilowali obrazy samochodów w zalanych wodach; większość systemów widziałaby wodę i natychmiast oznaczała pojazd jako łódź — po prostu jako symptom ich danych treningowych.

Spędzili również dużo czasu, zastanawiając się, jak najlepiej dodawać adnotacje do obrazów. Chcieli, aby adnotacje oferowały służbom ratunkowym przydatny kontekst dla ich misji, a także wymagali, aby schemat adnotacji był wystarczająco prosty, aby osoby zajmujące się etykietowaniem danych mogły działać szybko i przy minimalnej liczbie błędów. Naśladowali więc strukturę organizacyjną ImageNet, która grupuje zdjęcia w coraz bardziej szczegółowe kategorie obiektów, takie jak zwierzę, pies, a następnie labrador retriever. Jednak zamiast kategorii obiektów naukowcy pogrupowali zdjęcia w oparciu o coraz bardziej szczegółowe cechy katastrofy: Czy są szkody? Tak lub nie? Czy jest woda? Tak lub nie? Czy powinna tam być woda? Tak lub nie?

Takie kwalifikacje umożliwią badaczom widzenia komputerowego łatwe sortowanie zbioru danych i wybieranie odpowiednich segmentów w celu szkolenia systemów rozpoznawania obrazów związanych z katastrofami. Systemy te pomogłyby następnie ratownikowi szybko przetworzyć obrazy z nowych scenariuszy katastrofy, aby uzyskać wyobrażenie o najgorszych obszarach oddziaływania, rodzajach warunków naziemnych, jakich można się spodziewać, oraz jakie materiały eksploatacyjne należy przygotować do misji.

Weinert mówi, że wciąż trwają prace, ale jest podekscytowany jego potencjałem. Gdybyśmy mogli znaleźć sposób na powiedzenie: „W ten sposób należy kwalifikować obrazy reakcji na katastrofy”, Amazon, Task Rabbit i wszystkie inne jednostki źródła chmury mogłyby zacząć używać go jako standardu branżowego, mówi, i zacząć rozwijać więcej systemy rozpoznawania świadome katastrofy.

Naukowcy udostępniają teraz zestaw danych Narodowemu Instytutowi Standardów i Technologii i rozpoczęli współpracę z innymi organizacjami w celu zorganizowania konkursów rozpoznawania obrazów wokół jego wykorzystania. Szukamy sposobów na przekazanie tego w ręce badaczy wizji komputerowych, mówi Weinert.

Aby więcej takich historii trafiało bezpośrednio do Twojej skrzynki odbiorczej, zapisz się do naszego nominowanego przez Webby biuletynu AI The Algorithm. Jest wolne.

ukryć