Znalezienie odpowiedniego kawałka nieba

W zeszłym tygodniu o SIGGRAF , międzynarodowej konferencji poświęconej grafice komputerowej, grupa zaprezentowała innowacyjny system przeznaczony do analizy obrazów nieba. Większość komercyjnych systemów wyszukiwania obrazów dowiaduje się, co znajduje się na obrazie, analizując powiązany z nim tekst, na przykład słowa otaczające obraz na stronie internetowej lub znaczniki dostarczone przez ludzi. Ale najlepiej byłoby, gdyby oprogramowanie przeanalizowało zawartość samego obrazu. W tej dziedzinie przeprowadzono wiele badań, ale jak dotąd żaden pojedynczy system nie rozwiązał problemu. Nowy system, o nazwie SkyFinder, może zaoferować ważny wgląd w tworzenie intuicyjnego, automatycznego, skalowalnego narzędzia wyszukiwania dla wszystkich obrazów.

Przeszukiwanie nieba: SkyFinder automatycznie dzieli obraz na części i przypisuje każdemu znaczniki, umożliwiając użytkownikom znalezienie obrazów takich jak te powyżej.

Jian Sun , który pracował nad SkyFinder i jest głównym badaczem dla Grupa obliczeń wizualnych w Badania firmy Microsoft , mówi, że tradycyjne podejście do wyszukiwania obrazów czasami prowadzi do bezsensownych wyników, gdy komputer błędnie interpretuje otaczający tekst. Zazwyczaj wyszukiwarki, które analizują zawartość obrazów zamiast tekstu, potrzebują obrazu, który poprowadzi wyszukiwanie – czegoś przesłanego przez użytkownika, który wygląda bardzo podobnie do zamierzonego wyniku. Niestety taki obraz może nie być łatwy do znalezienia przez użytkownika. Sun twierdzi, że SkyFinder zapewnia dobre wyniki, a jednocześnie pozwala użytkownikowi na intuicyjną interakcję z wyszukiwarką.

Aby wyszukać konkretny rodzaj zdjęcia nieba, użytkownik po prostu wpisuje zapytanie w dość naturalnym języku, np. niebo pokryte czarnymi chmurami, z horyzontem na samym dole. SkyFinder zaoferuje sugerowane obrazy pasujące do tego opisu.

Każdy obraz jest przetwarzany po dodaniu go do bazy danych. Sun wyjaśnia, że ​​przy użyciu popularnej metody zwanej workiem słów obraz jest dzielony na małe fragmenty, z których każda jest analizowana i przypisywana do słowa kodowego, które opisuje go wizualnie. Analizując wzorce słów kodowych, system klasyfikuje obraz w kategoriach takich jak błękitne niebo czy zachód słońca oraz określa położenie słońca i horyzontu. Sun mówi, że wykonując tę ​​pracę w trybie offline, system można łatwo skalować, aby przeszukiwać bardzo duże bazy danych obrazów. (Baza danych SkyFinder zawiera obecnie pół miliona zdjęć.)

Możliwe jest również doprecyzowanie wyszukiwanych haseł za pomocą interfejsu wizualnego. System oferuje na przykład ekran, na którym użytkownik może dostosować ikony, aby pokazać żądane pozycje słońca i horyzontu. Te współrzędne są dodawane do wyszukiwania.

SkyFinder logicznie układa obrazy na ekranie — na przykład od błękitnego nieba do zachmurzonego nieba lub od dnia do zachodu słońca. Gdy użytkownik znajdzie obraz, który mu się podoba, może go użyć do kierowania bardziej ukierunkowanym wyszukiwaniem w celu znalezienia podobnych obrazów.

System zawiera również narzędzia pomagające użytkownikowi zastąpić niebo na jednym zdjęciu niebem z innego zdjęcia.

Grafika komputerowa odniosła ogromne sukcesy w ostatnich dziesięcioleciach, ale nadal nie jest możliwe, aby przeciętny użytkownik komputera zsyntetyzował dowolny obraz lub wideo według własnych upodobań, mówi James Hays, który nie był zaangażowany w badania i ma doktorat z informatyki. z Uniwersytetu Carnegie Mellon. Uważa, że ​​ważne jest opracowywanie bardziej wyrafinowanych narzędzi dla niedoświadczonych użytkowników. Tacy ludzie mogą użyć narzędzia takiego jak SkyFinder, aby znaleźć żądany obraz lub dokonać korekty istniejącego obrazu. Hays uważa, że ​​głównym wkładem SkyFindera jest interfejs użytkownika.

Ritendra Datta, inżynier w Google, która badała uczenie maszynowe i wyszukiwanie obrazów, mówi, że umożliwienie komputerom automatycznego zrozumienia, co jest wyświetlane na obrazie, pozostaje jednym z głównych otwartych problemów w wyszukiwaniu obrazów. SkyFinder wydaje się być interesującym nowym podejściem, które działa dla jednego typu obrazu. Datta uważa, że ​​postępy w specjalistycznych zastosowaniach mogłyby ostatecznie znaleźć zastosowanie na szerszą skalę.

Uważa jednak, że dokładne badania użyteczności są bardzo potrzebne w przypadku systemów wyszukiwania, które opierają się na automatycznej analizie obrazów.

Sun planuje ulepszyć SkyFindera, dostosowując go do analizy większej liczby atrybutów nieba i rozszerzając bazę danych. Na razie, mówi, systemy, które automatycznie analizują obrazy, muszą być trenowane zupełnie inaczej, w zależności od rodzaju obrazu, z którym pracują. Twierdzi jednak, że jego praca ze SkyFinderem mogłaby zostać wykorzystana do identyfikacji zdjęć nieba w ogólnym banku zdjęć.

ukryć