211service.com
Wyszukiwanie wykładów wideo
Naukowcy z MIT wydali narzędzie do wyszukiwania wideo i audio, które rozwiązuje jeden z najtrudniejszych problemów w tej dziedzinie: jak podzielić długi wykład akademicki na łatwe do opanowania części, wskazać lokalizację słów kluczowych i skierować do nich użytkownika. Ogłoszony w zeszłym miesiącu MIT Przeglądarka wykładów strona internetowa zapewnia ogółowi społeczeństwa szczegółowy dostęp do ponad 200 wykładów publicznie dostępnych za pośrednictwem uniwersytetu OpenCourseWare inicjatywa. Wyszukiwarka wykorzystuje dziesiątki lat badań nad rozpoznawaniem mowy w MIT i innych instytucjach, aby przekonwertować dźwięk na tekst i umożliwić jego przeszukiwanie.
Patrząc na wykłady: MIT oferuje narzędzie do wyszukiwania wideo, które może wskazać słowa kluczowe w wykładach audio i wideo. Tutaj wyszukiwanie egzoszkieletu i benzyny prowadzi do tego klipu wideo. Zautomatyzowany transkrypcja wykładu pojawi się pod filmem.
Przeglądarka wykładów pojawia się w czasach, gdy coraz więcej uniwersytetów, w tym Carnegie Mellon University i University of California w Berkeley, publikuje filmy i podcasty z wykładami online. Chociaż te treści są przydatne, zlokalizowanie określonych informacji w ramach wykładów może być trudne, co frustruje studentów, którzy są przyzwyczajeni do znajdowania potrzebnych informacji w mniej niż sekundę w Google.
Jest to coraz większy problem dla uniwersytetów w całym kraju, ponieważ łatwiej jest nagrywać wykłady w klasie, mówi Jima Glassa, naukowiec na MIT. Prawdziwym wyzwaniem jest wiedzieć, jak je rozpowszechniać i ułatwić studentom dostęp do części wykładu, którymi mogą być zainteresowani. To jak znalezienie igły w stogu siana.
Podstawowe elementy przeglądarki Lecture Browser są obracane w laboratoriach badawczych w MIT i miejscach takich jak Technologie BBN w Bostonie, Carnegie Mellon, SRI Międzynarodowy w Palo Alto w Kalifornii i na Uniwersytecie Południowej Kalifornii od ponad 30 lat. Ich wysiłki zaowocowały stworzeniem oprogramowania, które w końcu jest wystarczająco dobre, aby trafić do przeciętnego człowieka, mówi Premkumar Natarajan, naukowiec z BBN. Jak mówi, istnieje około trzech dekad pracy, w których rozwiązano wiele podstawowych problemów. Technologia jest na tyle dojrzała, że społeczność nabiera coraz większego poczucia, że nadszedł czas [testowanie aplikacji w prawdziwym świecie]. W laboratorium zrobiliśmy wszystko, co w naszej mocy.
Kilka firm, takich jak internetowe wyszukiwarki audio i wideo Mrugnięciex oraz KażdyZing (która ma licencjonowaną technologię od BBN) korzysta z oprogramowania, które konwertuje mowę audio na tekst, który można przeszukiwać. (Patrz Surfowanie po telewizji w Internecie i dokładniejsze wyszukiwanie wideo.) Jednak badacze z MIT napotkali szczególne wyzwania związane z wykładami akademickimi. Po pierwsze, wielu wykładowców nie jest rodzimymi użytkownikami języka angielskiego, co sprawia, że automatyczna transkrypcja jest trudna dla systemów wyszkolonych z akcentami w amerykańskim angielskim. Po drugie, słowa preferowane na wykładach naukowych mogą być raczej niejasne. Wreszcie, mówi Regina Barzilay , profesor informatyki na MIT, wykłady mają bardzo mało dostrzegalną strukturę, co czyni je trudnymi do podzielenia i uporządkowania w celu łatwego wyszukiwania. Przejścia miejscowe są bardzo subtelne, mówi. Wykłady nie są zorganizowane jak normalny tekst.
Aby rozwiązać te problemy, naukowcy najpierw skonfigurowali oprogramowanie, które konwertuje dźwięk na tekst. Nauczyli oprogramowanie rozumieć poszczególne akcenty, używając dokładnych transkrypcji krótkich fragmentów nagranej mowy. Aby pomóc oprogramowaniu zidentyfikować nietypowe słowa – od muszki drozofilowej po całki w pętli zamkniętej – naukowcy dostarczyli mu dodatkowe dane, takie jak tekst z książek i notatki z wykładów, które pomagają oprogramowaniu w dokładnym przepisaniu nawet czterech z pięciu słów. Jeśli system jest używany z osobą, która nie jest rodzimym użytkownikiem języka angielskiego, którego akcent i słownictwo nie zostały wytrenowane w rozpoznawaniu, dokładność może spaść do 50 procent. (Tak niska dokładność nie byłaby przydatna w przypadku bezpośredniej transkrypcji, ale nadal może być przydatna podczas wyszukiwania słów kluczowych).
Następnym krokiem, wyjaśnia Barzilay, jest dodanie struktury do transkrybowanych słów. Dostępne było już oprogramowanie, które potrafiło rozbijać długie ciągi zdań na koncepcje wysokiego poziomu, ale stwierdziła, że nie radzi sobie z wykładami. Więc jej grupa zaprojektowała swoją własną. Mówi, że jednym z kluczowych rozróżnień jest to, że podczas wykładu mówi się swobodnie; włóczycie się i mamroczecie.
Aby uporządkować transkrybowany tekst, jej grupa stworzyła oprogramowanie, które dzieli tekst na fragmenty, które często odpowiadają poszczególnym zdaniom. Oprogramowanie umieszcza te fragmenty w strukturze sieci; fragmenty, które mają podobne słowa lub zostały wypowiedziane blisko siebie w czasie, są umieszczane w sieci bliżej siebie. Względna odległość fragmentów w sieci pozwala oprogramowaniu zdecydować, które zdania należą do każdego tematu lub podtematu w wykładzie.
Rezultatem, jak mówi, jest spójna transkrypcja. Gdy osoba szuka słowa kluczowego, przeglądarka oferuje wyniki w postaci osi czasu wideo lub audio podzielonej na sekcje. Część wykładu zawierająca słowo kluczowe jest podświetlona; poniżej znajdują się fragmenty tekstu, które otaczają każde wystąpienie słowa kluczowego. Podczas odtwarzania wideo przeglądarka wyświetla pod nim transkrybowany tekst.
Barzilay twierdzi, że przeglądarka otrzymuje obecnie średnio 21 000 wejść dziennie i chociaż zyskuje na popularności, wciąż pozostaje wiele do zrobienia. W ciągu najbliższych kilku miesięcy jej zespół doda funkcję, która automatycznie dołącza konspekt tekstu do wykładów, dzięki czemu użytkownicy będą mogli przejść do wybranej sekcji. W dalszej przyszłości naukowcy dadzą użytkownikom możliwość wprowadzania poprawek w transkrypcji w taki sam sposób, w jaki ludzie przyczyniają się do tego Wikipedia. Chociaż takie ulepszenia wydają się proste, stanowią wyzwanie techniczne, mówi Barzilay. Nie jest to trywialna sprawa, ponieważ potrzebujesz interfejsu, który nie jest żmudny i musisz propagować poprawkę przez cały wykład i na inne wykłady. Mówi, że wprowadzenie ludzi w pętlę transkrypcji może poprawić dokładność systemu o kilka punktów procentowych, jeszcze bardziej poprawiając wrażenia użytkownika.