211service.com
AAD22L: automatyczne wykrywanie akronimów w 22 językach zaprezentowane w Europie
Wszyscy mieliśmy doświadczenie z czytaniem raportu, artykułu naukowego lub po prostu długiego artykułu informacyjnego, który został zrujnowany przez TMUA (Too Many Unnecessary Acronyms). Autor wprowadza jeden akronim w pierwszym akapicie, inne w drugim i trzecim, co prowadzi do ostatniego akapitu, który jest jedynie ciągiem niezrozumiałych wielkich liter.
Dziś mamy pomoc dzięki pracy Maud Ehrmann z Uniwersytetu Sapienza w Rzymie we Włoszech i kilku kumplom, którzy opracowali analizator tekstu, który rozpoznaje ponad milion akronimów w 22 różnych językach. Praca jest częścią szerszego wysiłku analizy treści wiadomości, aby śledzić relacje mediów na temat organizacji, firm, rządów i tak dalej.
Zadanie wyszukiwania akronimów w tekście jest stosunkowo proste. Ci faceci zaadaptowali algorytm, który został pierwotnie opracowany w celu wykrywania akronimów w tekstach medycznych w języku angielskim. Szuka krótkich wyrażeń pisanych wielkimi literami w nawiasach i zakłada, że słowa znajdujące się bezpośrednio na lewo od nawiasów są rozwinięciem akronimu w formie długiej.
Algorytm następnie filtruje wyniki, aby usunąć sekwencje liter, które zawierają takie elementy, jak symbole walut i spację po pierwszej literze i tak dalej.
Prowadzi to do kilku nieuniknionych problemów. Jeden występuje, gdy algorytm w ogóle nie rozpoznaje akronimu. Głównym powodem nierozpoznawania są przypadki, w których krótka forma akronimu jest w innym języku niż forma długa, na przykład w niemieckim Vereinigte Nationen (UNO), gdzie po niemieckiej długiej formie następuje angielska krótka forma, powiedzmy Ehrmann i co. (UNO oznacza Organizację Narodów Zjednoczonych, bardziej znaną jako ONZ w języku angielskim.
Innym problemem jest to, że algorytm znajduje niewłaściwą długą wersję akronimu. Przykładem może być Charles Otieno (dyrektor generalny) i zwykle występuje z ogólnymi akronimami, które można zastosować do dużej liczby osób lub organizacji.
Niemniej jednak problemy te są niewielkie, a algorytm ogólnie działa dobrze. Ehrmann i wsp. twierdzą, że znajdują akronimy o precyzji większej niż 90 procent dla wszystkich 22 testowanych języków, z wyjątkiem francuskiego (87 procent).
I spekulują, że powinien działać dobrze z każdym językiem, w którym do reprezentowania akronimów używa się tekstu pisanego wielkimi literami. Chociaż podejrzewamy, że metoda będzie dobrze działać z językami używającymi na przykład alfabetu cyrylicy lub greckiego, prawdopodobnie nie będzie działać dobrze w przypadku języków wykorzystujących pismo arabskie lub hebrajskie, ponieważ, jak mówią, nie rozróżniają wielkości liter.
Ehrmann i spółka planują dalsze rozszerzenie prac. Jednym z pomysłów jest znalezienie sposobów łączenia długich form akronimów w różnych językach. Innym jest znalezienie sposobów na automatyczne rozpoznawanie i rozumienie akronimów, którym nie towarzyszy ich rozwinięcie w długiej formie (trudny problem nawet dla ludzi). Może to być możliwe dzięki wydobyciu wskazówek z lokalnego kontekstu, ale jest to ambitny cel.
Co ciekawe, trzech z czterech autorów tej pracy znajduje się w Joint Research Centre, laboratorium badawczym Komisji Europejskiej w Belgii. Język jest poważnym i kosztownym problemem dla WE, organu wykonawczego Unii Europejskiej. Musi ułatwiać komunikację między ludźmi w 28 krajach posługujących się 24 językami urzędowymi, kosztem około 330 milionów euro rocznie, czyli około 60 centów na każdego obywatela UE.
Istnieje więc duże zainteresowanie automatyzacją jak największej części tego. Akronimy są małymi, ale przydatnymi pierwszym krokiem.
Nr ref.: arxiv.org/abs/1309.6185 : Rozpoznawanie i przetwarzanie akronimów w 22 językach