Algorytm uczenia maszynowego może pokazać, czy tajemnice państwowe są odpowiednio sklasyfikowane

Departament Stanu USA co roku generuje około dwóch miliardów e-maili. Znaczna część z nich zawiera poufne lub tajne informacje, dlatego należy je utajnić, co jest procesem czasochłonnym i kosztownym. Tylko w 2015 roku wydał 16 miliardów dolarów na ochronę informacji niejawnych.

Ale wiarygodność tego procesu klasyfikacji jest niejasna. Nikt nie wie, czy zasady klasyfikacji informacji są stosowane konsekwentnie i rzetelnie. Rzeczywiście, istnieje poważny spór o to, co w ogóle stanowi informacje, które należy utajnić.

Co więcej, łatwo sobie wyobrazić, że błąd ludzki odgrywa znaczącą rolę w błędnej klasyfikacji tajemnic urzędowych. Ale nikt nie wie, jak poważne mogą być te błędy.

Dziś to się zmienia dzięki pracy Renato Rocha Souza z brazylijskiego think tanku Fundação Getulio Vargas w Rio De Janeiro i kolegów z Columbia University w Nowym Jorku. Ci faceci użyli algorytmu uczenia maszynowego do zbadania ponad miliona odtajnionych kabli Departamentu Stanu z lat 70-tych.

Ich praca zapewnia bezprecedensowy wgląd w naturę oficjalnych tajemnic, w jaki sposób ludzie stosują zasady i jak często do procesu wkradają się błędy, aby ujawnić poufne informacje lub ukryć inne nieszkodliwe szczegóły. Algorytmy ujawniają również podejrzane wzorce w sposobie znikania kabli.

Zespół rozpoczął od zbioru miliona kabli, które pobrali z amerykańskich archiwów narodowych w postaci plików XML. Każdy depesz jest wiadomością tekstową wymienianą między Departamentem Stanu a przedstawicielstwem dyplomatycznym w obcym kraju, takim jak ambasada czy konsulat.

Kable są oznaczone jako tajne, poufne, ograniczone do użytku oficjalnego lub jako niesklasyfikowane. Informacje tajne są definiowane jako mogące poważnie zaszkodzić bezpieczeństwu narodowemu, informacje poufne są definiowane jako mogące wyrządzić szkodę, ale nie poważne szkody. Kategoria ograniczonego użytku oficjalnego była niezdefiniowana w latach 70. i nawet dzisiaj pozostaje kontrowersyjna.

Kable zawierają również inne informacje. Każda wiadomość ma datę, nadawcę i odbiorcę, temat i oczywiście treść wiadomości.

Souza i spółka zastosowali różne podejścia do uczenia maszynowego, aby określić, jak te czynniki korelują z etykietą klasyfikacyjną. Po odkryciu tej korelacji przetestowali algorytm, aby sprawdzić, jak dobrze może przewidzieć, czy dany kabel został sklasyfikowany, czy nie.

Wyniki stanowią ciekawą lekturę. Souza i spółka twierdzą, że sama wiadomość jest najlepszym wskaźnikiem klasyfikacji kabla. Spośród wszystkich cech, względna częstotliwość różnych słów w ciele była najbardziej użyteczna w identyfikowaniu poufnych informacji. Dane nadawcy i odbiorcy są również dobrym wskaźnikiem poziomu czułości, ale mogą prowadzić algorytm do klasyfikacji wielu kabli, które nie zostały sklasyfikowane jako takie, które zostały sklasyfikowane. Innymi słowy, prowadzi to do wysokiego odsetka fałszywych alarmów.

Kiedy algorytm uczenia maszynowego łączy w swoich decyzjach różne rodzaje metadanych, może wykryć około 90 procent sklasyfikowanych kabli, z odsetkiem fałszywych trafień wynoszącym zaledwie 11 procent. A Souza i spółka twierdzą, że powinno być możliwe zrobienie czegoś lepiej, gdyby uwzględnione zostały kable, które nadal są sklasyfikowane.

Fałszywe alarmy i fałszywie negatywne same w sobie są interesujące. Są to kable, które według przewidywań maszyny zostaną sklasyfikowane, ale nie zostały i na odwrót. W wielu przypadkach maszyna ujawniła kable, które zostały błędnie sklasyfikowane przez ludzi. Jednym z przykładów jest depesza o wrażliwości rządu japońskiego na amerykańskie inspekcje jego obiektów jądrowych. Ten kabel był niesklasyfikowany, ale powinien być, ponieważ tekst ujawnia, że ​​pierwotnie był poufny, twierdzą naukowcy.

Jednym z ograniczeń danych jest to, że wiele kabli zostało utraconych, rzekomo z powodu problemów z przekształceniem ich w format elektroniczny. Być może najbardziej interesującym aspektem tej pracy jest sugestia, że ​​te wiadomości mogły zaginąć z innych powodów.

Jedną wskazówką jest tempo znikania wiadomości, które różnią się w przypadku kabli sklasyfikowanych i niesklasyfikowanych. Wiadomości elektroniczne sklasyfikowane jako „tajne” były ponad trzykrotnie bardziej narażone na zaginięcie w porównaniu z wiadomościami niesklasyfikowanymi i ograniczonymi do użytku służbowego, powiedzmy Souza i spółka.

Co więcej, metadane związane z kablami często przetrwają, gdy wiadomość elektroniczna zostanie utracona. Jak to się mogło stać, jest zagadką.

Ponadto, jeśli wiadomości zostały utracone podczas konwersji z jednego formatu na inny, najprawdopodobniej znikną one, gdy Departament Stanu uruchomi nowy system przechowywania danych. Warto zauważyć, że większość z tych [brakujących] kabli nie pochodzi z okresu, w którym Departament Stanu po raz pierwszy skonfigurował system, kiedy można by się spodziewać, że będzie to rozwiązywanie problemów ze sposobami niezawodnego przesyłania danych między różnymi platformami sprzętowymi i programowymi, mówi zespół.

Praca ma ważne implikacje dla równowagi między przejrzystością a tajemnicą. Maszyny mogą wyraźnie pomóc w monitorowaniu praktyki klasyfikacji danych. Ale nie potrafią tego zrobić średnio lepiej niż bazy danych, z których się uczą. Jeśli zawierają one błędy, jak to wyraźnie widać w kablach Departamentu Stanu, maszyny nieuchronnie zostaną sparaliżowane.

Interesujące jest jednak pytanie, czy dane, które ujawnia ten rodzaj uczenia maszynowego, same w sobie powinny być klasyfikowane, jeśli ujawniają wzorce zachowań, które mogą być szkodliwe dla interesu narodowego. Na przykład szybkość, z jaką informacje poufne są błędnie oznaczane jako niesklasyfikowane, może być przydatna dla obcego mocarstwa usiłującego zebrać niejawne informacje z niesklasyfikowanych kabli.

Oczywiście jest jeszcze więcej pracy do wykonania. Souza i spółka twierdzą, że pomimo ogromnych wydatków Departamentu Stanu na ochronę informacji niejawnych, niewiele lub wcale nie opublikowano badań na temat spójności klasyfikacji. Nie ma też zbyt dużego zrozumienia, jak wiele może ujawnić ten rodzaj uczenia maszynowego.

Być może cała ta praca odbywa się za zamkniętymi drzwiami. Z drugiej strony może nie.

Nr ref.: arxiv.org/abs/1611.00356 : Wykorzystanie sztucznej inteligencji do identyfikacji tajemnic państwowych

ukryć