EmTech Stage: CTO Facebooka ds. dezinformacji

Dezinformacja i media społecznościowe stały się nierozłączne; w miarę jak platformy takie jak Twitter i Facebook rozrosły się do rozmiarów globalnych, rośnie też zagrożenie związane z rozpowszechnianiem fałszywych treści. W środku niestabilnego sezonu wyborczego w USA i szalejącej globalnej pandemii, moc informacji, która może zmieniać opinie i ratować życie (lub zagrażać im) jest w pełni widoczna. W pierwszym z dwóch ekskluzywnych wywiadów z dwoma najpotężniejszymi ludźmi w świecie technologii, redaktor naczelny Technology Review, Gideon Lichfield, rozmawia z dyrektorem technicznym Facebooka Mikem Schroepferem, aby porozmawiać o wyzwaniach związanych ze zwalczaniem fałszywych i szkodliwych treści na platformie internetowej używanej przez miliardy na całym świecie. Ta rozmowa pochodzi z wirtualnej konferencji EmTech MIT i została zredagowana pod kątem długości i przejrzystości.

Aby uzyskać więcej informacji na ten temat, sprawdź odcinek Deep Tech w tym tygodniu i nasze zasady dotyczące technologii .

Kredyty:

Ten odcinek EmTech został wyprodukowany przez Jennifer Strong i Emmę Cillekens, ze specjalnymi podziękowaniami dla Briana Brysona i Benjiego Rosena. Redagują nas Michael Reilly i Gideon Lichfield.

Transkrypcja:

Mocny: Cześć wszystkim, tu Jennifer Strong. W zeszłym tygodniu obiecałem wybrać coś do zagrania dla Ciebie z EmTech, dużej corocznej konferencji naszego newsroomu. Więc oto jest. Zaledwie kilka dni dzielą nas od wyborów w USA, od razu przejdziemy do jednego z najbardziej kontrowersyjnych tematów w świecie technologii i nie tylko – dezinformacji.

Teraz wiele z tego zaczyna się na stronach spiskowych, ale to w mediach społecznościowych jest to wzmacniane i rozpowszechniane. Firmy te podejmują coraz śmielsze środki, aby zakazać niektórych rodzajów fałszywych wiadomości i grup ekstremistycznych, a także wykorzystują technologię do filtrowania dezinformacji, zanim ludzie je zobaczą. Twierdzą, że są w tym coraz lepsi i pewnego dnia mówią, że będą w stanie sprawić, że internet znów będzie bezpieczny dla wszystkich. Ale czy naprawdę mogą to zrobić?

W kolejnych dwóch odcinkach spotkamy się z dyrektorami ds. technologii Facebooka i Twittera. Oboje przyjęli BARDZO różne podejścia, jeśli chodzi o dezinformację, częściowo dlatego, że wiele tego, co dzieje się na Facebooku, odbywa się w prywatnych grupach, co sprawia, że ​​jest to trudniejszy problem. Natomiast na Twitterze większość wszystkiego dzieje się publicznie. A więc najpierw - Facebook. Oto Gideon Lichfield, redaktor naczelny Tech Review. Jest na wirtualnej scenie EmTech podczas sesji, która pyta: „Czy sztuczna inteligencja może oczyścić internet”? Ta rozmowa została zredagowana pod kątem długości i przejrzystości.

Lichfield: Zwrócę się do naszego pierwszego mówcy, którym jest Mike Schroepfer. Znany ogólnie wszystkim swoim kolegom jako Schrep. Jest CTO Facebooka. Pracuje na Facebooku od 2008 roku, a kiedy był znacznie mniejszy, został CTO w 2013 roku. W zeszłym roku The New York Times napisał o nim duży profil, co jest bardzo ciekawą lekturą. Został zatytułowany „Facebook's AI AI stoi teraz przed zadaniem oczyszczenia go. Czasami doprowadza go to do łez. Witamy. Dziękujemy za dołączenie do nas w EmTech.

Schroepfera: Hej Gideon, dzięki. Szczęśliwy że jestem tutaj.

Lichfield: Facebook wykonał dość agresywne ruchy, szczególnie w ciągu ostatnich kilku miesięcy. Podjęliście działania przeciwko QAnon, zabroniliście negowania Holokaustu i reklam antyszczepionkowych. Ale ludzie ostrzegali przed QAnon od lat, ludzie ostrzegali przed dezinformacją antyszczepionkową od lat. Dlaczego więc zajęło ci to tak długo? Co, co, zmieniło się w twoim myśleniu, aby skłonić cię do podjęcia tego działania?

Schroepfera: Tak, to znaczy, świat cały czas się zmienia. Znacie wiele najnowszych danych dotyczących wzrostu antysemickich przekonań lub braku zrozumienia Holokaustu. P.Wiesz, że w ostatnich latach pojawiło się większe zagrożenie przemocą. A pomysł, że wokół wyborów w USA pojawiłyby się groźby przemocy, jest czymś nowym. I tak, szczególnie w miejscach, w których społeczeństwo i rzeczy, które są krytycznymi wydarzeniami, jak wybory, robimy wszystko, co w naszej mocy, aby upewnić się, że ludzie czują się bezpieczni i poinformowani, aby podjąć decyzję, którą mają podjąć, aby wybrać kogo. jest w rządzie. Dlatego podejmujemy bardziej agresywne środki.

Lichfield: Powiedziałeś coś przed chwilą, powiedziałeś, że jest dużo danych. I ten rodzaj współbrzmi ze mną z czymś, co miałem Alexa Stamosa, byłego szefa ochrony Facebooka, powiedział niedawno w podcastie, że na Facebooku decyzje są tak naprawdę podejmowane na podstawie danych. Więc czy tego potrzebujesz, musiałeś mieć przytłaczające dowody w postaci danych, ale wiesz, negowanie Holokaustu powoduje szkody lub QAnon powoduje szkody, zanim podejmiesz działania przeciwko niemu.

Schroepfera: Powiedziałbym, że to jest. Prowadzimy usługę, z której korzystają miliardy ludzi na całym świecie, więc błędem, którego nie chcę popełniać, jest założenie, że rozumiem, czego potrzebują inni ludzie, czego chcą inni ludzie lub co się dzieje. Sposobem na uniknięcie tego jest poleganie na wiedzy fachowej tam, gdzie ją mamy. A więc wiesz, na przykład, w przypadku niebezpiecznych organizacji mamy wiele osób z doświadczeniem w zwalczaniu terroryzmu, pojechałyśmy do West Point, mamy wiele osób z doświadczeniem w egzekwowaniu prawa, gdzie mówisz o ingerencji w głosowanie, mamy ekspertów z przeszłością i głosowaniem oraz prawa.

A więc ty, słuchasz ekspertów, uh, patrzysz na dane i siebie, i starasz się zrozumieć ten temat, a nie wiesz, że nie chcesz, żebym podejmował takie decyzje. Ty chcesz ekspertów i chcesz, aby dane to zrobiły. A ponieważ to nie jest tylko, no wiesz, ten problem tutaj, to kwestia prywatności, są to problemy i lokalizacje, a więc powiedziałbym, że staramy się rygorystycznie wykorzystywać wiedzę i dane tam, gdzie możemy, więc nie robimy założeń dotyczących tego, co dzieje się na świecie, ani tego, co naszym zdaniem ludzie potrzebują.

Lichfield: Cóż, porozmawiajmy trochę więcej o QAnon, szczególnie dlatego, że oczywiście podejście, jakie przyjmujesz do obsługi tych informacji, gdy próbujesz szkolić swoje AI, aby rozpoznawać rzeczy, które są szkodliwe. A trudność z tym podejściem polega na tym, że natura dezinformacji zmienia swój kontekst, prawda? I dezinformacje o muzułmanach w Birmie, które wywołały tam zamieszki. Nie wiesz, że to dezinformacja, dopóki się nie pojawi. Problem, który wydaje mi się z Q Anon, jest taki, że to nie jest jak ISIS czy coś takiego. jego przekonania ciągle zmieniają rachunki, ciągle się zmieniają. Jak więc poradzić sobie z czymś, co jest tak źle zdefiniowane jako takie zagrożenie?

Schroepfera: Cóż, wiesz, opowiem o tym i myślę, że z technicznego punktu widzenia, jedno z najtrudniejszych wyzwań, na którym byłem bardzo skupiony w ciągu ostatnich kilku lat, z powodu podobnych problemów w zakresie subtelność, zaszyfrowany język i wrogie zachowanie, czyli mowa nienawiści. Istnieje jawna mowa nienawiści, która jest bardzo oczywista i możesz użyć rodzaju fraz, które masz w banku lub, lub, lub słów kluczowych. Ale ludzie dostosowują się, używają zakodowanego języka i robią to, no wiesz, codziennie, co tydzień. Możesz to zrobić nawet z memami, w których masz obrazek, a następnie nakładasz na niego kilka słów, co całkowicie zmienia znaczenie. Świetnie dzisiaj pachniesz. A zdjęcia skunksa to zupełnie inna rzecz niż, wiesz, kwiat, i musisz to wszystko połączyć.

I tak, um, i podobnie, jak mówisz, z QAnon i może być subtelność i tego typu rzeczy. Dlatego tak bardzo skupiłem się na kilku kluczowych technologiach sztucznej inteligencji. Po pierwsze, radykalnie zwiększyliśmy moc tych klasyfikatorów w zakresie rozumienia i radzenia sobie z niuansami informacji. Wiesz, pięć czy dziesięć lat temu, rodzaj słów kluczowych był prawdopodobnie najlepszym, co mogliśmy zrobić. Teraz jesteśmy w punkcie, w którym nasze klasyfikatory wychwytują błędy w danych etykietowania lub błędy, które czasami popełniają weryfikatorzy. Ponieważ są wystarczająco silne, aby wyłapać subtelność w takich tematach, czy to post zachęcający do przemocy wobec wyborcy? A może po prostu wyrażają niezadowolenie z głosowania lub tej populacji? To są dwa bardzo… niestety jest to, to cienka linia, gdy spojrzysz na to, jak ostrożni ludzie starają się kodować język, aby go obejść.

I tak widzisz podobne rzeczy z QAnon i innymi. A więc mamy teraz klasyfikatory, które, wiesz, nasze najnowocześniejsze prace w wielu językach i są naprawdę imponujące w tym, co zrobili za pomocą technik, które możemy wprowadzić, takich jak samokontrola, hm, patrzeć na miliardy danych do trenowania. I jeszcze inną rzeczą, którą mamy, jest to, że używamy podobnej techniki, takiej jak ta, która pozwala nam zrobić, wiesz, najlepszy sposób na opisanie tego jako rodzaj rozmytego dopasowania. Który jest ludzkim recenzentem, spędza czas i mówi, wiesz co, myślę, że te fragmenty dezinformacji, albo to jest grupa QAnon, mimo że jest zakodowana w różnych językach, to co możemy wtedy zrobić, to trochę rozszerzyć i znajdź rzeczy, które są podobne semantycznie, nie dokładne słowa, nie słowa kluczowe, nie wyrażenia regularne, hm, ale rzeczy, które są bardzo podobne w przestrzeni osadzenia, które są podobne semantycznie. A potem możemy podjąć na nich działania.

A to pozwala na to, co nazywam szybką reakcją. Tak więc, nawet gdybym nie miał pojęcia, co to było wczoraj, dzisiaj, jeśli grupa ludzkich recenzentów to znajdzie, możemy następnie wzmocnić ich pracę w sieci i wdrożyć to proaktywnie za każdym razem, gdy pojawią się nowe informacje. Aby umieścić to w kontekście, wiesz, w drugim kwartale usunęliśmy 7 milionów dezinformacji dotyczących COVID. Oczywiście w czwartym kwartale ubiegłego roku nie było czegoś takiego jak dezinformacja o COVID. Musieliśmy więc w pewnym sensie zbudować nowe techniki klasyfikatorów, aby to zrobić. A to, co rzuciłem zespołowi wyzwanie, to jak skrócenie czasu tworzenia klasyfikatorów z wielu, wielu miesięcy do, wiesz, czasami tygodni, dni, minut. Gdy po raz pierwszy widzę przykład lub po raz pierwszy czytam nowe zasady, chcę mieć możliwość zbudowania klasyfikatora, który będzie działał w skali miliarda użytkowników. I wiesz, jeszcze nas tam nie ma, ale robimy szybkie postępy

Lichfield: Dobrze. Więc myślę, że to jest pytanie, jak szybki jest postęp, prawda? To, te 7 milionów statystyk dezinformacyjnych. Widziałem to zacytowane przez rzecznika Facebooka w odpowiedzi na badanie opublikowane przez Avaaz w sierpniu. Przyjrzano się też dezinformacji na temat COVID i okazało się, że 10 najpopularniejszych witryn rozpowszechniających dezinformacje miało cztery razy więcej szacunkowych wyświetleń na Facebooku niż równoważne treści ze stron internetowych 10 wiodących instytucji ochrony zdrowia, takich jak WHO. Okazało się, że tylko 16% wszystkie dezinformacje zdrowotne, które przeanalizowali, miały etykietę ostrzegawczą z Facebooka. Innymi słowy, oczywiście robisz dużo, robisz dużo więcej niż byłeś i ty, i nadal jesteś za krzywą. Jak, a to jest kryzys, który zabija ludzi. Myślisz, że ile czasu zajmie ci dotarcie tam?

Schroepfera: Tak, to znaczy, myślę, że to jest miejsce, w którym, no wiesz, chciałbym, żebyśmy opublikowali więcej danych na ten temat. Ponieważ tak naprawdę to, czego potrzebujesz, aby porównać jabłka z jabłkami, to ogólny zasięg tych informacji i rodzaj informacji, rodzaj diety przeciętnego użytkownika Facebooka. I myślę, że jest kilka elementów, których ludzie nie rozumieją. Po pierwsze, kanał informacyjny większości ludzi jest wypełniony treściami od ich znajomych. Podobnie jak linki do wiadomości, są to mniejszość poglądów wszystkich w kanale informacyjnym ludzi i na Facebooku. Chodzi mi o to, że celem Facebooka jest łączenie się ze znajomymi i prawdopodobnie sam tego doświadczyłeś. To są posty, zdjęcia i tym podobne.

Po drugie, w sprawach takich jak dezinformacja na temat COVID, na przykład to, z czym naprawdę musisz to porównać, to na przykład porównywanie z widokami naszego centrum informacyjnego COVID, które dosłownie przesunęliśmy na sam szczyt kanału informacyjnego, aby każdy mógł uzyskać informacje Na tym. Robimy podobne rzeczy do głosowania. Pomogliśmy zarejestrować prawie dwa i pół miliona wyborców w Stanach Zjednoczonych. Wiesz, podobne informacje dotyczą kwestii sprawiedliwości rasowej, biorąc pod uwagę wszystkie okropne wydarzenia, które miały miejsce w tym roku. Więc czego nie mam, to kompleksowe badanie, wiesz, ile razy ktoś oglądał centrum informacji o COVID w porównaniu z tymi innymi rzeczami? Um, wiesz, ale domyślam się, że dostają od nas o wiele więcej dobrych informacji.

Ale spójrz, wiesz, za każdym razem, gdy coś z tego umknie, ja jeszcze nie skończyłem. Dlatego wciąż tu jestem, wykonując swoją pracę, czy chcemy, żeby było lepiej. I, i tak, chciałbym, żeby to było 0%. Chciałbym, żeby nasze klasyfikatory były dokładne w 99,999%. Oni nie są. Wiesz, moim zadaniem jest doprowadzenie ich tam tak szybko, jak to tylko możliwe. A kiedy skończymy tę rozmowę, nad tym zabiorę się do pracy. To, co mogę zrobić, to po prostu spojrzeć na najnowszą historię i postęp projektu. Bo nie mogę naprawić przeszłości, ale mogę naprawić dziś i jutro. Kiedy patrzę na takie rzeczy, jak mowa nienawiści, w 2017 r. tylko około jedna czwarta fragmentów mowy nienawiści została odnaleziona przez nasze systemy w pierwszej kolejności. Prawie trzy czwarte z nich zostało najpierw odnalezione przez kogoś na Facebooku. Co jest okropne, co oznacza, że ​​byli narażeni na to i musieli nam to zgłosić. A teraz liczba ta sięga 99, 94,5%. Nawet w ostatnim, wiesz, między drugim kwartałem tego roku a tym samym okresem ubiegłego roku, pięciokrotnie zwiększyliśmy ilość treści, które usuwamy z powodu mowy nienawiści. I mogę to wszystko prześledzić. Teraz ta liczba powinna wynosić 99,99 i nie powinniśmy nawet prowadzić tej rozmowy, ponieważ powinieneś powiedzieć, nigdy nie widziałem żadnej z tych rzeczy i nigdy o tym nie słyszę, ponieważ zniknęły.

To jest mój cel, ale jeszcze nie mogę się tam dostać. Ale jeśli spojrzysz tylko na to ostatnie, wiesz, za każdym razem, gdy powiem coś 5X w ciągu roku, albo wzrośnie z 24% do 94% w ciągu dwóch lat, jak i mówię, mamy, nie jesteśmy , nie brakuje mi pomysłów, wciąż wdrażamy najnowocześniejsze rzeczy, takie jak w tym tygodniu, w przyszłym tygodniu, w zeszłym tygodniu, dlatego ogólnie jestem optymistą, że zamierzamy to zmienić problem w miejsce, w którym nie jest to pierwsza rzecz, o której chcesz ze mną porozmawiać, ale jeszcze mnie tam nie ma.

Lichfield: To problem techniczny. Jest to również oczywiście problem siły roboczej. Oczywiście będziesz zaznajomiony z notatką, którą napisała Sophie Zhang, była badaczka danych na Facebooku, kiedy odeszła. Napisała o tym, jak pracowała w jednym z zespołów, masz wiele zespołów, które pracują nad identyfikacją szkodliwych informacji na całym świecie. A jej głównym zarzutem, wydaje się, było to, że czuła, że ​​te zespoły miały za mało personelu i musiała priorytetowo traktować, czy traktować, wiesz, dezinformację dotyczącą wyborów w kraju, na przykład jako niebezpieczną. A kiedy te decyzje są priorytetowe, czasami rozwiązanie problemu może zająć miesiące, a to może mieć realne konsekwencje. Um, masz, myślę, że teraz 15 000 ludzkich moderatorów, myślisz, że masz wystarczająco dużo ludzi?

Schroepfera: Nigdy nie sądzę, że mamy wystarczająco dużo ludzi w czymkolwiek. Więc ja, wiesz, jeszcze nie brałem udziału w projekcie, w którym szukaliśmy rzeczy do pracy i mam na myśli to naprawdę poważnie. A my, wiesz, 35 000 osób pracuje nad tym z, wiesz, przeglądu i treści oraz bezpieczeństwa i ochrony. Inną rzeczą, o której myślę, że nie rozmawiamy dużo, jest to, że jeśli pójdziesz porozmawiać z szefami mojego zespołu AI i zapytać ich, o co Schrep prosił nas przez ostatnie trzy lata, to jest to uczciwość, to moderacja treści . To nie jest fajne, nowe rzeczy. To jak, jak walczymy z tym problemem? I od lat nad tym pracowaliśmy.

Więc wziąłem to, co najlepsze i najzdolniejsze, jakie mamy w firmie i powiedziałem, no wiesz, i to nie tak, że muszę im to kazać, bo chcą nad tym popracować. Mówię, mamy ten ogromny problem, możemy pomóc, chodźmy to zrobić. Czy już skończyliśmy? Nie. Czy jestem niecierpliwy? Absolutnie. Czy żałuję, że nie pracuje nad tym więcej osób? Cały czas. Wiesz, musimy dokonywać kompromisów w tych sprawach, więc wiesz, um, ale moja praca, wiesz, i to, co możemy zrobić z technologią, polega na usunięciu niektórych z tych kompromisów. Wiesz, za każdym razem, gdy wdrażamy nowy, potężniejszy klasyfikator, hm, który usuwa mnóstwo pracy naszym ludzkim moderatorom, którzy mogą następnie zająć się problemami wyższego poziomu. Wiesz, zamiast ciebie, naprawdę łatwe decyzje, przechodzą do dezinformacji i naprawdę niejasnych rzeczy i oceniania niebezpiecznych grup i tego rodzaju przesuwanie ludzi w górę krzywej trudności, również poprawia rzeczy. I to właśnie staramy się zrobić.

Mocny: Zrobimy krótką przerwę - ale najpierw chcę zaproponować inny program, który myślę, że Ci się spodoba. Brave New Planet analizuje zalety i wady szerokiej gamy potężnych innowacji w nauce i technologii. Dr Eric Lander, który kieruje Broad Institute of MIT i Harvard, bada trudne pytania, takie jak;

Lądownik: Czy powinniśmy zmieniać atmosferę Ziemi, aby zapobiec zmianom klimatu? Czy prawda i demokracja mogą przetrwać wpływ deepfake'ów?

Mocny: Brave New Planet pochodzi z firmy Pushkin Industries. Możesz go znaleźć wszędzie, gdzie dostaniesz swoje podcasty. Wrócimy zaraz po tym.

[Reklama]

Mocny: Witamy ponownie w specjalnym odcinku In Machines We Trust. To rozmowa między Mikem Schroepferem z Facebooka a redaktorem naczelnym Tech Review, Gideonem Lichfieldem. Stało się to na żywo na wirtualnej scenie naszej konferencji EmTech i zostało zredagowane pod kątem długości i przejrzystości. Jeśli chcesz więcej na ten temat, w tym naszą analizę, zapoznaj się z notatkami pokazowymi lub odwiedź nas na Technology Review dot com.

Lichfield: Kilka pytań, które zamierzam zadać od publiczności, w jaki sposób dezinformacja wpływa na strumień przychodów Facebooka? A kolejna, hm, o, hm, jak to wpływa na zaufanie do Facebooka? Cóż, wydaje się, że istnieje ukryty brak zaufania do Facebooka i jak mierzyć zaufanie? I glosa, którą chcemy nadać tym pytaniom jest to, że wyraźnie zależy ci na dezinformacji, wyraźnie wielu ludzi, którzy pracują na Facebooku, przejmuje się tym lub martwi się tym, ale jest, myślę, że podstawowe pytanie, które ludzie mają, to: czy Facebookowi jako firmie zależy na tym, czy ma na to wystarczająco negatywny wpływ, aby naprawdę poważnie zmierzyć się z problemem?

Schroepfera: Tak. To znaczy, spójrz, też jestem osobą w społeczeństwie. Bardzo zależy mi na demokracji i przyszłości oraz pozytywnym rozwoju ludzkiego życia. Wzywam Cię, abyś znalazł, no wiesz, kogoś, kto czuje się inaczej w naszych biurach. Tak więc my, tak, pracujemy na Facebooku, ale jesteśmy ludźmi z całego świata i bardzo zależy mi na przyszłości moich dzieci. I cóż, pytasz, czy nas to obchodzi? A odpowiedź brzmi tak. Um, wiesz, czy mamy zachęty? Na przykład, o czym dzisiaj rozmawialiśmy dużo czasu? Rozmawialiśmy o dezinformacji i innych rzeczach, wiesz szczerze, o czym wolałbym mówić? Wolałbym mówić o VR i pozytywnych zastosowaniach AR i całej tej niesamowitej nowej technologii, którą tworzymy, ponieważ wiesz, to jest to, o czym mówiłby CTO.

Jest to więc oczywiście coś, co podważa zaufanie do firmy, zaufanie do naszych produktów, co jest dla nas ogromnym problemem z punktu widzenia własnego interesu. Więc nawet jeśli myślisz, że jestem tego pełen, po prostu, z praktycznego, egoistycznego punktu widzenia, jako marka, jako produkt konsumencki, z którego ludzie dobrowolnie korzystają każdego dnia, kiedy próbuję sprzedać nowy produkt, taki jak Portal , który jest aparatem do Twojego domu, tak jak ludzie ufają firmie, która stoi za tym produktem i myślą, że mamy, wiesz, ich najlepsze intencje na sercu. Jeśli tego nie zrobią, będzie to ogromne wyzwanie dla absolutnie wszystkiego, co robię. Myślę więc, że interesy tutaj są dość wyrównane. Nie sądzę, że istnieje wiele dobrych przykładów darmowych produktów konsumenckich, które przetrwają, jeśli ludzie ich nie lubią, nie lubią firm lub myślą, że są złe. Więc to jest z punktu widzenia naszego interesu, krytyczna kwestia dla nas.

[Kredyty]

Mocny: Ta rozmowa z CTO Facebooka jest pierwszym z dwóch odcinków dotyczących dezinformacji i mediów społecznościowych. W kolejnej części porozmawiamy z CTO Twittera. Jeśli chcielibyście usłyszeć analizę tego tematu i wyborów w naszym newsroomie, upuściłem link w naszych notatkach z programu. Mam nadzieję, że to sprawdzisz. Ten odcinek EmTech został wyprodukowany przeze mnie i przez Emmę Cillekens, ze specjalnymi podziękowaniami dla Briana Brysona i Benjiego Rosena. Redagują nas Michael Reilly i Gideon Lichfield. Jak zawsze dzięki za wysłuchanie. Jestem Jennifer Strong.

[ID TR]

ukryć