Szybszy niż Flash

6 maja 2010 r. ceny akcji w Stanach Zjednoczonych gwałtownie spadały i rosły. W ciągu około pięciu minut indeks Dow Jones Industrial Average spadł o około 600 punktów, ale większość z nich odzyskała nieco później po południu. Federalni regulatorzy później ustalili że ta błyskawiczna awaria została wywołana, a następnie pogorszona przez automatyczne zlecenia złożone przez fundusze inwestycyjne i innych handlowców o wysokiej częstotliwości. Giełdy musiały anulować ogromną liczbę błędnych transakcji dokonanych podczas krachu.





Z danych i dolarów: Eric Pritchett, dyrektor generalny firmy PhaseCapital z siedzibą w Bostonie, zajmującej się handlem wysokiej częstotliwości, mówi, że analiza danych w czasie rzeczywistym uratowała jego firmę przed kosztownymi błędami podczas zeszłorocznej błyskawicznej katastrofy.

Jeszcze zanim analitycy zaczęli rozumieć, co poszło nie tak, niektóre firmy były w stanie uniknąć walki dzięki analizie danych w czasie rzeczywistym. Na przykład firma handlowa o wysokiej częstotliwości PhaseCapital z siedzibą w Bostonie nie dokonała żadnych błędnych transakcji — osiągnięcie, które przypisuje wykorzystaniu złożonego oprogramowania do przetwarzania zdarzeń o nazwie StreamBase.

Dane rynkowe pochodzą z wielu różnych źródeł, takich jak Nowojorska Giełda Papierów Wartościowych, Nasdaq i Reuters, i czasami mogą być niewiarygodne, wyjaśnia Corwin Yu, dyrektor ds. handlu elektronicznego w PhaseCapital. Na przykład kanały mogą ulec awarii, cytaty mogą być niepoprawnie sformatowane lub odzwierciedlać nierealistycznie duże zmiany. Aby firmy mogły handlować w ciągu kilku sekund na takich niechlujnych danych, informacje muszą zostać przetworzone – w szczególności przeanalizowane pod kątem potencjalnych błędów, zanim zostaną wykorzystane do podjęcia jakichkolwiek działań handlowych. Mówi, że jest niezwykle kruche – nawet jeśli nie ma kryzysu.



Aby poradzić sobie z tymi informacjami, PhaseCapital wykorzystuje StreamBase, który jest zaprojektowany do akceptowania dużych ilości szybko zmieniających się danych wejściowych i umożliwia organizacjom szybkie przekształcenie ich w spostrzeżenia potrzebne do podejmowania decyzji.

Typowym sposobem radzenia sobie z big data jest użycie baz danych. Jednak nie są dobrzy w przetwarzaniu danych w czasie rzeczywistym; użytkownicy muszą czekać, aż zgromadzi się cały zestaw danych. StreamBase może jednak przetwarzać nadchodzący strumień danych, analizować go, podejmować decyzje i podejmować działania, takie jak handel akcjami lub oznaczanie trendu. Istnieje cała klasa problemów, które dotyczą analizy danych w czasie rzeczywistym i przetwarzania danych w czasie rzeczywistym, mówi Richard Tibbetts, założyciel i CTO StreamBase Systems.

Firma oferuje swoim klientom swoją platformę, ale co równie ważne, udostępnia im interfejsy programowania aplikacji, które ułatwiają im tworzenie na jej bazie własnego oprogramowania. To pozwala firmie PhaseCapital (która nie ujawni, ile płaci za platformę StreamBase) na zastosowanie własnych algorytmów do czyszczenia danych i dokonywania transakcji.



Zazwyczaj PhaseCapital przetwarza od 30 000 do 40 000 ticków lub fragmentów danych rynkowych na sekundę. Podczas błyskawicznej katastrofy liczba ta wzrosła do ponad 289 000 tików na sekundę — z czego większość reprezentuje szalone wahania akcji. Wiele zarośli zaczęło działać i zdałem sobie sprawę, że te dane nie mają sensu, mówi Yu. Na przykład niektóre duże spółki publiczne, takie jak Accenture, podczas błyskawicznej katastrofy handlowały za mniej niż 1 USD. PhaseCapital kontynuował handel, ale filtrowane dane wydawały się podejrzane. Ponieważ nie działał na tych danych, oszczędzono błędnych transakcji.

Mimo że wiele transakcji zostało później anulowanych, Eric Pritchett, dyrektor generalny PhaseCapital, mówi, że istnieje kilka kluczowych powodów, dla których i tak ważne było ich unikanie. Po pierwsze, mówi, nigdy nie jest pewne, jakie kryteria będą stosować regulatorzy do anulowania transakcji, więc nie chciałby polegać na tym mechanizmie. Co ważniejsze, mówi, błędne transakcje niszczą zachowanie firmy na resztę dnia. Na przykład, jeśli transakcja wydaje się opłacalna, algorytmy mogą określić, że firma może sobie pozwolić na podejmowanie bardziej ryzykownych działań niż w innym przypadku. Pritchett mówi: Niewiedza o tym, gdzie naprawdę jesteś ze swoją książką, a ryzyko jest najniebezpieczniejszą rzeczą, która może przydarzyć się firmie handlowej.

Przykład ilustruje, że anomalie na rynkach niosą ze sobą zarówno ryzyko, jak i możliwości, mówi Adam honore , który koncentruje się na technologii usług finansowych jako dyrektor ds. badań instytucjonalnych papierów wartościowych dla Grupa Aite . A ilość danych związanych z handlem będzie się tylko zwiększać, zauważa.



Za każdym razem, gdy firma chce przeanalizować więcej danych, zazwyczaj trzeba zapłacić cenę — dodatkowe przetwarzanie zmniejsza szybkość, z jaką firma może podjąć działania. StreamBase był potężnym narzędziem w oczach PhaseCapital, ponieważ jest skonstruowany tak, że nowe dane mogą być filtrowane bez powodowania znaczących spadków wydajności, mówi Yu. Twierdzi, że trik w tej grze polega na tym, aby być szybkim i sprytnym.

ukryć