AntonioGrande Mar 19 2017 at 13:39

Как искать паттерны в биржевых данных и использовать их в торговле?

13 min

38K

Python*PostgreSQL*Programming*API*Machine learning*

+24

Comments 44

slonoslon Mar 19 2017 at 14:16

У такого применения кросс-валидации есть принципиальный недостаток. Оно игнорирует факт изменчивости рынка — в частности то, что паттерны не живут вечно. Когда мы проводим обучение скажем на данных за 2014 и 2016 годы, а тестирование на 2015 — получаем завышенную оценку качества предсказания. Более корректная методика — всегда проводить тестирование только на данных, более поздних относительно обучающего набора.

AntonioGrande Mar 19 2017 at 14:19

Абсолютно согласен.

AntonioGrande Mar 19 2017 at 14:25

Чтобы учесть факт изменчивости рынка нужно изменить пару строчек в коде, спасибо! очень правильная мысль, если предположить, что паттерны не существуют постоянно.

riky Mar 20 2017 at 10:23

вы же не один паттерны используете. а действия других игроков на бирже влияют на котировки.
чем больше людей находят и используют их тем быстрее они будут умирать.
особенно если паттерны найдены по одному алгоритму.
такая теория эволюции дарвина для биржи.
встает вопрос, есть ли смысл вообще тестировать на исторических данных? (уточню, на каком периоде есть смысл тестировать)

fingoldo Jul 5 2017 at 22:19

Мне кажется, тут ошибка посерьёзнее вкралась, по кр. мере в части с линейной регрессией: шкалирование к вектору X применяется ДО кроссвалидационного кода, а не в pipeline который бы вызывался процедурой кроссвалидации, как можно было бы ожидать. В результате «знания» о полном наборе данных «утекают», и кроссвалидация может давать излишне оптимистичные оценки.
Поправьте, если ошибаюсь.

prefrontalCortex Mar 19 2017 at 14:25

Необходим Python версии 2.7

Бог с вами, ещё бы Windows XP посоветовали использовать.

AntonioGrande Mar 19 2017 at 14:26

Берите любой, все равно пришлось все переделывать на мой любимый C#. Иначе очень все медленно. Питон хорош для описания модели и первичной ее проверки.

leorush Mar 19 2017 at 17:57

Чтобы было по-быстрее, можно воспользоваться PyPy )

immaculate Mar 19 2017 at 19:21

Вообще, ваш код Python сильно от C# не отличается, по крайней мере с визуально-эстетической точки зрения. :)

fatlander Mar 19 2017 at 19:53

Можно получить код С#?

AntonioGrande Mar 19 2017 at 19:53

Можно. Позже.

bioroot Mar 19 2017 at 18:10

В целом интересно, но мне кажется, что прототипировать можно быстрее. В Forex Club отдают архив с данными по валютной паре с точностью до минуты. PostgreSQL отлично умеет перелопачивать данные в одной табличке и переливать результат в другую. Теоретически, туда даже можно подтыкать Python, но мне всегда хватало PL/pgSQL. К этому безобразию можно добавить RapidMiner (правда, в бесплатной версии ограничение на 10000 примеров в выборке). В результате за пару вечеров ленивого тыкания удалось получить множество разнообразных способов подбрасывания монетки.)

Ivan22 Mar 20 2017 at 09:54

подскажите алгоритм линейной регресии для pg/plSQL.
p.s. И логистической регрессии тоже.
Заранее спасибо

bioroot Mar 20 2017 at 14:06

К сожалению, не подскажу, т.к. никогда не решал подобные задачи на уровне базы. Тут как раз разумнее было бы использовать PL/Py или PL/R. Я на уровне базы делал предварительную обработку данных, с получением средних значений, локальных максимумов и минимумов, разброса и тому подобного со скользящим окном. Потом уже из таблички причёсанных и дополненных данных делал выборку в RapidMiner и гонял их через разные модели от kNN до нейронных сетей. Как и писал выше, получил много разных способов подбрасывания монетки.

Ivan22 Jul 26 2017 at 13:02

это если есть возможность выгрузить в рапидмайнер. Иногда нету ничего кроме самих данных, базы и SQL. И все в облаке где никаких рапидмайнеров. А гонять гигабайты в облако/из-Облака ради пары функций как-то странно.

amaksr Mar 19 2017 at 18:29

Нет смысла проверять стратегию через счет брокера, так как очень долго нужно ждать данных для статистически надежного подтверждения или опровержения. Гораздо проще и быстрее будет прогнать ее на тех же исторических данных, но за более поздний (по сравнению с обучением) период. Счет у брокера вообще на этом этапе не нужен.

dshap Mar 19 2017 at 18:48

Forex кухни начали давать REST API. Это что-то новое :)

AntonioGrande Mar 19 2017 at 19:06

Да. Это замечательная возможность :)

AntonioGrande Mar 19 2017 at 19:06

Нет смысла проверять стратегию через счет брокера, так как очень долго нужно ждать данных для статистически надежного подтверждения или опровержения. Гораздо проще и быстрее будет прогнать ее на тех же исторических данных, но за более поздний (по сравнению с обучением) период. Счет у брокера вообще на этом этапе не нужен.

Как показывает опыт, это не работает. Сколько есть стратегий, прекрасно работающих на исторических данных за более поздний срок, но не работающих на реальном рынке.

AntonioGrande Mar 19 2017 at 19:52

Добавлю, что на более поздних (относительно обучения) данных проверять алгоритм нужно, конечно же, в первую очередь. А потом у брокера.

mezastel Mar 19 2017 at 22:21

Я еще никогда не видел систематизируемых паттерном на графике цены одного отдельно взятого инструмента (о сотона, почему опять FX?). Зато подобные эффекты порой просматриваются в микроструктуре, т.е. в поведении участников на краях стакана. Но даже там против маркетмейкеров мало что можно сделать — разве что немного выкусывать у них маржу.

qadmium Mar 19 2017 at 22:32

Простите, а что такое ask и bid в ваших свечах?

AntonioGrande Mar 19 2017 at 23:52

Соответствующие цены на момент закрытия свечи.

AntonioGrande Mar 19 2017 at 23:58

Можно посмотреть здесь.

Zoomerman Mar 19 2017 at 23:47

Три года посвятил изучению такой методики алготрейдинга…
Поверьте, тут рыбы нет!..
Факторов, влияющих на котировки в разы больше, чем предоставляют брокеры.
А обучение на основе частичных знаний ни к чему полезному не приводит.

dshap Mar 21 2017 at 15:41

Могу добавить, что у дирекционных алгоритмов при систематической торговле в текущих рыночных реалиях очень мало перспектив. Максимум, можно получить небольшой перевес на коротком промежутке времени.

Ol5xHd Mar 21 2017 at 17:23

А где, как вы считаете рыба есть? Есть способ покорить рынок?

AntonioGrande Mar 21 2017 at 17:24

Смотрите график внизу статьи :)

dshap Mar 21 2017 at 20:14

Ну если, скажем, 10% годовых для вас приемлемый результат, то, варианты, конечно, есть. Вообще, на рынках довольно много нерегулярностей, но в деньгах, это может быть не очень много. И главное понять где, и в каких случаях, другие игроки рынка будут готовы отдать вам свои деньги. К теме статьи это, правда, никак не относится.

mezastel Mar 22 2017 at 16:48

Один способ покорить рынок — стать маркетмейкером. Сразу льготные условия от биржы (дисконт или бесплатные транзакции, возможность открытия двунаправленных позиция, итп) и маржа течет в карман. Смотрите Robot Panda например. Но если серьезно, конкуренция бешеная.

Финансовая инженерия — это наука, ей нужно долго учиться чтобы хоть копеечку вынуть с рынка.

AntonioGrande Mar 22 2017 at 17:35

Спасибо за ссылку, очень интересно.

dshap Mar 30 2017 at 23:10

Это полный треш и угар. Особенно хорошо смотрится TWS вместе с темой про бинарные опционы ;)

Zoomerman Apr 6 2017 at 20:27

А где, как вы считаете рыба есть? Есть способ покорить рынок?

Рыба внутри )
Способ, действительно есть. И не один.
А вот какой именно самый эффективный на текущий момент и что нужно для него сделать — это вопрос, который я задаю себе каждое утро ;)

konstando Mar 21 2017 at 17:23

А кто сказал, что будет легко?
Если модель плохо описывает реальный рынок, это проблема модели. Значит её нужно модернизировать.
Люди торгуют же десятилетиями по паттернам руками. И вполне успешно.

ArtVol Mar 21 2017 at 17:23

Полностью с вами согласен. Форекса, как такового рынка вообще нет… Есть сделки между крупными мировыми банками, которые двигают цены… Где стакан котировок, где заявки… Ребят о каком вы АПИ говорите…

fingoldo Jul 5 2017 at 22:13

«Нет никаких причин, чтобы кто-то захотел иметь дома компьютер», — Кен Олсон, президент и основатель «DEC»
«Летающих машин тяжелее воздуха не может быть» — Лорд Кельвин
«Да, кого, к чертям, интересуют разговоры актеров?» — реакция H.M. Warner (Warner Brothers) на использование звука в кинематографе, 1927 год
«Поверьте, тут рыбы нет!..» — Zoomerman

NumLock Mar 22 2017 at 17:32

Заниматься трейдингом по паттернам из прошлых торгов это шаманство. Это тоже самое что предсказание погоды по времени, когда люди на работу приходят.
Почему бы не привязать робота к внешним показателям из интернета? Например, к новостям из банков.

AntonioGrande Mar 22 2017 at 17:32

Уже год работаем в этом направлении.

recovered_uranium Mar 23 2017 at 03:52

только учтите, что будете конкурировать с теми же банками, т.е. шансы на успех минимальные.

murdemon Mar 22 2017 at 17:33

А есть возможность в подобных системах использовать аналитику экспертов? (те если есть аналитика за прошлый период где 10 экспертов, каждый день проставляют от 0-10 возможность того что курс будет падать или расти) И учитывать эти данные в поиске паттернов? (результат в этом случаи должен быть более устойчивый) И где можно найти подобную аналитику?

AntonioGrande Mar 22 2017 at 17:34

Если есть такие данные, было бы очень интересно посмотреть.

recovered_uranium Mar 23 2017 at 03:54

широко известный факт, что аналитики транслируют статус кво с лагом. тут тоже рыбы нет)

recovered_uranium Mar 22 2017 at 17:33

Вы планируете заниматься трейдингом? Или это прикладная задача к изучению алгоритмов машинного обучения?

rolaman Mar 23 2017 at 07:24

Просто хочу поблагодарить за статью) как минимум помогла разобраться с Oanda

Show the best of all time