Спасибо за статью. Приятно видеть, что я не одинок в своих потугах.
Несколько вопросов:
1. используете бустинг вообще и катбуст в частности?
2. используете гпу?
3. про архитектуру сети можете рассказать?
4. курсы одного инструмента с разных бирж используете?
5. внебиржевую информацию пытаетесь как-то использовать в обучении?
Да, именно так. Это проблема планировщика ОС, который раскидывает задачи по ядрам. И когда он это делает не оптимально (для меня) — хочется вмешаться и явно сказать что и на каком ядре запускать.
Спасибо за перевод. Вопрос: если я не сторонник внутрипитоновской мультипроцессности, а распараллеливание вычислений делаю микросервисной архитектурой (есть диспетчер и есть одинаковые воркеры, которые запускаются в некоторых количествах на одном или на нескольких серверах), то существует ли способ внутри питоновской программы принудительно указать какое логическое ядро я хочу использовать? Например, имеем 16 ядер, запускаем 16 воркеров, смотрим на загрузку- 15 ядер загружены, а одно- нет — значит работа идет не оптимальная- 16 программ работаеют на 15ти ядрах. Хочется иметь возможность принудительно указать воркеру номер ядра на котором он будет исполняться. Интересуют ваши соображения по этому поводу как для линукса так и для винды. Заранее признателен за ответ.
Прогноз курса (и поведения сложных систем) невозможен! Никак, никакими методами. От слова «совсем».
Угу. Если речь идет об «идеальном сферическом маркете в вакууме». А если речь идёт о явно сильноманипулятивном рынке (где есть огромный дисбаланс распределения ресурсов), каковым сейчас и является биткойн, то возможно что Вы не так уж правы))
Присоединяюсь к предыдущему товарищу- а где такое применяется? и скорость 300 млн вставок в секунду- это скорость вставок куда? это явно чтото в озу- хочется понять для чего оно там нужно?
Какой вы придумали кликбейтный заголовок. «Выжить»… Сколько у вас пафоса. Вы же не бизнес, вам отсыпали из цб кучку госденег. Вы там можете что и как угодно делать (или не делать) и это никак не отразится на… да ни на чем это не отразится.
Спасибо за статью! Если позволите- два вопроса:
1. Расскажите пожалуйста, как заставить pytorch использовать несколько видеокарт? Нужно ли для этого заботиться на этапе проектирования софта о разделении потоков для их исполнения на разных гпу или pytorch сам раскидывает задачи по имеющимся ресурсам?
2. Сталкивались ли вы с прогнозированием временных рядов? Если да- то можете написать подобную статью об этом?
Хабр, кажется, является замечательным примером сложности реализации социального рейтингования, когда толпа дружных малолетних крокодилов может так «зарейтинговать» любого умного человека, что тому и рта не позволят раскрыть…
А вы с кликхаузом работаете? сильно сложно сним жить? ну если сравнивать с mysql? Смотрел видео яндексоидов с их презентацией кликхауза- ну просто песня- какаято немыслимая производительность на тайм-сериес-дате. все хочу поставить попробовать но пока руки не доходят какойнибудь старый комп под это дело подшаманить…
А зачем тогда паркет, если даск умеет большие сам? Для чистоты эксперимента паркет лишний) Ну и как-то не очень понятна страсть к героическому решению всех этих проблем чтения csv-файлов — ну загрузи ты все это хозяйство в бд и тащи оттуда хоть все сразу, хоть по одному. Кому-нибудь в продакшене хоть раз встречался csv? Практически всегда же источником служит бд. Даже в данном примере- этот голландский файл- это выгрузка из базки… хотя… а что если они там в экселе все хранят?! ))
По существу- спасибо, не знал что даск умеет многоядерно.
Какой длины ряды подаёте в нейросеть, если не секрет? и какова топология? А насчет частотности- учитывая что иногда выполняются заявки, которые, судя по графикам выполниться были не должны — процессы внутри весьма занятны. Люто завидую тру-HFT-шникам (например вот: habr.com/ru/post/414037), ибо сам недотягиваю до такого уровня.
Чужие сервисы юзать для таких дел так себе идея. Такую чувствительную информацию нужно получать напрямую с бирж ( причем с разных параллельно и с честным таймстампом ). Хотя если таймфрейм дневной- то, наверное, вполне сойдет.
Несколько вопросов:
1. используете бустинг вообще и катбуст в частности?
2. используете гпу?
3. про архитектуру сети можете рассказать?
4. курсы одного инструмента с разных бирж используете?
5. внебиржевую информацию пытаетесь как-то использовать в обучении?
Спасибо и успехов!
Угу. Если речь идет об «идеальном сферическом маркете в вакууме». А если речь идёт о явно сильноманипулятивном рынке (где есть огромный дисбаланс распределения ресурсов), каковым сейчас и является биткойн, то возможно что Вы не так уж правы))
1. Расскажите пожалуйста, как заставить pytorch использовать несколько видеокарт? Нужно ли для этого заботиться на этапе проектирования софта о разделении потоков для их исполнения на разных гпу или pytorch сам раскидывает задачи по имеющимся ресурсам?
2. Сталкивались ли вы с прогнозированием временных рядов? Если да- то можете написать подобную статью об этом?
Спасибо.
По существу- спасибо, не знал что даск умеет многоядерно.