Comments 4
почему не nginx — какойто rabbitMQ — и тот же phantomjs?
Как это будет работать вместе?
Есть мастер который генерирует задания и складывает в очередь есть куча воркеров которые обрабатывают задания и складывают результат в базу. Мастер в данном случае будет довольно простой скрипт который генерирует начальную ссылку для парсинга и получает от воркеров ссылки полученные в результате парсинга которые проверяет на уникальность и добавляет в очередь. nginx выступает в роли балансировщика.
Как при таком раскладе сохранить сессии? Например, я через один скрипт работаю с сайтом1, во втором скрипте работаю с сайтом2.
Все, что делает первый скрипт — должно выполняться на одном браузере постоянно(например после авторизации). Тоже и для второго скрипта и так далее.
Если бы мне нужно было собрать просто главные страницы от тысячи сайтов — то ваша реализация была бы очень удобна, но в моем случае мне нужно хранить маршрут конкретного пользователя до конкретного исполняемого узла, с сохраненными куками и тд.
Все, что делает первый скрипт — должно выполняться на одном браузере постоянно(например после авторизации). Тоже и для второго скрипта и так далее.
Если бы мне нужно было собрать просто главные страницы от тысячи сайтов — то ваша реализация была бы очень удобна, но в моем случае мне нужно хранить маршрут конкретного пользователя до конкретного исполняемого узла, с сохраненными куками и тд.
Sign up to leave a comment.
Распределение нагрузки при парсинге сайтов и подключение дополнительных облачных ресурсов