Это топик Зла.
Это топик ненависти к СНГ-шной системе образования.
Этот топик написан потому что я хочу его написать самому себе на память.
Этот топик ненависти в программистам. Добро пожаловать под кат тем кто еще не поставил минус.

Здравствуйте, хаброжители.

Перед тем как начать — я не считаю никого из вас преступником, человеком который прячет информацию, детское порно и так далее. Я просто хочу знать что вы думаете о моей идее.

В целом, дело такое — в нашем родном датацентре altnet.lv завалялось NAS в сумме на ~120 Tb. Пришла мне мысль на этом богатстве сделать storage, только не простой, а шифрованный — причем так, что на нашей стороне хранятся только открытые ключи и зашифрованные данные. То есть, даже если к нам приезжает маски-шоу с воплем «дайте нам всю самую секретную бухгалтерию такой-то фирмы», мы вежливо сдампливаем им шифрованные файлы и прощаемся лет на 450.

Disclaimer: этот топик, возможно, отчасти самореклама, «вода» и бред, но, скорее всего, это просто классификация информации и опыта, накопленного за два года работы в области скрейпинга, для себя и тех кому интересно.

За кармой не гонюсь, ее хватает.

Под катом — небольшой пост про современный рынок кравлеров/парсеров, с классификацией и особенностями.

Каждый из нас, думаю, постоянно гуглит. Существуют некоторые задачи, на поиск информации по которым уходит туча времени. Из последних задач, которые мне попадались, можно, к примеру, отметить:

• составление списка всех интернет магазинов магазинов Литвы и Эстонии, включая отслеживание магазинов — клонов и выписка контактов
• составление обзора существующих технологий компьютерного зрения, в основном realtime — идентификации объектов монокулярной камерой, с фокусом на embedded системы
• обзор существующих установок mod_php + mod_worker

При выполнении этих задач я просто начал мечтать о человеке, который бы их выполнил за меня.