Как стать автором
Обновить
1
0

Пользователь

Отправить сообщение

Парсили сайты, парсим и будем парсить. И не нужно этому мешать

Время на прочтение12 мин
Количество просмотров15K

Здравствуйте, меня зовут Максим Кульгин. Моя компания xmldatafeed.com занимается парсингом много лет. На днях мы вернули 16 000 руб. клиенту, так как не смогли парсить весь iherb.com с нужной клиенту скоростью (а там очень много товаров). Проверил и оказалось, что это единичный случай за весь год и родилась эта, чуть-чуть философская статья.

Одна из наших прошлых статей (самостоятельный парсинг сайтов) спровоцировала острые дискуссии среди читателей. И в комментариях к статье, и в нашем телеграм-канале (пишем, в том числе, про заработок на парсинге) обсуждение дилеммы «человек против роботов» (здравствуй, Будущее!) перевело взгляд в философскую плоскость. Все технические разговоры про парсинг неизменно сводятся к рассмотрению средств противодействия ботам и способам это противодействие нейтрализовать.

Читать далее
Всего голосов 70: ↑40 и ↓30+10
Комментарии137

Как развитие алгоритмов сжатия остановилось 20 лет назад, или о новом конкурсе на 200 тысяч евро

Время на прочтение18 мин
Количество просмотров70K

В октябре прошлого года я опубликовал статью «О талантах, деньгах и алгоритмах сжатия данных», где с юмором описал, как «изобретают» новые алгоритмы сжатия люди, не имеющие достаточно навыков для реализации своих идей. А заодно рассказал про существующие конкурсы по новым алгоритмам, в том числе двигавшийся тогда к завершению конкурс алгоритмов сжатия с призовым фондом 50 тысяч евро.

Пост набрал 206 «плюсов», вышел на 2 место топа недели и вызвал оживленную дискуссию, в которой мне больше всего понравился комментарий: «Коммерческого интереса эффективность по сжатию алгоритмов сжатия без потерь сегодня не представляет, в силу отсутствия принципиально более эффективных алгоритмов. Деньги сегодня — в сжатии аудио-видео. И там и алгоритмы другие. Тема сжатия без потерь удобна именно лёгкостью верификации алгоритма, и не слегка устарела. Лет на 20.» 

Поскольку я сам уже 20 лет в области сжатия видео, с ее бурным развитием мне спорить сложно. А вот что сжатие без потерь развиваться перестало… Хотя логика тут понятна каждому. Я до сих пор пользуюсь ZIP, все мои друзья пользуются ZIP с 1989 года — значит, ничего нового не появляется. Так ведь? Похоже рассуждают сторонники плоской земли. ))) Я не видел, знакомые не видели, и даже некоторые авторитеты утверждают, значит, это так! 

О том, как Intel просили меня не прекращать читать курс по сжатию, ибо людей нет новые алгоритмы делать, я в прошлый раз писал. Но тут и Huawei в ту же дуду дует! Вместо того, чтобы раздать призы и должности победителям, а затем успокоиться, поскольку развитие давно встало, эти эксцентричные люди посчитали конкурс крайне успешным и запустили новый с призовым фондом 200 тысяч EUR.

Развивались ли алгоритмы сжатия без потерь в последние 20 лет? Чем закончился прошлый конкурс и на сколько опередили baseline? Сколько денег получили русские таланты, а сколько зарубежные? И есть ли вообще жизнь на Марсе в сжатии без потерь? 

Кому интересно — добро пожаловать под кат! 
Читать дальше →
Всего голосов 259: ↑258 и ↓1+257
Комментарии134

1 CPU 1 Гб – а я хочу мониторинг, как у больших дядей

Время на прочтение14 мин
Количество просмотров54K


Я обожаю читать на хабре статьи про то, как устроены системы больших интернет-компаний. Кластеры SQL-серверов, монг и редисов. Тут у нас кластер ELK собирает трейсинг, там – сборка логов, здесь балансер выдает входящим запросам traceID и можно отслеживать, как запрос ходит по всем нашим микросервисам. Класс. Но, допустим, у вас совсем маленький проект и вы можете себе позволить лишь VPS минимальной конфигурации. Реально ли на ней сделать мониторинг не хуже, чем у больших проектов? Я решил – надо попробовать.
Читать дальше →
Всего голосов 82: ↑80 и ↓2+78
Комментарии82

Это не легаси-код, это PHP

Время на прочтение5 мин
Количество просмотров17K


За последний год разработчики Vimeo писали код бэкенда на множестве языков — PHP, Go, Ruby, Python, NodeJS, Java, C, C++ и немного на Rust.

В 2004 году мы начинали всего с одного: PHP. Это был идеальный язык для новых стартапов наподобие Vimeo. Интерпретатор PHP позволял предпринимателям быстро разрабатывать прототипы и имел большую стандартную библиотеку, позволявшую избавиться от мороки с повседневными задачами типа отправки писем и доступа к базам данных.

Большинство стартапов развалилось, однако некоторые из них, взявшие за основу PHP, по-прежнему были живы спустя десяток лет. Немногие из них добилась резкого роста, а в дальнейшем кое-кто из этих стартапов (самым заметный пример — это Facebook) решил, что PHP является узким местом, и начал мигрировать с него. Для этого исхода было две серьёзные причины: производительность PHP и сложность поддержки больших кодовых баз PHP.
Читать дальше →
Всего голосов 64: ↑61 и ↓3+58
Комментарии106

Можно натренироваться обманывать тело, будто оно получило лекарство

Время на прочтение9 мин
Количество просмотров57K
Маретт Флайс (Marette Flies) было 11 лет, когда её иммунная система восстала против неё. В 1983 году у девочки нашли волчанку. Системная красная волчанка — это аутоимунное заболевание, при котором антитела повреждают ДНК здоровых клеток. От иммуноподавляющих препаратов лицо Маретт опухло, а волосы выпадали. Позже начали воспаляться почки, появились судороги и поднялось кровяное давление.

В 1985 году антитела атаковали факторы свёртывания в крови. Маретт удалили матку — девочка могла истечь кровью во время месячных. Несмотря на множество препаратов кровяное давление росло. Появились проблемы с сердцем, и врачи решили применить Цитоксан, крайне токсичное лекарство, которое могло убить девочку.

Но организм человека способен выучить условный рефлекс не только на выработку желудочного сока, как это было у собаки Павлова, но и на подавление иммунитета. Девочку спасли с помощью рыбьего жира и розовых духов.

image
Aaron Tilley and Kerry Hughes
Читать дальше →
Всего голосов 61: ↑58 и ↓3+55
Комментарии271

Go с точки зрения PHP программиста

Время на прочтение8 мин
Количество просмотров68K
Предлагаю вашему вниманию перевод статьи Go from PHP engineer's perspective с сайта sobit.me.

Будучи PHP программистом, задумывались ли вы об идее изучения других языков программирования?

Уже много лет выбор многих компаний падает на PHP для создания полноценных монолитных приложений. Более того, за последние 5 лет фреймворки (Symfony, Laravel, Zend), инструменты (Composer, Monolog) и стремительно растущее сообщество (PHP-FIG) помогли многим разработчикам в создании программного обеспечения на уровне предприятий. Многие компании, такие как Facebook, Yahoo!, Wikipedia, Wordpress, Tumblr, начинали свою историю с PHP, и это не помешало им стать успешными в последующие годы.

Однако, успешный бизнес развивается, а с ним растет и необходимое количество разработчиков для поддержания успешного роста. Организационная структура дает понять, что было бы неплохо разбить существующее монолитное приложение. В определенный момент стратегия начинает стабилизироваться и команды сосредотачиваются на независимых сервисах.

В этой статье мы попытаемся понять, как далеко мы сможем зайти, имея в арсенале только PHP, и где может вступить Go, чтобы помочь решить проблемы, с которыми нам предстоит столкнуться.
Читать дальше →
Всего голосов 70: ↑52 и ↓18+34
Комментарии122

Yii 2.0.5 (исправление безопасности)

Время на прочтение1 мин
Количество просмотров7.9K
Вышел Yii 2.0.5 исправляющий проблему с безопасностью, найденную в классе yii\web\ViewAction. Настоятельно рекомендуется обновиться. Обновление полностью совместимо с 2.0.4, содержит только исправление безопасности и не поломает ваш код.

Уязвимость в ViewAction и заключается в возможности запускать любой PHP файл (или файл с расширением .php) на диске передав относительный путь через параметр view. Так как о проблеме сообщили через публичный трекер, мы исправили её и выпустили обновление немедленно.

Для этой уязвимости мы зарезервировали номер CVE-2015-5467.
Всего голосов 14: ↑11 и ↓3+8
Комментарии1

Твердотельные накопители дали слабину

Время на прочтение3 мин
Количество просмотров101K
Технологии хранения данных — отдельная тема. Не так давно мы косвенно затрагивали ее в нашем материале об управления дисковым пространством сервера.

Сегодня мы поговорим о том, как команда поискового сервиса Algolia пыталась решить внезапно возникшую проблему с SSD-дисками.

Читать дальше →
Всего голосов 110: ↑107 и ↓3+104
Комментарии50

Самозащита антивирусов

Время на прочтение4 мин
Количество просмотров26K
Как показывает практика, любой антивирус по дизайну уязвим, и реализовать очередной метод обхода в отношении него не является большой проблемой.

Нашему исследовательскому центру было интересно проверить, как разработчики антивирусных решений следят за наличием описаний методов атак на просторах интернета. И всегда ли для атаки на антивирус необходимо обнаружить в нем 0-day уязвимость или достаточно просто найти полезную информацию на форумах?
Читать дальше →
Всего голосов 48: ↑29 и ↓19+10
Комментарии22

Строительство Bitcoin дата-центров продолжается, несмотря на падение стоимости криптовалюты

Время на прочтение3 мин
Количество просмотров38K


Компании, занимающиеся майнингом Bitcoin, не обращают внимание на падение стоимости единицы криптовалюты по отношению к доллару. Более того, такие компании продолжают развивать ИТ-инфраструктуру, а некоторые даже планируют создание новых дата-центров.

Так, компания BitFury, один из крупнейших майнеров в мире, купила участок земли в Грузии, где планируется построить гигантский дата-центр, где будет размещаться соответствующее оборудование. Еще одна компания, KnCMiner, еще один тяжеловес в мире майнинга биткоинов, приобрела участок земли в Швеции, с аналогичной целью. Обе компании производят оборудование для майнинга криптовалюты, и планируют построить собственные дата-центры для этой же цели.
Читать дальше →
Всего голосов 20: ↑17 и ↓3+14
Комментарии44

Полная энергетическая автономия или как выжить с солнечными батареями в глубинке (часть 3. переходная)

Время на прочтение7 мин
Количество просмотров152K


В этой части я расскажу каким способом, спустя всего два года после положенного, я заставил электросети подключить мой дом к сетевому электричеству и как я решил экономить при помощи солнечных батарей.



Начать экономию
Всего голосов 61: ↑60 и ↓1+59
Комментарии97

Kingston USB флешки + облачный сервис Яндекс.Диск =?

Время на прочтение2 мин
Количество просмотров18K
Мы живем во время, когда делиться контентом является абсолютно нормальным и обычным явлением. Традиционно облачные сервисы не являются самым безопасным местом для хранения конфиденциальной информации, тем не менее многие пользуются “облаками” для расшаривания фотографий из совместных поездок, файлов для совместного творчества. Примеров тьма: iCloud, Dropbox, Google Drive, OneDrive и т.д. Есть и российские провайдеры таких услуг, и именно с одним из лидером — компанией Яндекс и ее проектом Яндекс.Диск компания Kingston предлагает поработать покупателям USB флешек. Под катом подробности об этой чудесной акции.


Узнать секреты Kingston
Всего голосов 19: ↑13 и ↓6+7
Комментарии21

Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях

Время на прочтение11 мин
Количество просмотров50K
Мы уже рассказали о том, как проектировали и стоили наш TIER III ЦОД. Пора уже показать, что получилось.



Сначала на месте дата-центра было чистое поле, затем вырыли здоровенный 100–метровый котлован. Потом дата-центр стал похож на бетонную площадку, а еще позже – из металлоконструкций построили шестиугольное здание, внутри которого расположены шесть модулей ЦОД (на схеме выделены зеленым), «командный центр» для мониторинга магистральной сети по всей стране и офис (подробнее о строительстве можно почитать в публикации «ЦОД нашей мечты в Ярославле: фото строительства и запуска»).



Осторожно, трафик и гикпорн из ярославского дата-центра: 91 фотография только-только запущенного первого модуля, в главном здании кое-где ещё идут финальные работы, но капитального строительства больше не будет.
Читать дальше →
Всего голосов 69: ↑68 и ↓1+67
Комментарии33

Полная энергетическая автономия или как выжить с солнечными батареями в глубинке (часть 2. практическая)

Время на прочтение8 мин
Количество просмотров527K


Реальная солнечная автономка для конечного пользователя состоит из потраченных денег, проб, монтажа устройств и обучения домочадцев пользоваться электричеством экономно. Причем, на последний пункт стоит обратить внимание особо, поскольку автономка предполагает совершенно особый подход к расходу энергии и даже перестройке привычных действий.



Собираем автономку
Всего голосов 107: ↑106 и ↓1+105
Комментарии156

Улей с вытекающим мёдом собрал 2 млн долларов

Время на прочтение3 мин
Количество просмотров157K

Краудфандинговая кампания только началась, но финансирование уже выполнено на 3000 %


14 февраля в сети появился видеоролик с демонстрацией проекта улья, для извлечения мёда из которого достаточно подставить ёмкость и подождать, пока она наполнится. Ролик имел большую популярность и набрал миллион просмотров за два дня. Собственно кампания краудфанинга, в которой призывал поучаствовать ролик, началась 22 февраля, и её успех оказался не менее ошеломителен: проект стал рекордсменом Indiegogo по скорости набора первого и второго миллионов.

И это неудивительно: извлечение мёда из ульев — это самая трудоёмкая и времязатратная работа в пчеловодстве. Традиционно эта операция состоит из множества шагов, основными являются открытие улья, удаление пчёл, распечатывание сот с мёдом и работа центрифуги аппарата медогонки. Также возможны стекание мёда без всякой помощи и после этого тепловое воздействие. А австралийский проект Flow предлагает решение, при котором для извлечения мёда не нужно открывать улей и тревожить пчёл — нужна лишь ёмкость, в которую будет стекать готовый продукт.
Читать дальше →
Всего голосов 104: ↑104 и ↓0+104
Комментарии102

GoDaddy прекращает обслуживание доменных имен, зарегистрированных жителями Крыма и освобождает их для регистрации

Время на прочтение2 мин
Количество просмотров117K
image

Сегодня пользователи из Крыма, которые зарегистрировали свои домены у крупнейшего в мире регистратора доменных имен GoDaddy получили сообщение о том, что в связи с санкциями 31 января регистрация их доменных имен будет удалена и эти имена могут быть зарегистрированы иными людьми.
Читать дальше →
Всего голосов 120: ↑110 и ↓10+100
Комментарии346

Получение участников сообщества vk.com за считанные секунды

Время на прочтение2 мин
Количество просмотров115K
Ни для кого не секрет, что VK API возвращает за один запрос к методу groups.getMembers не более 1 000 участников. В одну секунду вы можете получить максимум 3 000 участников, так как установлено ограничение на количество запросов в секунду до 3. Эту проблему решает метод execute, с помощью которого вы можете получить более 100 000 участников за одну секунду и до 25 000 участников за один запрос. В этой статье я расскажу Вам, как я это реализовал.
Читать дальше →
Всего голосов 57: ↑43 и ↓14+29
Комментарии26

Новая технология для полностью экологичного получения электричества

Время на прочтение12 мин
Количество просмотров25K
Все мы много раз задумывались над тем, откуда берётся то самое электричество, благодаря которому возможна работа твоего компьютера, Интернета, огромного количества всевозможного оборудования, и, конечно, Хабрахабра.

Сейчас у нас есть ТЭЦ, АЭС, ГЭС и довольно большое количество других технологий получения энергии. У большей части из этих технологий есть очень существенные недостатки — это либо значительный вред окружающей среде, либо расход медленно возобновляемых природных ресурсов, либо низкая эффективность. Некоторые технологии кажутся почти идеальными, но только до того момента, пока не знаешь их стоимость.

Но что, если бы у нас появилась возможность найти такой способ получения энергии, который не имел бы всех этих недостатков? И что, если бы он также давал дополнительные преимущества, такие как, например, чистая питьевая вода? И если бы он стоил около ста долларов (около трёх тысяч рублей) на человека и всё необходимое оборудование при этом имело бы очень длительный срок эксплуатации (то есть заплатив единожды $100 можно было бы много лет не задумываться о счетах за электричество и воду), а установить такой комплекс можно было бы в любом месте на Земле?

У нас есть этот способ. И мы скоро будем готовы к производству. Поэтому, если вам интересно, читайте дальше.

(Девочка на картинке неодобрительно смотрит на тех, кто не хочет ничего слышать.)

Фотография

Читать дальше →
Всего голосов 208: ↑145 и ↓63+82
Комментарии247

Делаем самораспаковывающийся архив или секции в PHP файлах

Время на прочтение4 мин
Количество просмотров1.3K
Побудила писать этот код меня только одна вещь — тупые FTP некоторых хостеров.
Нет, файлы заливаются с максимальной скоростью, но вот между окончанием загрузки одного файла и началом загрузки следующего проходит секунд 30.
Так как я сейчас страдаю хренью верстаю и ставлю джомлы в ударных количествах, загрузка 5000+ файлов приводит к зачитыванию хабры и гуглридера до дыр, что однако тоже вредно для здоровья.
С целью исправить сиё досадное упущение и пишется небольшой наколеночный скриптик.

Ну,это всё лирика,а теперь по существу
Всего голосов 41: ↑34 и ↓7+27
Комментарии8

Психологическая деформация программистов. Взгляд с обеих сторон баррикад

Время на прочтение6 мин
Количество просмотров136K
Само наличие психологической деформации у какой-либо профессии, как правило, достаточно спорный момент ввиду того, что у разных людей она проявляется по-разному. Однако общую тенденцию можно выделить и, пожалуй, настало то время когда можно достаточно смело говорить, что программисты всё же имеют свой особенный психологический портрет который обусловлен их профессиональной деятельностью.

Я достаточно часто сталкивался с подобным мнением и не придавал ему особого значения, но когда женский коллектив нашей организации поздравил программистов с 23-м февраля по доброму назвав их «космическими войсками», решил всё же расставить определенные акценты в данном вопросе, т.к. одна из моих профессий связана напрямую с психоанализом. Да и баш уже не молчит.

И что же них такого деформированного?
Всего голосов 461: ↑436 и ↓25+411
Комментарии558
1

Информация

В рейтинге
Не участвует
Откуда
Украина
Дата рождения
Зарегистрирован
Активность