Как стать автором
Обновить
-2
0
Александр Судникович @Sudno

Пользователь

Отправить сообщение

Парсим мемы в питоне: как обойти серверную блокировку

Время на прочтение26 мин
Количество просмотров101K

Новогодние праздники — прекрасный повод попрокрастинировать в уютной домашней обстановке и вспомнить дорогие сердцу мемы из 2k17, уходящие навсегда, как совесть Electronic Arts.



Однако даже обильно сдобренная салатами совесть иногда просыпалась и требовала хоть немного взять себя в руки и заняться полезной деятельностью. Поэтому мы совместили приятное с полезным и на примере любимых мемов посмотрели, как можно спарсить себе небольшую базу
данных, попутно обходя всевозможные блокировки, ловушки и ограничения, расставленные сервером на нашем пути. Всех заинтересованных любезно приглашаем под кат.

Читать дальше →
Всего голосов 76: ↑70 и ↓6+64
Комментарии42

Web Scraping с помощью python

Время на прочтение7 мин
Количество просмотров561K

Введение


Недавно заглянув на КиноПоиск, я обнаружила, что за долгие годы успела оставить более 1000 оценок и подумала, что было бы интересно поисследовать эти данные подробнее: менялись ли мои вкусы в кино с течением времени? есть ли годовая/недельная сезонность в активности? коррелируют ли мои оценки с рейтингом КиноПоиска, IMDb или кинокритиков?
Но прежде чем анализировать и строить красивые графики, нужно получить данные. К сожалению, многие сервисы (и КиноПоиск не исключение) не имеют публичного API, так что, приходится засучить рукава и парсить html-страницы. Именно о том, как скачать и распарсить web-cайт, я и хочу рассказать в этой статье.
В первую очередь статья предназначена для тех, кто всегда хотел разобраться с Web Scrapping, но не доходили руки или не знал с чего начать.

Off-topic: к слову, Новый Кинопоиск под капотом использует запросы, которые возвращают данные об оценках в виде JSON, так что, задача могла быть решена и другим путем.
Читать дальше →
Всего голосов 40: ↑31 и ↓9+22
Комментарии48

У меня нулевая текучка

Время на прочтение9 мин
Количество просмотров179K
Однажды на заводе, где я работал ИТ-директором, готовили отчетность к какому-то очередному мероприятию. Надо было рассчитать и предоставить показатели по выданному перечню, среди них затесалась текучесть кадров. И тут оказалось, что у меня она равна нулю.

Из руководителей я был такой один, тем самым привлек к себе внимание. Ну и сам удивился – оказывается, когда от тебя не уходят сотрудники, это странно и необычно.

В сумме я работал руководителем лет 7-10 (точно не знаю, какие периоды сюда включать), но нулевая текучка сохранилась. Никто никогда от меня не уходил, никого никогда я не выгонял. Только набирал.

Нулевая текучка, как показатель, никогда не была моей самоцелью. Но я стараюсь делать так, чтобы вложенные в людей усилия не пропадали даром. Сейчас расскажу примерно, как я руковожу так, что люди не уходят – вдруг что полезное для себя найдете. На полноту раскрытия темы не претендую, т.к. основываюсь только на личном опыте. Вполне возможно, что я всё делаю неправильно.
Читать дальше →
Всего голосов 317: ↑283 и ↓34+249
Комментарии534

Скрипт настройки Windows 10

Время на прочтение2 мин
Количество просмотров168K

image
Давно хотел поделиться своим скриптом по автоматизации настройки Windows 10 (на данный момент актуальная версия 19041), да все руки не доходили. Возможно, он будет кому-то полезен целиком или только его части. Конечно, будет проблематично описать все пункты настройки, но постараюсь выделить самое важное.

Если кому-то интересно, то добро пожаловать под кат.

Читать дальше →
Всего голосов 88: ↑77 и ↓11+66
Комментарии297

Жизнь внутри черной дыры

Время на прочтение10 мин
Количество просмотров119K
Знаю, что здесь это якобы не приветствуется, но делаю кросс-пост отсюда по прямой просьбе автора — Горькавого Николая Николаевича. Есть некоторый шанс, что их идея перевернёт современную науку. И лучше прочитать о ней в оригинале, чем в пересказе рен-тв или ленты.ру.

image

Для тех, кто не следил за темой. Рассмотрим две вращающихся друг вокруг друга чёрных дыры, допустим, массами 15 и 20 единиц (масс Солнца). Рано или поздно они сольются в одну черную дыру, но её масса будет не 35 единиц, а, скажем, всего 30. Остальные 5 улетят в виде гравитационных волн. Именно эту энергию улавливает гравитационный телескоп LIGO.

Суть идеи Горькавого и Василькова в следующем. Допустим, вы наблюдатель, сидите в своём кресле и чувствуете притяжение 35 единиц массы делить на квадрат расстояния. И тут бац — буквально за секунду их масса уменьшается до 30 единиц. Для вас, в силу принципа относительности, это будет неотличимо от ситуации, когда вас отбросило в обратном направлении с силой в 5 единиц, делить на квадрат расстояния. То есть, неотличимо от антигравитации.

Читать дальше →
Всего голосов 91: ↑86 и ↓5+81
Комментарии600

Что будет, если объединить фоторедактор и нейросеть

Время на прочтение3 мин
Количество просмотров22K

Пример работы нейронного фоторедактора Neural Photo Editor. По центру — оригинальное изображение. Красными и синими квадратами показаны области скрытого пространства, сгенерированного после обучения нейросети. Ими можно манипулировать и напрямую (как обычно это делается) и косвенно, посредством «контекстной кисти»

Вы думаете, что «Фотошоп» творит чудеса в искажении реальности? Да, он может бесследно удалить человека с фотографии или нарастить волосы на голове, как у Илона Маска, с помощью «контекстной кисти». Но это и рядом не стоит с тем, на что способна нейросеть, если разрешить ей редактирование с контекстным анализом. Это совершенно другая реальность. Нейросеть способна заставить человека на фотографии улыбаться, придать вашей девушке черты Анджелины Джоли и так далее. Возможности безграничны.
Читать дальше →
Всего голосов 33: ↑29 и ↓4+25
Комментарии12

Восстановление расфокусированных и смазанных изображений. Практика

Время на прочтение10 мин
Количество просмотров347K
Не так давно я опубликовал на хабре первую часть статьи по восстановлению расфокусированных и смазанных изображений, где описывалась теоретическая часть. Эта тема, судя по комментариям, вызвала немало интереса и я решил продолжить это направление и показать вам какие же проблемы появляются при практической реализации казалось бы простых формул.

В дополнение к этому я написал демонстрационную программу, в которой реализованы основные алгоритмы по устранению расфокусировки и смаза. Программа выложена на GitHub вместе с исходниками и дистрибутивами.

Ниже показан результат обработки реального размытого изображения (не с синтетическим размытием). Исходное изображение было получено камерой Canon 500D с объективом EF 85mm/1.8. Фокусировка была выставлена вручную, чтобы получить размытие. Как видно, текст совершенно не читается, лишь угадывается диалоговое окно Windows 7.



И вот результат обработки:



Практически весь текст читается достаточно хорошо, хотя и появились некоторые характерные искажения.

Под катом подробное описание проблем деконволюции, способов их решения, а также множество примеров и сравнений. Осторожно, много картинок!
Читать дальше →
Всего голосов 459: ↑456 и ↓3+453
Комментарии141

Не читайте тексты про западные стартапы

Время на прочтение7 мин
Количество просмотров28K
Привет, Гиктаймс!

Не думал, что вообще буду сюда писать тексты такой специфической тематики, но свежий пост ФРИИ — «С чего начинается hardware-стартап: Команда и прототип» — меня зацепил. Дело в том, что центральная часть текста там посвящена тому, как правильно раздавать направо и налево доли в вашем стартапе — от основателей до рядовых сотрудников, причём последним предлагается раздавать минимальные доли почти по конец первой сотни нанятых вами работников.

Проблема в том, что в России такое не просто крайне затруднительно чисто технически — я даже не уверен, что вообще возможно, в России сама попытка реализации такой схемы эффективно похоронит ваш стартап, причём самым глупым образом.

Подробно причины этого описаны в законе 14-ФЗ («Об обществах с ограниченной ответственностью», то есть базовый закон по данной теме), который любому человеку, в принципе задумывающемуся о каком-либо стартапе, стоит прочитать хотя бы по диагонали, чтобы в общих чертах представлять себе, как работает и регулируется ООО в России.

Я сознательно говорю именно про ООО, потому что примерно 100 из 100 стартапов в России — это ООО. Теоретически, вы можете зарегистрировать стартап как непубличное АО и избавиться от описанных ниже проблем, но немедленно влететь в другие: например, если в ООО любые решения о судьбе общества вы можете подтверждать просто подписями всех соучредителей, то в АО требуется проведение полноценного собрания с присутствием нотариуса, заверяющего все принятые решения.

Итак, ООО — что делать с долями и инвестициями стартапу, живущему в России.

Читать дальше →
Всего голосов 73: ↑63 и ↓10+53
Комментарии132

Спросите Итана #4: Странные астрономические карты

Время на прочтение3 мин
Количество просмотров15K
image

У меня есть экзистенциальная карта, по всей поверхности которой написано «Вы здесь».
Стивен Райт


Читатель спрашивает:

Карты космического микроволнового фонового излучения выглядят как плоский овал. Как это соотносится с видом неба, которое представляет собой сферу? Например, карта Земли может быть либо искажена, чтобы показать нам мир в двух измерениях, либо порезана на ломтики. На какую часть неба мы смотрим, смотря на карту КМФИ? Она искажена? А если это только часть неба – не пропущена ли какая-либо важная информация?

Он говорит о подобных картинках:
image

Сложно поверить, но тут действительно зашифровано всё небо.
Читать дальше →
Всего голосов 30: ↑28 и ↓2+26
Комментарии4

Microsoft заставит пользователей обновлять Windows 10

Время на прочтение1 мин
Количество просмотров166K
Вчера компания Microsoft объявила дату выхода Windows 10 — 29 июля 2015. Также вчера пользователи Windows 7 & 8/8.1 смогли наблюдать у себя в области обновлений значок запущенного процесса GWX (Get Windows X). Файлы GWX располагаются в директории C:\Windows\System32\GWX и будут присутствовать там только в случае установленного обновления KB3035583. Этот процесс предлагал пользователям «зарезервировать» свою копию Windows 10 для своевременного обновления. В дальнейшем, GWX будет использоваться для обновления до Windows 10.



Ранее мы писали, что для домашних пользователей Windows 10, Microsoft будет доставлять обновления сразу же как только они будут доступны, отказываясь таким образом от менее безопасной модели patch tuesday, при которой все выпускаемые обновления должны были ждать одного дня. Теперь стало известно, что для домашних пользователей обновления будут устанавливаться автоматически после скачивания и пользователь не сможет запретить или отложить их установку.
Читать дальше →
Всего голосов 28: ↑27 и ↓1+26
Комментарии70

Тульпа — карманная шизофрения для гиков или реальный воображаемый друг

Время на прочтение9 мин
Количество просмотров1.5M
Скажите, вы бы хотели иметь друга? Любого человека или другое существо, которое будет вашим самым лучшим другом, обладая той внешностью, которая вам нравится, и тем характером который вам необходим, которое не надо будет делить с ее или его друзьями, родителями, собачкой, игрушками или учебой.
А секретаря, который всегда с вами, имеет прямой доступ к вашей памяти, напомнит, подскажет, и подаст нужную идею, напарника для мозгового штурма?
Тогда добро пожаловать под кат.



Тульпа — это стабильная самовнушенная осознанная визуализация, способная к самостоятельным мыслям и действиям, обладающая собственным сознанием. Что характерно, создается она совершенно осознанно, путем целенаправленных действий в течении долгого времени, и позволяет задавать начальный характер и форму по вашему усмотрению.
Это ты сейчас с кем разговаривал? Расшифруй определение.
Всего голосов 161: ↑83 и ↓78+5
Комментарии563

Онлайн, оффлайн и мобильные планетарии

Время на прочтение3 мин
Количество просмотров31K


Технологии не стоят на месте — появляются новые проекты, выходят новые версии существующих программ. А с развитием веб-технологий появилось множество онлайн-планетариев и карт Солнечной системы и ближних окрестностей. Предлагаю вашему вниманию небольшой обзор онлайн-ресурсов и программ, которые нужно устанавливать на локальную машину. И пара слов про мобильные планетарии для Android.
Читать дальше →
Всего голосов 24: ↑24 и ↓0+24
Комментарии27

Что делать, если «кина не будет» или как обойти блокировку сайта провайдером

Время на прочтение6 мин
Количество просмотров1.5M
Настал мой законный выходной и, выбрав время для просмотра фильма (люблю я старую классику), я занялся его поиском. Зайшел на один из привычных для меня сайтов, и наткнулся на такую вот блокировку данного ресурса.

блокировка

«Вот те раз!» — подумал я. Ни в одном реестре запрещенных сайтов данный ресурс не присутствовал и, с чего билайн его заблокировал — непонятно. Естественно после таких вот «заявочек» в голову полезли страшные мысли: «а что если завтра любимого „кина“ не будет!». Данные мысли тут же подвигли меня начать искать способы борьбы с данной ситуацией, и написать, для тех кому будет интересно, маленький обзор нескольких решений по обходу блокировки сайтов. (под катом скрины)
Читать дальше →
Всего голосов 120: ↑96 и ↓24+72
Комментарии87

Вы и ваша работа *

Время на прочтение40 мин
Количество просмотров814K
Длинный материал. Время чтения – около 40 минут.

image

Доктор Ричард Хэмминг, профессор морской школы Монтерея в штате Калифорния и отставной учёный Bell Labs, прочёл 7 марта 1986 года очень интересную и стимулирующую лекцию «Вы и ваши исследования» переполненной аудитории примерно из 200 сотрудников и гостей Bellcore на семинаре в серии коллоквиумов в Bell Communications Research. Эта лекция описывает наблюдения Хэмминга в части вопроса «Почему так мало учёных делают значительный вклад в науку и так многие оказываются в долгосрочной перспективе забыты?». В течение своей более чем сорокалетней карьеры, тридцать лет которой прошли в Bell Laboratories, он сделал ряд прямых наблюдений, задавал учёным очень острые вопросы о том, что, как, откуда, почему они делали и что они делали, изучал жизни великих учёных и великие достижения, и вёл интроспекцию и изучал теории креативности. Эта лекция о том, что он узнал о свойствах отдельных учёных, их способностях, чертах, привычках работы, мироощущении и философии.
Читать дальше →
Всего голосов 239: ↑229 и ↓10+219
Комментарии127

Обфускация JavaScript

Время на прочтение5 мин
Количество просмотров195K
В статье собраны всем известные методы и предельно извращенные. Эту статью я решил написать после недавнего прочтения поста в блоге Badass JavaScript и решил её дополнить своими находками.

Первый способ


Он всем известен — обфускация минимизаторами такими как JS Packer, JSmin, YUI Compressor, Closure compiler или можно просто пугуглить «JavaScript Obfuscator» и найдется ещё сто штук разных обфускаторов.
Они превращают существующий код
function MyClass(){
    this.foo = function(argument1, argument2){
        var addedArgs = parseInt(argument1)+parseInt(argument2);
        return addedArgs;
    }
    var anonymousInnerFunction = function(){
        // do stuff here!
    }
}

В какой-то такой вид:
function MyClass(){this.foo=function(c,b){var d=parseInt(c)+parseInt(b);return d};var a=function(){}};

Или такой:
var _0xd799=["\x66\x6F\x6F"];function MyClass(){this[_0xd799[0]]=function (_0xefcax2,_0xefcax3){var _0xefcax4=parseInt(_0xefcax2)+parseInt(_0xefcax3);return _0xefcax4;} ;var _0xefcax5=function (){} ;} ;

Или вот такой:
eval(function(p,a,c,k,e,d){e=function(c){return c};if(!''.replace(/^/,String)){while(c--){d[c]=k[c]||c}k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1};while(c--){if(k[c]){p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c])}}return p}('4 0="3 5!";9 2(1){6(1+"\\7"+0)}2("8");',10,10,'a|msg|MsgBox|Hello|var|World|alert|n|OK|function'.split('|'),0,{}))

Но ничего не стоит его восстановить с помощью jsbeautifier.org либо просто убрать eval и получить исходный код, многое потеряем, но смысл кода восстановим. Ну и с первого взгляда мы видим, что перед нами JavaScript.

Все это были цветочки под катом жесткие методы обфускации.
Читать дальше →
Всего голосов 171: ↑165 и ↓6+159
Комментарии85

Астрономы обнаружили в Малом Магеллановом Облаке звёздный объект, ранее считавшийся гипотетическим

Время на прочтение2 мин
Количество просмотров76K
С помощью 6,5-метровых оптических телескопов обсерватории Лас-Кампас в Чили астрономы обнаружили красный супергигант HV 2112, спектр которого сильно отличается от типичного для звёзд этого класса. Лучше всего он соответствует спектру предсказанной в 1977 году астрофизиками Кипом Торном и Анной Житков экзотической двойной системы. Объект Торна-Житков представляет собой тесную двойную систему из красного супергиганта и нейтронной звезды. Необычность этого объекта в том, что нейтронная звезда в этой системе в результате торможения о внешние слои супергиганта теряет скорость и по спиральной траектории стремительно проваливается внутрь него. Благодаря огромной температуре и силе тяжести у поверхности нейтронной звезды, окружающее её вещество супергиганта вступает в необычные термоядерные реакции, порождая избыточное количество лития и относительно тяжёлых элементов, таких как рубидий и молибден.

image
Читать дальше →
Всего голосов 78: ↑72 и ↓6+66
Комментарии29

Видео с МКС в HD качестве в режиме реального времени: High Definition Earth Viewing

Время на прочтение1 мин
Количество просмотров133K


Не знаю, почему, но новость о том, что с МКС начали трансляцию в HD-качестве, прошла как-то мимо Хабра. А ведь это — новый эксперимент, который стартовал еще 30 апреля этого года.

В рамках проекта установлено несколько весьма качественных HD видеокамер, направленных на Землю. Камеры, насколько можно понять, находятся снаружи МКС, на обшивке, но заключены в корпус с контролируемым давлением, и температурой.

Читать дальше →
Всего голосов 71: ↑68 и ↓3+65
Комментарии63

Айтишник на отдыхе: добавим немного астрономии?

Время на прочтение6 мин
Количество просмотров125K

Стремительно приближается лето и сопутствующие ему выезды на природу. Посиделки затягиваются заполночь, и над головой появляются звезды. Но, как правило, зведное небо таинственно и непонятно — астрономию в школах не преподают толком, наверное, уже с конца 80-х, да и кто помнит, чему его учили в школе, если это не использовалось в жизни постоянно? А в небе хватает интересного, особенно если потратить чуть-чуть времени на астрономическое обеспечение выезда на природу.
Читать дальше →
Всего голосов 107: ↑104 и ↓3+101
Комментарии81

О патриотизме и реализме

Время на прочтение4 мин
Количество просмотров208K
О сегодняшней российской космонавтике в русскоязычном интернете имеется два мнения: “мы в космосе первые” и “мы в космосе последние”.

Souyz

С “последними” всё достаточно ясно: если не интересоваться космонавтикой, а поверхностный взгляд формировать из просмотра популярных СМИ, то перед глазами встают картины взрывающихся ракет и коррупционные скандалы. К примеру, прошлогоднее падение “Протона” затмило, в информационном поле, остальные три десятка успешных запусков. То же самое касается и раздувания новостей о коррупции в Роскосмосе. Она, конечно, есть, но, несмотря на нее, отрасль работает и развивается, хоть и не так быстро как хотелось бы.

Сегодня я хотел поговорить о “мы впереди планеты всей”. Вполне объективные показатели: лидирующие положение на мировом рынке космических запусков, стабильно надежное обеспечение пилотируемой программы МКС, экспорт ракетных двигателей, ракет и разгонных блоков, позволяют России находиться в списке ведущих мировых космических держав. Но те, кому известны эти факты, ударяются в обратную крайность — полагают, что Роскосмос занимает верхнюю ступеньку космического пьедестала.
Читать дальше →
Всего голосов 280: ↑262 и ↓18+244
Комментарии222

Как начать майнить для начинающих

Время на прочтение4 мин
Количество просмотров659K
Идея и название статьи подсказано юзером Xao в комментарии к недавнему посту Что делать с Bitcoin нам, обычным людям, а также многочисленными вопросами на Тостере. Эта инструкция поможет начать майнинг на обыкновенных компьютерах и ноутбуках под управлением ОС Windows или Linux в составе пула совместной генерации криптовалюты.

Как верно заметил dzzh
Смысла нет сейчас биткоин майнить. Какие-то мелкие монетки генерировать и через биржи в биткоин выводить — еще да.

Поэтому начать майнинг придется с выбора криптовалюты. Данная инструкция состоит из 5 простых шагов:
  1. Выбор форка
  2. Выбор пула
  3. Выбор майнера
  4. Запуск майнинга
  5. Вывод на свой кошелек

Читать дальше →
Всего голосов 44: ↑18 и ↓26-8
Комментарии32

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность