«Подготовленный человек тоже наступает на грабли.
Но с другой стороны — там, где ручка.»

Elasticsearch — прекрасный инструмент, но каждый инструмент требует не только настройки и ухода, но и внимания к мелочам. Некоторые — незначительны и лежат на поверхности, а другие спрятаны так глубоко, что на поиск уйдет не один день, не один десяток кружек кофе и не один километр нервов. В этой статье расскажу про девять замечательных граблей в настройке эластика, на которые я наступил.

В этой статье я опишу личный опыт написания первой версии текстовой MMO RPG для Телеграмма, используемые для этого технологии и этапы, через которые прошёл, при создании игры.

Общие сведения

Это вторая часть статьи, иллюстрирующие возможности использования OS Mikrotik, в качестве HotSpot точки. В первой части я рассказывал как настроить HotSpot, а так же познакомил с возможностью выдачи и покупки карт доступа. Ознакомиться с первой частью вы можете здесь.

В этой инструкции мы расскажем о том, как с помощью Fetchee Product API получить данные о товаре по URL на примере интернет-магазина lamoda.

Для тех, кто не читал нашу прошлую заметку — Product API будет полезен разработчикам, которым требуется получать данные о товарах из любого магазина, но которые не хотят тратить время на создание собственной системы парсинга или уже осознали, что open-source библиотеки обладают существенными ограничениями и требуют много времени на поддержку. Наш автоматический и не требующий настройки API для парсинга eCommerce данных даёт возможность сосредоточится на разработке основных функций вашего приложения. К тому же попробовать его очень просто. Детали под катом.

Всем привет! На днях прилетела интересная задача: «Найти бесплатные прокси-сервера». Взявшись за нее, решил обойти все сайты свободных проксей и понял — дохлые… ну или с высоким пингом.

После нескольких часов безуспешных поисков, было принято решение использовать свои ресурсы!

Итак, что в итоге должно получиться:

1. VM Ubuntu/Debian 2 CPU, 2GB RAM, 8GB HDD (ну тоесть совсем не требовательная)
2. PRIVOXY для проксирования запросов (Можно взять nginx, varnish — я взял Privoxy)
3. TOR сервер

Добрый день, сегодня я расскажу про одного зловреда, пойманного на просторах Интернета. Данный зловред прикидывается расширением для браузера Google Chrome. При заражении видоизменяет ярлык, дописывая команду загрузки расширения (--load-extension “путь до зловреда“). То есть, можно удалить расширение в браузере, но при следующем запуске оно установиться вновь.

Это третья статья в цикле про создание и использование скриптов для веб-скрейпинга при помощи Node.js:

1. Web scraping при помощи Node.js
2. Web scraping на Node.js и проблемные сайты
3. Web scraping на Node.js и защита от ботов
4. Web scraping обновляющихся данных при помощи Node.js

В первой статье разбирались базовые аспекты веб-скрейпинга, такие как получение и парсинг страниц, рекурсивный проход по ссылкам и организация очереди запросов. Во второй статье разбирались анализ сайта, работающего через Ajax, тонкая настройка очереди запросов и обработка некоторых серверных ошибок.

Также во второй статье затрагивалась тема инициализации сессий, но, там речь шла о предельно простом случае, когда достаточно выполнить один дополнительный запрос и сохранить куки.

В этой статье разбирается более сложный случай – инициализация сессий с авторизацией по логину и паролю и с преодолением довольно изощрённой защиты от ботов. Как обычно, на примере реальной (и весьма популярной среди скрейперов) задачи.

В прошлых статьях целью было показать весь процесс создания и использования скрипта от постановки задачи и до получения конечного результата. В этой статье большая часть аспектов веб-скрейпинга обходится стороной, а вместо этого показывается многообразие подходов к решению одной, довольно узкой задачи. Различные методы и инструменты, их плюсы и минусы, субъективные оценки, примеры кода, вот это вот всё.

Некоторое время назад к нам обратился представитель банка АО «Банк ЦентрКредит» (Казахстан) с интересной задачей. Необходимо было интегрировать в конвейер обработки данных, представляющих из себя текст на естественном языке, дополнительный инструмент обработки. Всех деталей проекта мы раскрывать не можем, так как он находится в сфере безопасности банка и разрабатывается его службой безопасности. В освещении технологических аспектов задачи и способов их реализации заказчик не был против, что собственно мы и хотим сделать в рамках данной статьи.

В целом задача, состояла в извлечении некоторых сущностей из большого массива текстов. Не сильно отличающаяся проблема от классической задачи извлечения именованных сущностей, с одной стороны. Но определения сущностей отличались от обычных и тексты были довольно специфическими, а сроку на решение проблемы было две недели.

Протокол Z-Wave весьма популярен, и существует огромное множество совместимых устройств. Однако все, кто когда либо автоматизировал своё жилище, сталкивались с тем, что чего-то таки не хватает.

Кому-то не хватает датчика давления, кому-то датчика дождя, кому-то хочется устройство на 6 реле в одном корпусе, да ещё и на батарейках. А кому-то просто нужно управлять через Z-Wave пылесосом iRobot Roomba.

Но всего этого нет в Z-Wave (да и в других протоколах тоже), и производители не торопятся осуществлять все ваши мечты.

Мы услышали вашу боль и создали идеальный комбайн. Встречайте Z-Uno, которая сочетает простоту и универсальность. Z-Uno — это Arduino в мире Z-Wave. На этой плате вы можете собрать все ваши устройства мечты и многое другое.

Предисловие

Печально видеть, что статьи о предупреждении или предотвращении вторжений на хабре столь непопулярны.
Курс молодого бойца: защищаемся маршрутизатором. Продолжение: IPS — 5 плюсов.
SNORT как сервисная IPS — 25 плюсов.
OSSEC: Большой Брат наблюдает за тобой — 13 плюсов.
Однако, огромной популярностью пользуются статьи по разбору последствий проникновения. Попробую вбросить очередную популяризацию информационной безопасности.

Описание Suricata

Система предотвращения вторжений (англ. Intrusion Prevention System) — программная или аппаратная система сетевой и компьютерной безопасности, обнаруживающая вторжения или нарушения безопасности и автоматически защищающая от них.
Системы IPS можно рассматривать как расширение Систем обнаружения вторжений (IDS), так как задача отслеживания атак остается одинаковой. Однако, они отличаются в том, что IPS должна отслеживать активность в реальном времени и быстро реализовывать действия по предотвращению атак. Возможные меры — блокировка потоков трафика в сети, сброс соединений, выдача сигналов оператору. Также IPS могут выполнять дефрагментацию пакетов, переупорядочивание пакетов TCP для защиты от пакетов с измененными SEQ и ACK номерами.
wiki

Suricata — open source IPS/IDS система. Основана разработчиками, которые трудились над IPS версией Snort. Основное отличие Suricata от Snort — возможность использования GPU в режиме IDS, более продвинутая система IPS, многозадачность, как следствие высокая производительность, позволяющая обрабатывать трафик до 10Gbit на обычном оборудовании, и многое другое, в том числе полная поддержка формата правил Snort. Лучше почитать обо всём на официальном сайте. Cегодня погорим об IPS.

В последние пару лет меня достаточно сильно интересовал вопрос ценообразования в российских интернет-магазинах. Каждый раз при заявлении интернет-магазина о большой скидке в душу закрадывается сомнение… Действительно ли такая большая скидка? Была ли реальна цена которая сейчас зачеркнута?
Резкие изменения курса доллара в конце 2014г. подлили масла в огонь. Очень захотелось получить ответ на вопрос как зависят цены от курса доллара в реальности.
В итоге, я решил покончить с этими вопросами и собрать историю изменения цен по российским интернет-магазинам. По катом результаты работы + несколько интересных закономерностей.

Создание компании — это крайне нелегкий процесс. Привлечение капитала является важным шагом для многих ИТ-стартапов, который, однако, связан с трудностями для тех, кто делает это в первый раз. Учитывая это, мы хотели бы пролить свет на то, что из себя представляет процесс успешного привлечения посевного финансирования.

В своей прошлой статье, я упомянул о выпуске браузерного расширения для Google Chrome, который способен повысить эффективность поиска, за счет предоставления релевантной информации из статей понравившихся вам в социальных сетях.

На сегодня мы поддерживаем 3 главных браузера Chrome, Firefox и Safari, причем, не смотря на разницу платформ, все собираются из одной кодовой базы. Я расскажу, как это было сделано и как упростить себе жизнь разрабатывая браузерные расширения.

Несколько раз нас просили рассказать о нашем офисе, который играет роль пункта выдачи, и мы с удовольствием это делаем.

Наш офис находится на парковке магазина Raja Market (второй магазин после границы с Россией). Рядом установлены флаги, чтобы нас было легче найти.

Пункт выдачи выполнен из 4 контейнеров, которые чаще всего используют в логистике, и совсем недавно в них очень любили устраивать pop-up сторы. Контейнеры соединили между собой, одну стену заменили стеклянной витриной, стены покрасили в нужный цвет, ну и добавили какие-то необходимые вещи — лестницу, щетку для обуви и тому подобное.



Внутри организован офис для сотрудников, которые работают с клиентами и занимаются логистикой, два разных склада (по таможенным правилам посылки, которые пришли из ЕС, нужно хранить отдельно от всех остальных), также есть зона отдыха, где клиенты могут попить чай или кофе или просто посидеть, а также есть стол, где можно разобрать посылку, проверить ее содержимое, убедиться, что все в целости и сохранности.

Данный пост является переводом статьи с reddit и представляет собой выжимку наиболее интересных фактов о том, какие шаги предпринимали известные стартапы в первые месяцы своего существования для привлечения первых пользователей. Некоторые советы в статье могут показаться очевидными, но в целом подборка историй мне показалась довольно интересной, а посему захотелось ею поделиться.

Под катом истории таких компаний, как Dropbox, Reddit, Quora, Foursquare, Groupon, Tinder и Airbnb.

Структура обзора

1. Вступление;
2. Сравнение основных 5-х программ по популярности, цене, совместимости, наличию на разных платформах;
3. Подробное описание функционала и особенностей 5-х основных программ.

Введение

Mindmapping (рисование древовидных карт или ментальных карт) прочно вошел в жизнь многих людей именно с появлением соответствующего софта. Используя mindmap, делают техзадания, консультанты-аналитики делают проекты, дизайнеры придумывают концепции, тренера делают презентации, менеджеры составляют планы и т.д.

Целью этой статьи не является пропаганда mindmapping. У древовидного представления данных есть свои плюсы и свои ограничения. Обсуждение уже было в комментариях к публикации "+10 к интеллекту".

Эта публикация для тех, кто хочет выбрать удобный инструмент и узнать какие-то новые фишки, о которых еще не знал.

Все, кто хоть раз покупал онлайн, знает, что теперь он будет получать все-все новости интернет-магазина. Тут есть интересные – черная пятница или 75% распродажа, а есть не очень – новые коллекции купальников, бесплатная доставка при покупке от 500$ и прочее-прочее. Когда интересных площадок становится больше, прибавляются и письма в спаме.

Сотрудникам pochta.fi чуть легче, по количеству посылок из каждого магазина в определенный момент можно примерно понимать, где лучшие распродажи. К сожалению, даже если вы нашли тотальную распродажу, весь ассортимент представлен по смехотворным ценам, то все-равно найдется та самая заветная вещь, которая больше всего понравится и которая окажется совсем-совсем новой, из свежайшей коллекции, естественно без скидок.

Сегодня мы подробно расскажем о том, почему наши посылке не облагаются финскими пошлинами, о том, что такое депозит и как проходить таможню.

Идем по порядку. Финляндия.

Вся сфера мейлфорвардинга появилась из двух причин – завышенная цена доставки или невозможность в принципе отправить посылку в нужную страну. Для России наиболее актуальны покупки из США, но что делать с Европой? Там также море отличных магазинов, которые доставляют в любую точку Еврозоны, но отказывают в доставке в Россию. Можно также как и с Америкой воспользоваться складом где-то в Италии или Германии, а можно доставить в Финляндию и забрать там. Основные плюсы второго варианта это лимит, на машине ввозить можно товаров на 1500 евро, по почте можно получить только на 1000. А также скорость доставки, в Финляндию посылка придет куда быстрее, чем на домашний адрес в Санкт-Петербурге.

Таможня при европейских посылках.

Тут все просто, если вы получили посылку из Италии, то на финско-русской границе Вы спокойно проезжаете через зеленый коридор, ничего не декларируете. Pochta.fi –это таможенный склад, поэтому все посылки проходят проверку как бы заранее. Когда вы приезжаете на границу, инспектор уже в курсе, что у Вас в коробке, поэтому если у него и будут какие-то вопросы, то он их задаст нам до вашего появления на таможне.



Посылки из США, Китая, Японии и пр стран, не входящих в ЕС.

27 ноября в 19:00 началась Черная пятница, которая продлилась 3 дня. Как и в прошлом году я следил за ценами товаров до, во время и после Черной пятницы. В этому году под наблюдение попало 7 магазинов: sotmarket, ozon, enter, technopark, mvideo, euroset, svyaznoy. Под катом будет выложен анализ цен товаров для каждого магазина.

На Хабре не раз и не два публиковались обзоры о защищенных от всего и вся ноутбуках. Эти ноутбуки выдерживали путешествие на Северный полюс, их бросали, на них катались, как на санках. И действительно, устройства эти заслужили репутацию надежных спутников в условиях, где обычная техника работать отказывается. На этот раз компания представила защищенный планшетный ПК. Имя этого героя — Toughbook H2.