Как стать автором
Обновить
42
Карма
0
Рейтинг
Shedar @Shedar

Пользователь

  • Подписчики 8
  • Подписки 9
  • Публикации
  • Комментарии

37 причин, почему ваша нейросеть не работает

Обработка изображенийОтладкаМашинное обучение
Перевод
Tutorial
Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же проверки. Здесь я собрал в удобный список свой опыт вместе с лучшими идеями коллег. Надеюсь, этот список будет полезен и вам.
Читать дальше →
Всего голосов 37: ↑37 и ↓0+37
Просмотры31K
Комментарии 11

Экосистема: больше участников — больше прибыль! Зачем Skyeng открывает API

Блог компании SkyengРазработка мобильных приложенийAPIРасширения для браузеров
UPD: новая ссылка на документацию по API

imageimageimageimage

В наших текстах мы периодически упоминаем некую «экосистему Skyeng». Настала пора разобраться, что же мы понимаем под этим термином. В этой статье мы расскажем, что такое экосистема и почему ее создатели заинтересованы в том, чтобы на ней зарабатывало как можно больше сторонних разработчиков. Ну и, конечно, покажем, где найти открытые методы нашего API, чтобы вы уже сейчас начали прикручивать наш словарь к своему приложению. И еще будет конкурс!
Читать дальше →
Всего голосов 14: ↑12 и ↓2+10
Просмотры8.1K
Комментарии 22

Анализ изменений в игре

Блог компании PlayrixАнализ и проектирование системРазработка игрТестирование игр
Одна из основных характеристик успешной мобильной игры — ее постоянное оперирование: это и переработка существующего контента, и добавление нового. Но есть и обратная сторона медали – нужно постоянно оценивать риски изменений в очередной версии приложения. Необходимо заранее представлять, как изменения в апдейте повлияют на показатели проекта. Иначе можно оказаться в ситуации, когда во время планового обновления внезапно ломается баланс и нужно срочно поднимать всю команду разработки для выпуска хотфикса.

Еще до сборки нового продакшен-билда мы должны понимать, на какие показатели повлияет нововведение. Ведь в новых версиях игры может быть множество изменений баланса. Без предварительного планирования неизбежно возникнет один из таких вопросов: «Что же повысило ARPU в Канаде — локальные мероприятия в честь национального праздника или общее повышение сложности группы каких-то уровней; а может, просто звезды так совпали?». Безусловно, и после выхода апдейта выполняется всесторонний анализ результатов, но понимать характер изменений нужно заранее.

Читать дальше →
Всего голосов 17: ↑15 и ↓2+13
Просмотры15K
Комментарии 3

Открытый курс машинного обучения. Тема 10. Градиентный бустинг

Блог компании Open Data ScienceData MiningАлгоритмыМатематикаМашинное обучение

Всем привет! Настало время пополнить наш с вами алгоритмический арсенал.


Сегодня мы основательно разберем один из наиболее популярных и применяемых на практике алгоритмов машинного обучения — градиентный бустинг. О том, откуда у бустинга растут корни и что на самом деле творится под капотом алгоритма — в нашем красочном путешествии в мир бустинга под катом.


UPD: теперь курс — на английском языке под брендом mlcourse.ai со статьями на Medium, а материалами — на Kaggle (Dataset) и на GitHub.


Видеозапись лекции по мотивам этой статьи в рамках второго запуска открытого курса (сентябрь-ноябрь 2017).

Читать дальше →
Всего голосов 64: ↑63 и ↓1+62
Просмотры199K
Комментарии 17

Пишем URL, получаем бесплатную иконку

Я пиарюсь
Сервис omg-img позволяет вставлять иконки вот так:

<img src="https://png.icons8.com/search">



Чувствуете, к чему я клоню? Сделали вставление иконок не выходя из IDE. Просто пишете URL, параметры вроде цвета и стиля — мы отрендерим иконку и отдадим через хороший, годный CDN.

Вместо search можно написать любое название иконки:

  • home
  • sheep-on-bike
  • trump

Читать дальше →
Всего голосов 76: ↑72 и ↓4+68
Просмотры15K
Комментарии 105

Открытый курс машинного обучения. Тема 6. Построение и отбор признаков

Блог компании Open Data SciencePythonData MiningАлгоритмыМашинное обучение

Сообщество Open Data Science приветствует участников курса!


В рамках курса мы уже познакомились с несколькими ключевыми алгоритмами машинного обучения. Однако перед тем как переходить к более навороченным алгоритмам и подходам, хочется сделать шаг в сторону и поговорить о подготовке данных для обучения модели. Известный принцип garbage in – garbage out на 100% применим к любой задаче машинного обучения; любой опытный аналитик может вспомнить примеры из практики, когда простая модель, обученная на качественно подготовленных данных, показала себя лучше хитроумного ансамбля, построенного на недостаточно чистых данных.


UPD: теперь курс — на английском языке под брендом mlcourse.ai со статьями на Medium, а материалами — на Kaggle (Dataset) и на GitHub.



Читать дальше →
Всего голосов 52: ↑52 и ↓0+52
Просмотры132K
Комментарии 28

Нейросеть Pix2pix реалистично расцвечивает карандашные наброски и чёрно-белые фотографии

СофтИскусственный интеллект

Четыре примера работы программы, код которой опубликован в открытом доступе. Слева показаны исходные изображения, справа — результат автоматической обработки

Многие задачи в обработке изображений, компьютерной графике и компьютерном зрении можно свести к задаче «трансляции» одного изображения (на входе) в другое (на выходе). Так же как один и тот же текст можно представить на английском или русском языке, так и изображение можно представить в RGB-цветах, в градиентах, в виде карты границ объектов, карты семантических меток и т.д. По образцу систем автоматического перевода текстов, разработчики из лаборатории Berkeley AI Research (BAIR) Калифорнийского университета в Беркли создали приложение для автоматической трансляции изображений из одного представления в другое. Например, из чёрно-белого наброска в полноцветную картинку.
Читать дальше →
Всего голосов 24: ↑23 и ↓1+22
Просмотры36K
Комментарии 46

Решение проблемы понимания контекста искусственным интеллектом. Часть 1

Искусственный интеллектМозгБудущее здесь


Понимание естественного языка является AI полной задачей. Одним из аспектов такого понимания является понимание контекста. В данной статье я объясню, какие виды контекста выделяет наша психика, как она работает с одним из видов контекста, и как мы этот процесс воссоздаем в нашей технологии искусственного интеллекта.

The trophy doesn't fit into the brown suitcase because it's too [small/large].
What is too [small/large]?
Answers:The suitcase/the trophy.
The Winograd Schema Challenge

В предыдущей статье описан наш подход к разработке ИИ и то, что нами уже сделано на настоящий момент. Напомню, что мы создаем ИИ путем прямого копирования структур и процессов психики человека.
Читать дальше →
Всего голосов 16: ↑16 и ↓0+16
Просмотры10K
Комментарии 109

Обзор курсов по Deep Learning

Блог компании New Professions LabData MiningBig DataМашинное обучение
Привет, Хабр! Последнее время все больше и больше достижений в области искусственного интеллекта связано с инструментами глубокого обучения или deep learning. Мы решили разобраться, где же можно научиться необходимым навыкам, чтобы стать специалистом в этой области.

image
Читать дальше →
Всего голосов 52: ↑48 и ↓4+44
Просмотры66K
Комментарии 29

Как устроен поиск

Блог компании Конференции Олега Бунина (Онтико)Высокая производительностьРазработка веб-сайтовПоисковые технологииSphinx
Андрей Аксёнов

Андрей Аксенов (@shodan, Разработчик поискового движка Sphinx)


Поиск устроен вот так:

Краткое устройство поиска

Индексация – по большому счету, ничего сложного. Понятное дело, что по малому счету, там в каждой из трех «деталей» спрятан не то, что демон, а целое где-то стадо, где-то легион, не совсем понятно. Но концепция всегда простая. Все начинается с маленького простенького патчика к Многосерчу, а потом 15 лет этой херней занимаешься.

Берешь документы, разваливаешь их на ключевые слова. И просто взять и развалить документ на ключевые слова «мама, мыла, раму» – это ты не далеко ушел от grep’а, потому что потом все равно эти ключевые слова перебирать. Надо строить некую спец. структуру – полнотекстовый индекс. Вариантов для его построения человечество придумало в свое время довольно много, но, слава Богу, от всех отказалось и в нормальных продакшн системах, по большому счету, победил на данный момент вариант ровно один. Про него и буду рассказывать. Все остальные имеют скорее историческое значение, что ли, и практического интереса не представляют.
Читать дальше →
Всего голосов 64: ↑53 и ↓11+42
Просмотры32K
Комментарии 22

DDoS атака в обход Qrator. Как защититься?

Информационная безопасность
Есть сервисы, защищающие нас от DDoS атак. Они работают по принципу прокси: в DNS прописывается их IP, они фильтруют трафик и проксируют на ваш сервер. Все они настоятельно рекомендуют прятать свой IP и в публичном доступе давать только IP прокси-защитника. Вполне здравый подход, достаточный для успешной защиты. А я расскажу на чем можно проколоться и как от этого защитится.
Читать дальше →
Всего голосов 43: ↑38 и ↓5+33
Просмотры23K
Комментарии 10

Как реализовать почти мгновенное переключение сайта между площадками, когда одна упала

Хостинг
image

Бывает, сайты падают из-за отказа площадки хостера, каналов и так далее. Я 7 лет работаю в хостинге, и часто вижу такие проблемы.

Пару лет назад я понял, что услуга резервной площадки (без доработки их сайта или сервиса) очень важна клиентам. Теоретически тут всё просто:
1. Иметь копию всех данных в другом дата-центре.
2. При сбое переключать работу на резервный ДЦ.

На практике система пережила 2 полные технические реорганизации (сохранение основных идей со сменой значительной части инструментария), 3 переезда на новое оборудование, 1 переезд между поставщиками услуг (переезд из немецкого дата-центра в два российских). На исследование поведения разных систем в реальных условиях под клиентской нагрузкой ушло 2 года.
Читать дальше →
Всего голосов 46: ↑44 и ↓2+42
Просмотры37K
Комментарии 45

DataTalks 25.10.14: первая встреча

Блог компании WargamingData MiningBig Data
Tutorial
Добрый вечер! Сегодня вперые говорим об анализе данных в нашем блоге. Для многих это крайне актуальная тема. Однако в Беларуси не так много действительно полезных встреч и конференций, посвященных аналитике.
25 октября 2014 года в Минске состоялся первый DataTalks. DataTalks – это неформальные встречи специалистов в области анализа данных. Для участников это отличная возможность узнать об опыте применения аналитики в компаниях, работающих на мировом и местном рынках, а также познакомиться со специалистами в области анализа данных из различных индустрий.

Докладчики из Wargaming, Yandex, Dmlabs.org и Нанотех, на примерах решаемых ими задач, объясняли общие закономерности и применимость алгоритмов, которые важно знать и использовать при анализе данных в любой индустрии. Вопросы спикерам перерастали в профессиональные дискуссии, остановить которые не могло даже начало следующего доклада.

DataTalks
Читать дальше →
Всего голосов 13: ↑13 и ↓0+13
Просмотры8K
Комментарии 0

Как сэкономить на фотоаппарате с GPS

Фототехника
Перевод
Мне нравятся геотеги в фотографиях. Геотеги так же, или даже более полезные, чем теги лиц. Уже появляются программы, которые позволяют отображать протегированные фото на карте в приятном и полезном виде:



Обычно, после поездок с фотоаппаратом я садился за компьютер и проставлял координаты фотографий вручную с мечтами о том, что в один прекрасный день я куплю себе «тушку», в которой будет GPS-приемник. Но несколько недель назад открыл для себя набор программ, которые компенсируют фотоаппарату отсутствие GPS наличием этого модуля в телефоне.
Читать дальше →
Всего голосов 77: ↑72 и ↓5+67
Просмотры30K
Комментарии 56

Для тех, кто хочет научиться воспринимать английский на слух

Изучение языков
Для того, чтобы научиться воспринимать иностранную речь на слух, нужно много слушать. Правда, толку от этого будет немного, если вы не будете понимать, что люди говорят. Важно, чтобы мозг устанавливал связи между словами и их звуковыми образами. Для этого нужно слушать с субтитрами и текстовками, и слушать то, что соответствует вашему уровню и то, что вы способны понять на родном языке.
Читать дальше →
Всего голосов 33: ↑32 и ↓1+31
Просмотры4.4K
Комментарии 26

Притча о составе жизни

Чулан
Однажды, один профессор философии, ведя лекцию, вдруг вышел из зала, а через минуту вернулся, неся в руках небольшую стеклянную банку и пакет, заполненный чем то явно тяжелым. Достав из свертка несколько крупных камней, он высыпал их в банку так, что больше места для камней не осталось. Проделав такие несложные манипуляции, профессор обратился к аудитории: «Как вы думаете, полна ли банка?». Естественно, сразу встал молодой человек и сказал, что банка полна. Тогда лектор достал из пакета горошек, засыпал его в банку и потряс всю конструкцию так, чтобы горошек заполнил все полости в банке, которые только мог. Потом он снова обратился к студентам с аналогичным вопросом. В этот раз, все так же уверенно, молодой человек ответил, мол теперь сосуд однозначно полон. Тогда профессор, ничего не говоря, достал из своего свертка пакет с песком и высыпал весь песок в банку так, что свободного места не осталось вообще. И снова обратился к аудитории с вопросом: «Полна ли банка?». На этот раз студент отвечал менее уверенно, но тем не менее все так же. Профессор, выслушав сбивчивую речь и ни слова не говоря, достал из куля бутылку пива и вылил в сосуд, а потом сказал: «Я хочу, чтобы вы поняли, что банка — это ваша жизнь. Камни — это семья и друзья. Горошек — карьера и материальное благополучие, а песок — так, мелочь. Если вы сразу заполните жизнь песком и горошком, то не хватит места для камней. В первую очередь нужно заниматься семьей, детьми, а на остальное всегда хватит места в вашей жизни, — это только песок.»
Но на этом вопросы не закончились — у профессора одна студентка спросила: «А чем в нашей жизни является пиво?». «Я рад, что вы задали такой вопрос», — с улыбкой ответил лектор. «Это означает лишь то, что в вашей жизни всегда хватит места, чтобы выпить немного пива.»
Читать дальше →
Всего голосов 5: ↑3 и ↓2+1
Просмотры1
Комментарии 0

Незаменимое пособие для авторов статей, текстов и постов

Управление медиа
Tutorial
"… Специально для вас, — ответил великий комбинатор. — Вы, я замечаю, все время терзаетесь муками творчества. Писать, конечно, очень трудно. Я, как старый передовик и ваш собрат по перу, могу это засвидетельствовать. Но я изобрел такую штуку, которая избавляет от необходимости ждать, покуда вас окатит потный вал вдохновения. Вот. Извольте посмотреть.

И Остап протянул Ухудшанскому лист, на котором было написано:

ТОРЖЕСТВЕННЫЙ КОМПЛЕКТ.
НЕЗАМЕНИМОЕ ПОСОБИЕ ДЛЯ СОЧИНЕНИЯ ЮБИЛЕЙНЫХ СТАТЕЙ, ТАБЕЛЬНЫХ ФЕЛЬЕТОНОВ, А ТАКЖЕ ПАРАДНЫХ СТИХОТВОРЕНИЙ. ОД И ТРОПАРЕЙ"

И. Ильф, Е. Петров, «Золотой теленок»


Хабр — это все-таки больше СМИ, чем просто форум и тусовка «для своих». Это я к тому, что хочешь — не хочешь, а публикуя топик, ты, фактически, занимаешься журналистикой. На Хабре уже не раз упоминалась книга Александра Амзина по интернет-журналистике. Книга, на мой взгляд, удалась, и заслуживает почетного места в закладках у каждого. Тем не менее, одна ссылка хорошо, а много — лучше. Так как я не один год проработал бок о бок с журналистами, то и сам нахватался от них всякого. Под катом — джентльменский набор вкусных и полезных ссылок.
Читать дальше →
Всего голосов 139: ↑129 и ↓10+119
Просмотры2.8K
Комментарии 53

Как мы тестируем CSS-регрессии с Gemini. Доклад на BEMup в Яндексе

Блог компании ЯндексOpen sourceCSS
Всем привет! Меня зовут Сергей Татаринцев. В Яндексе я работаю в группе разработки общих интерфейсов. Наша группа занимается созданием интерфейсных библиотек, используемых во многих сервисах, — в том числе в Поиске. Мы поддерживаем четыре библиотеки, которые в общей сложности включают в себя 62 блока.

Если посчитать все десктопные и мобильные браузеры всех версий, то получается, что у нас в поддержке их более 15. Около года назад их все мы тестировали вручную. Тестировщик просто брал и прокликивал все это во всех браузерах и смотрел, не поехало ли что-нибудь, работает ли так, как было задумано. Это приводило к тому, что процесс релиза очень затягивался. Вплоть до того что разработка и тестирование занимали приблизительно одинаковое время. Многие баги ускользали от глаз тестировщика или обнаруживались через достаточно продолжительное время.



Мы решили, что дальше так жить нельзя и решили процесс тестирования как-то автоматизировать. Начали мы с инструментов статического анализа. Для проверки стиля кода у нас используется инструмент jscs, написанный нашим коллегой Маратом Дулиным. Для статического анализа кода применяется всем известный JSHint. А для отлова регрессий в JS мы пишем юнит-тесты. Это в какой-то мере помогло справиться с проблемой: анализаторы отлавливали совсем уж глупые ошибки, а тесты позволили проверять функциональность блока. А вот с регрессиями в CSS был пробел. Тестирование внешнего вида по-прежнему проводилось руками и глазами тестировщика. Мы стали искать инструменты, которые помогали бы нам в автоматизации.
Читать дальше →
Всего голосов 57: ↑55 и ↓2+53
Просмотры25K
Комментарии 13

Дружим свой софт с антивирусами: как избежать ложных срабатываний

Программирование
В этой заметке я хочу рассказать о том, как решалась проблема ложного срабатывания антивирусов на наш продукт.



Если у вас таких проблем нет, но вы планируете защищать свое ПО с помощью протектора — рекомендую ознакомиться с материалом, так как скорее всего вам предстоит пройти то же самое.
Читать дальше →
Всего голосов 47: ↑41 и ↓6+35
Просмотры23K
Комментарии 34

Защита .NET-приложений при помощи Sentinel LDK Envelope

Разработка веб-сайтовПрограммирование.NET
Утилита Sentinel LDK Envelope, о которой пойдет речь в этой статье, предназначена для установки навесной защиты на исполняемые модули (EXE и DLL) для платформ Win32, Windows x64, .NET, а так же, на Java-приложения (JAR и WAR). Защита осуществляется путем «привязывания» кода приложения к ключу защиты Sentinel (новое поколение ключей HASP), причем, ключ может быть как аппаратным (HL), так и программным (SL). Обработанный таким образом исполняемый модуль, будет работать только в присутствии требуемого ключа со всеми необходимыми лицензиями. Помимо проверки наличия ключа, внедренный в приложение код защиты, так же, обеспечит активное противодействие отладке и затруднит реверс-инжиниринг приложения, включая статический анализ кода.

Цель данной статьи – рассмотреть способы и особенности защиты .NET-приложений, причем, с упором на максимальную автоматизацию процесса установки защиты. Поэтому, далее мы будем рассматривать только тот функционал Envelope, который касается защиты именно .NET-приложений.

Читать дальше →
Всего голосов 17: ↑9 и ↓8+1
Просмотры18K
Комментарии 29

Информация

В рейтинге
Не участвует
Откуда
Украина
Дата рождения
Зарегистрирован
Активность