Pull to refresh

Нейронные сети с нуля. Обзор курсов и статей на русском языке, бесплатно и без регистрации

Reading time 5 min
Views 217K
На Хабре периодически появляются обзоры курсов по машинному обучению. Но такие статьи чаще добавляют в закладки, чем проходят сами курсы. Причины для этого разные: курсы на английском языке, требуют уверенного знания матана или специфичных фреймворков (либо наоборот не описаны начальные знания, необходимые для прохождения курса), находятся на других сайтах и требуют регистрации, имеют расписание, домашнюю работу и тяжело сочетаются с трудовыми буднями. Всё это мешает уже сейчас с нуля начать погружаться в мир машинного обучения со своей собственной скоростью, ровно до того уровня, который интересен и пропускать при этом неинтересные разделы.

В этом обзоре в основном присутствуют только ссылки на статьи на хабре, а ссылки на другие ресурсы в качестве дополнения (информация на них на русском языке и не нужно регистрироваться). Все рекомендованные мною статьи и материалы я прочитал лично. Я попробовал каждый видеокурс, чтобы выбрать что понравится мне и помочь с выбором остальным. Большинство статей мною были прочитаны ранее, но есть и те на которые я наткнулся во время написания этого обзора.

Обзор состоит из нескольких разделов, чтобы каждый мог выбрать уровень с которого можно начать.
Для крупных разделов и видео-курсов указаны приблизительные временные затраты, необходимые знания, ожидаемые результаты и задания для самопроверки.




Большинство статей не было написано в рамках единого курса, поэтому информация может дублироваться. Если вы видите, что знаете какую-то часть статьи, то можете её смело пропустить, если вы не разорались с этой информацией в предыдущей статье, то у вас есть шанс прочитать тоже самое, но другими словами, что должно помочь усвоению материала.

Вводные статьи


Требуемый уровень: школьное образование, знание русского языка.
Требуемое время: несколько часов.

Казалось бы, что стоит начать изучение со статьи Искусственная нейронная сеть на википедии, но я не рекомендую. Наискучнейшее описание отбивает всё желание изучать нейронные сети.

Нейронки за 5 минут (слишком упрощённое описание, для гуманитариев, зато потребуется всего 5 минут)
Искусственные нейронные сети простыми словами (лучше потратить 15 минут на эту статью)
Основы ИНС (одна из четырёх статей из Учебник — Нейронные сети)
Нейронные сети для начинающих. Часть 1 и Часть 2
Нейронные сети, фундаментальные принципы работы, многообразие и топология
Искусственные нейронные сети и миниколонки реальной коры (девятая часть из курса Логика сознания)

Задание
Прежде чем переходить к следующему уровню, создайте в онлайн конструкторе сеть. Посмотрите все 4 примера, и в последнем (спираль) обучите сеть за не более чем 100 эпох до уровня ошибки не более 0.1%, используя при этом минимальное количество нейронов и слоёв.

Расширяем горизонты


Требуемый уровень: базовое понимание работы нейронных сетей.
Требуемое время: несколько часов.

Краткий курс машинного обучения или как создать нейронную сеть для решения скоринг задачи
Самое главное о нейронных сетях. Лекция в Яндексе (рекомендую посмотреть только видео на 1 час, читать статью показалось тяжеловато)
Введение в архитектуры нейронных сетей
Что такое свёрточная нейронная сеть
Свёрточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество
Зоопарк архитектур нейронных сетей. Часть 1 и Часть 2 (Особо вчитываться не надо, достаточно посмотреть красивые картинки и прочитать описание по диагонали)

Задание
Перечислите основные:
  • типы задач, которые решают нейронные сети
  • типы архитектур нейронных сетей
  • функции активации
  • типы нейронов / слоёв



Углубляем знания


Требуемый уровень: понимание работы нейронных сетей, знание базовых архитектур.
Требуемое время: несколько десятков часов.

Курс о Deep Learning на пальцах от АФТИ НГУ (14 видеороликов, 15 часов, будет познавательно)
Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению (10 видеороликов, 20 часов, будет сложно)
Лекции Техносферы. Нейронные сети в машинном обучении (14 видеороликов, 25 часов, будет скучно)

Чтобы определиться самому и помочь с выбором остальным хабровчанам, я построил график падения интереса к курсу на основе падения количества просмотров каждого следующего ролика. Выводы неутешительные — мало кто доходит до конца. Самый большой процент дошедших до конца — у курса от АФТИ НГУ.


(График падения количества просмотров составлялся пару месяцев назад и текущая картина может немного отличаться).

Примеры применения на практике


Сюда вошли в основном только те статьи, после которых прочитавшие их люди смогут сами воспроизвести описанные результаты (есть ссылки на исходники или онлайн сервисы)

ТОП30 самых впечатляющих проектов по машинному обучению за прошедший год (v.2018)
Улучшение качества изображения с помощью нейронной сети
Детектирование частей тела с помощью глубоких нейронных сетей
Классификация объектов в режиме реального времени
Раскрашиваем чёрно-белую фотографию с помощью нейросети
Смена пола и расы на селфи с помощью нейросетей
Как различать британскую и американскую литературу с помощью машинного обучения
Разделение текста на предложения с помощью Томита-парсера
WaveNet: новая модель для генерации человеческой речи и музыки
Анализ Корана при помощи AI
Сколько нужно нейронов, чтобы узнать, разведён ли мост Александра Невского?
Сколько котов на хабре?
Торговля знает, когда вы ждете ребенка
Стэнфордская нейросеть определяет тональность текста с точностью 85%
Топливо для ИИ: подборка открытых датасетов для машинного обучения

Другие материалы


Статьи и курсы, которые не вошли в мой обзор, но возможно вам понравятся.

Нейронные сети в картинках: от одного нейрона до глубоких архитектур (python, numpy)
Базовые принципы машинного обучения на примере линейной регрессии (python, numpy, матан)
Сверточная нейронная сеть, часть 2: обучение алгоритмом обратного распространения ошибки (матан)
Нейронные сети на stepik.org (в обзоре двухлетней давности его уже тогда называли устаревшим)
Курс по машинному обучению на Coursera от Яндекса и ВШЭ (курс доступен только после регистрации, NumPy, Pandas, Scikit-Learn)
Deep Learning For Coders (7 видеороликов, 15 часов, английский язык)
Курс Deep Learning от Google на udacity (английский язык)
Курс Структурирование проектов по машинному обучению на Coursera (платный, английский язык)

Другие статьи-обзоры на хабре по изучению машинного обучения


Где и как изучать машинное обучение? (английский язык)
Что читать о нейросетях 10 книг (английский язык)
Обучаемся самостоятельно: подборка видеокурсов по Computer Science (английский язык)
Обзор курсов по Deep Learning (английский язык)
10 курсов по машинному обучению на лето (английский/русский язык, платно/бесплатно)

Прочтение этих статей и подтолкнуло меня написать свою собственную, в которой были бы материалы только на русском языке, без регистрации и требования 5 лет матана.
Надеюсь, что у моей статьи будет меньше комментариев вида:
«Закинул в закладки. Смотреть я их, конечно, не буду.»

Прошу всех заинтересованных лиц ответить на опросы после статьи, ну и подписывайтесь, чтобы не пропустить мои следующие статьи, ставьте лайки, чтобы мотивировать меня на их написание и пишите в комментариях вопросы (опечатки лучше в личку).

Традиционное предупреждение: я не отвечаю на сообщения в личку/соцсетях/телеграмме и т.д. Если у вас есть вопрос, то задавайте его в комментариях.
Only registered users can participate in poll. Log in, please.
Укажите свой уровень теоретических знаний о нейронных сетях
36.2% абсолютный ноль (нейронные сети — это матрицы и/или магия) 202
42.65% элементарное понимание (нейроны, функции активации и т.д.) 238
16.67% базовое знание (градиентный спуск, свёрточные и рекуррентные сети и т.д.) 93
3.41% расширенное использование (могу использовать и дорабатывать существующие подходы) 19
1.08% глубокое знание (есть научные публикации или инновационные исследования) 6
558 users voted. 40 users abstained.
Only registered users can participate in poll. Log in, please.
Укажите свой опыт работы с нейронными сетями на практике
59.6% абсолютный ноль 301
29.5% запускал для фана готовые решения 149
5.15% использовал готовые решения в продакшене 26
2.57% дорабатывал готовые решения для продакшена 13
3.17% занимался инновационными разработками 16
505 users voted. 42 users abstained.
Only registered users can participate in poll. Log in, please.
Курсы, которые проходил
10.43% Курс о Deep Learning на пальцах от АФТИ НГУ 12
13.04% Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению 15
6.96% Лекции Техносферы. Нейронные сети в машинном обучении 8
36.52% Курс по машинному обучению на Coursera от Яндекса и ВШЭ 42
33.04% Курс по нейронным сетям на stepik 38
4.35% Deep Learning For Coders на fast.ai 5
2.61% Deep Learning от Google на udacity 3
37.39% другой курс (напишу в комментариях) 43
115 users voted. 242 users abstained.
Only registered users can participate in poll. Log in, please.
Курсы, которые проходил и рекомендую
16% Курс о Deep Learning на пальцах от АФТИ НГУ 12
13.33% Материалы открытого курса OpenDataScience и Mail.Ru Group по машинному обучению 10
1.33% Лекции Техносферы. Нейронные сети в машинном обучении 1
28% Курс по машинному обучению на Coursera от Яндекса и ВШЭ 21
18.67% Курс по нейронным сетям на stepik 14
4% Deep Learning For Coders на fast.ai 3
4% Deep Learning от Google на udacity 3
37.33% другой курс (напишу в комментариях) 28
75 users voted. 270 users abstained.
Only registered users can participate in poll. Log in, please.
Причины почему не прохожу / не проходил курс по нейронным сетям
54.86% мало свободного времени 141
29.96% трудно совместимый график обучения с работой, семьёй и т.д. 77
10.12% не нравится видео-формат (предпочитаю текст, аудио и т.д.) 26
7.78% не люблю делать домашнее задание 20
19.46% слишком сложно 50
10.89% слишком скучно 28
30.35% не знаю матан 78
20.62% не знаю английский язык 53
5.84% другая причина (напишу в комментариях) 15
257 users voted. 107 users abstained.
Tags:
Hubs:
If this publication inspired you and you want to support the author, do not hesitate to click on the button
+29
Comments 12
Comments Comments 12

Articles