Comments 25
Судя по картинкам- упомянутая сеть сама по себе пугающе сложная.
Надеюсь, когда-нибудь увижу визуализацию и своей головной неросети.
Эти нейронки только и думают, как бы закинуться роллами.
Объясните пожалуйста, поподробнее, что это значит:
conv2.x — 3x3
[64in — 64out]
conv2.x — 3x3
[64in — 64out]
Сверточный слой какой-то. Оперирует батчами 3х3.
Второй сверточный слой с размером ядра свертки 3x3.
На вход поступает матрица весов в 64 байта — на выходе матрица такого же размера.
Вот что такое сверточные нейронные сети вообще:
https://habrahabr.ru/post/309508/
А вот цикл про эволюцию архитектур нейронных сетей для распознавания изображений соревнования ImageNet:
https://habrahabr.ru/post/301084/
https://habrahabr.ru/post/302242/
https://habrahabr.ru/post/303196/
На вход поступает матрица весов в 64 байта — на выходе матрица такого же размера.
Вот что такое сверточные нейронные сети вообще:
https://habrahabr.ru/post/309508/
А вот цикл про эволюцию архитектур нейронных сетей для распознавания изображений соревнования ImageNet:
https://habrahabr.ru/post/301084/
https://habrahabr.ru/post/302242/
https://habrahabr.ru/post/303196/
Имхо, не самый читаемый вариант визуализации. Паттерны активации свёрточной сети прекрасно визуализируются на любом слое, так, что зачастую вполне понятно, какие признаки вычленяются сетью, а вот что делать с этими изображениями мне лично не очень ясно. Но красиво, конечно. Ещё очень интересно было бы посмотреть в динамике.
По какому принципу строился рисунок, и что можно из него понять? Как-то непонятно.
Было бы неплохо создать отдельную среду разработки нейронных сетей, визуализации в реальном времени и её контроля в процессе обучения, плюс возможности представления её в понятном виде для человека, если это связано с изображениями то пусть это будет изображение. Для примера информация из глаз или воспоминания для нашего сознания имеют определённую понятную форму, но глядя на мозг мы видим миллиарды нейронов из которых понять что-то сложно. Может искусственная нейронная сеть для себя и понимает все картинки и сравнивает их, но для стороннего наблюдателя это просто каша. Разве что свой мозг соединить с ней, что пока что из области фантастики.
То же самое с двоичным кодом и ассемблером. Да и код на Си тоже каша из текста для стороннего человека.
Проблема в том, что программисты, нейробиологи и другие учёные — не художники.
Проблема в том, что программисты, нейробиологи и другие учёные — не художники.
Хорошая аналогия. Можно было бы визаулизировать программу — примерно как это делает IDA, только в большем масштабе — и раскрасить. Получилась бы прикольная картинка, но толку от неё было бы мало.
Можно поставить в центре образ человека, а вокруг него визуализация потребностей — еда, люди, комфортные условия., и разнести схему по нему и наружу к ним.
Отнюдь. Визуализация позволяет окинуть взглядом весь комплекс целиком, всю сложную структуру поместить в область зрения.
Это позволяет провести анализ огромной структуры, которая просто так в оперативку мозга не помещается. (Хотя бы тупо увидеть каждую частичку системы, уже из этого можно много чего оптимизировать)
По такому анализу можно получить много идей по рефакторингу, поиску ошибок и улучшению системы.
Но в случае с нейросетью это даёт нам только начальный этап: понять что вообще внутри чёрной коробки происходит.
Что тоже неплохо.
Уже не фантастика
Красиво и непонятно.
Ляпота!
А как с отладкой ПО? ( Просмотр как работают алгоритмы, где какие данные… )
А как с отладкой ПО? ( Просмотр как работают алгоритмы, где какие данные… )
Вот если бы они сделали видео, как меняется структура нейронной сети в процессе ее обучения. Вот это было бы действительно наглядно.
Чёрный ящик заменили цветными кружочками). Тот, кто научится толковать эти рисунки, будет признан великим шаманом)
Я один немного не понимаю, каким образом ячейки нейронной сети преобразовались в красивые пикчи а-ля сюрреализм? Если я один такой недалекий, прошу знающих пояснить принцип работы такого визуализатора
lash05 уже написал — черный ящик…
Пока что сами разработчики плохо представляют, как оно работает… И в какую сторону выстрелит… Ну а про пошаговую отладку…
Читал статью, что вначале обучения автомобиля предполагалось, что он будет ориентироваться по дорожным знакам. Все было Ок до инцидента: автомобиль резко свернул с дороги перед мостом. Долго разбирались, оказалось, что он обучился ехать по краю дороги. Т.е. с отладкой софта пока что большие проблемы…
Пока что сами разработчики плохо представляют, как оно работает… И в какую сторону выстрелит… Ну а про пошаговую отладку…
Читал статью, что вначале обучения автомобиля предполагалось, что он будет ориентироваться по дорожным знакам. Все было Ок до инцидента: автомобиль резко свернул с дороги перед мостом. Долго разбирались, оказалось, что он обучился ехать по краю дороги. Т.е. с отладкой софта пока что большие проблемы…
Перемотал статью до того места, где интересно и понятно объясняется смысл этих картинок. К сожалению такого места в статье нет.
Далее мои предположения:
Я так понимаю, что данные подаются и снимаются в центре цветных областей. В сети образуются отдельные области, никак не связанные друг с другом. На границах областей образуется мусор и «оболочки», отделяющие одни области от других.
В ходе обучения сети на нее с самого начала, видимо, подается информация, причем в каждую точку сети информация подается как бы равномерно. Далее благодаря обратной связи участки, в которые поступала менее значимая для критерия отбора информация отмирают, вокруг тех участков, где поступает более значимая информация, формируются блоки нейронных связей. В итоге получается вот такая нейросеть, которая концентрируется вокруг значимой информации и игнорирует не значимую. Когда все области нейросети формируют приемлемый ответ на поступающую информацию мы говорим, что нейросеть обучена. В результате и получается вот такая картинка, состоящая из точек, где нейросеть особенно бурно реагирует на поступающую информацию и точек, где она эту информацию игнорирует.
Далее мои предположения:
Я так понимаю, что данные подаются и снимаются в центре цветных областей. В сети образуются отдельные области, никак не связанные друг с другом. На границах областей образуется мусор и «оболочки», отделяющие одни области от других.
В ходе обучения сети на нее с самого начала, видимо, подается информация, причем в каждую точку сети информация подается как бы равномерно. Далее благодаря обратной связи участки, в которые поступала менее значимая для критерия отбора информация отмирают, вокруг тех участков, где поступает более значимая информация, формируются блоки нейронных связей. В итоге получается вот такая нейросеть, которая концентрируется вокруг значимой информации и игнорирует не значимую. Когда все области нейросети формируют приемлемый ответ на поступающую информацию мы говорим, что нейросеть обучена. В результате и получается вот такая картинка, состоящая из точек, где нейросеть особенно бурно реагирует на поступающую информацию и точек, где она эту информацию игнорирует.
Sign up to leave a comment.
Исследователи визуализировали вычисления нейронной сети