Открыть список
Как стать автором
Обновить

Комментарии 16

НЛО прилетело и опубликовало эту надпись здесь
Дмитрий Александрович и Гермоген Сергеевич всё-таки не на нейросетевыми моделями занимались, а мы про коннекционистов. В СССР было довольно много исследователей, занимавшихся ИИ, но сегодня мы рассказываем о тех, кто занимался именно нейронными сетями.
Спасибо за подборку!
В 90-х годах блистала лаборатория Горбаня в Красноярске, он потом в итоге если не ошибаюсь перебрался с коллегами в Москву. Из основных достижений — улучшения и более глубокое исследование устойчивости обучения НС основанных на антиградиенте.
Оборудование у нас тогда было мягко говоря не очень, но зато были пытливые умы :)
Да, видел его работы. Было бы интересно посмотреть, актуально из того, о чём они писали. Там были довольно громкие заявления, например о том, что за счёт применения алгоритма обучения нейронной сети на основе принципа двойственности, можно достичь ускорения обучения в 10 000 раз по сравнению с методом обратного распространения ошибки.
… нейронной сети на основе принципа двойственности...

Не могли бы дать ссылку?

Полюбопытствовал — за рубеж он перебрался. А нам в начале 90х про нейросети читал Козлов Вадим Никитович, позже перебравшийся с ВМиК на мехмат. Тогда это направление казалось (а может и было) довольно экзотическим в науке. Да и мощности тогдашних компьютеров не шли ни в какое сравнение с нынешними, так что теория в практику перейти никак не могла. Нынешний расцвет нейросетей однозначно связан с тем, что железо наконец доросло до нужных мощностей.

Да, это, конечно, важный фактор, но не единственный. Ещё массивы данных для обучения нейросетей стали больше и доступнее. Ну и в архитектурах сетей много нового было открыто за последние несколько десятилетий.
А можно уточнить — что именно в теории появилось нового между 90-ми и нынешним моментом? А то лично у меня впечатление, что нейросети отложили (как ИИ в свое время), в какой-то момент попробовали на практике — елки-палки, оно уже работает! И все заверте…
Ой, список очень длинный будет. LSTM/GRU, механизм внимания в рекуррентных сетях, векторные представления семантики (w2v и др.), трансформеры (и миллионы их модификаций и архитектур на их базе), skip-connections и архитектуры типа ResNet, highway networks, NTM/DNC, глубокие автокодировщики, новые способы инициализации сеток (Ксавье, Хе, Глоро), гибридные свёрточно-рекуррентные архитектуры, генеративные состязательные сети, капсульные сети, gating networks (развитие MoE), множество новых алгоритмов в обучении с подкреплением, новые градиентные оптимизаторы типа ADAM/NADAM/Novograd и мн. др., прореживание (dropout), batchnorm, новые алгоритмы в AutoML (да почти весь AutoML), вся история с послойным обучением и глубокими сетями доверия это уже 2000-е, да ещё забыл половину, небось…
Вот, ещё вспомнил: гиперколонки в свёрточных сетях, strided/dilated-свёртка, современные импульсные сетки на основе STDP, WT-RNN, двунаправленные рекуррентные сети, hierarchical softmax, federated learning, contrastive learning, состязательные атаки на сети и методы защиты от них (обфускация градиента и т.п.), новые пороговые элементы (LReLU/PReLU и др.), сегментирующие/закрашивающие сети, дистилляция и компрессия моделей.
Нда помню те славные времена, КПИ, у меня в 1985 году был диплом по икусственному интеллекту, и я его делал в институте кибернетики Глушкова
1998 г.— введение информации от машины прямо в мозг человека


Забавно, но первая «Матрица» вышла в 1999 году.
Великолепная статья! Все точно подмечено!
Маловато указано про использование компьютера «Киев» и Адресного языка программирования при получении первых в мире результатов в области распознаванию образов: распознавание простых геометрических фигур, рукописных букв и цифр с использованием деревообразных форматов, которые позволяли конфигурировать то, что было впоследствии названо нейронными сетями. Обучение деревобразных форматов производилось методами, которые сейчас называют «машинное обучение». О использовании методов «машинного обучения» в конце 50-х годов на ЭВМ «Киев» писала в своих воспоминаниях Перевозчикова Ольга Леонидовна.
Адресный язык программирования (1955г.) изначально относился к средствам исскуственного интеллекта, поскольку кроме косвенной адресации высших рангов (указателей — Pointers) имел исчерпывающие декларативные возможности (http://nrpcomp.ukma.edu.ua/article/view/220657).
Адресный язык программирования был запрещён в 1965г., а писать о нём в 60-80-годах было под запретом цензуры.
В Интернете имеются крохи информации о результатах полученных на ЕОМ «Киев» по распознаванию простых геометрических фигур. См., например: Европейський виртуальный музей истории информационных технологий в Украине" и цитата из Википедии: «В конце 1950-х — начале 1960-х годов на ЭВМ «Киев» под руководством В. М. Глушкова была выполнена серия уникальных в то время экспериментов по искусственному интеллекту, машинного распознавания простых геометрических фигур, моделирование автоматов для распознавания печатных и письменных букв, автоматическому синтезу функциональных схем.» (можно уточнить года: начиная с 1956г.). Предвижу вопросы: «Что могли распознавать? Компьютерной графики тогда ведь не было!». Ответ: была, была и точечная и растровая, но называлась не так: «координатное и аналитическое» представление изображений в памяти компьютера (снова и снова в Адресном языке программирования). Откуда вводились изображения? ЭВМ «Киев» имел уникальные устройства ввода изображений с фотоплёнки, фотопластин (сканерами теперь называют) и бумажных носителей. Вывод изображений производился печатью на бумагу и засветкой фотоплёнки и фотопластин. Были разработаны стандартные библиотеки программ «компьютерной графики» для обработки изображений, которые использовались в 1975г. в системе слежения за совместным космическим полётом «Союз-Апполон» для отображения на большом Экране местонахождения космических кораблей. Кроме БЕСМ-6 для быстрых расчетов использовались два компьютера «Днепр-2» для отображения графической информации на большом экране.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.