Комментарии 17
НЛО прилетело и опубликовало эту надпись здесь
Спасибо за подборку!
В 90-х годах блистала лаборатория Горбаня в Красноярске, он потом в итоге если не ошибаюсь перебрался с коллегами в Москву. Из основных достижений — улучшения и более глубокое исследование устойчивости обучения НС основанных на антиградиенте.
Оборудование у нас тогда было мягко говоря не очень, но зато были пытливые умы :)
В 90-х годах блистала лаборатория Горбаня в Красноярске, он потом в итоге если не ошибаюсь перебрался с коллегами в Москву. Из основных достижений — улучшения и более глубокое исследование устойчивости обучения НС основанных на антиградиенте.
Оборудование у нас тогда было мягко говоря не очень, но зато были пытливые умы :)
Да, видел его работы. Было бы интересно посмотреть, актуально из того, о чём они писали. Там были довольно громкие заявления, например о том, что за счёт применения алгоритма обучения нейронной сети на основе принципа двойственности, можно достичь ускорения обучения в 10 000 раз по сравнению с методом обратного распространения ошибки.
Полюбопытствовал — за рубеж он перебрался. А нам в начале 90х про нейросети читал Козлов Вадим Никитович, позже перебравшийся с ВМиК на мехмат. Тогда это направление казалось (а может и было) довольно экзотическим в науке. Да и мощности тогдашних компьютеров не шли ни в какое сравнение с нынешними, так что теория в практику перейти никак не могла. Нынешний расцвет нейросетей однозначно связан с тем, что железо наконец доросло до нужных мощностей.
Да, это, конечно, важный фактор, но не единственный. Ещё массивы данных для обучения нейросетей стали больше и доступнее. Ну и в архитектурах сетей много нового было открыто за последние несколько десятилетий.
А можно уточнить — что именно в теории появилось нового между 90-ми и нынешним моментом? А то лично у меня впечатление, что нейросети отложили (как ИИ в свое время), в какой-то момент попробовали на практике — елки-палки, оно уже работает! И все заверте…
Ой, список очень длинный будет. LSTM/GRU, механизм внимания в рекуррентных сетях, векторные представления семантики (w2v и др.), трансформеры (и миллионы их модификаций и архитектур на их базе), skip-connections и архитектуры типа ResNet, highway networks, NTM/DNC, глубокие автокодировщики, новые способы инициализации сеток (Ксавье, Хе, Глоро), гибридные свёрточно-рекуррентные архитектуры, генеративные состязательные сети, капсульные сети, gating networks (развитие MoE), множество новых алгоритмов в обучении с подкреплением, новые градиентные оптимизаторы типа ADAM/NADAM/Novograd и мн. др., прореживание (dropout), batchnorm, новые алгоритмы в AutoML (да почти весь AutoML), вся история с послойным обучением и глубокими сетями доверия это уже 2000-е, да ещё забыл половину, небось…
Вот, ещё вспомнил: гиперколонки в свёрточных сетях, strided/dilated-свёртка, современные импульсные сетки на основе STDP, WT-RNN, двунаправленные рекуррентные сети, hierarchical softmax, federated learning, contrastive learning, состязательные атаки на сети и методы защиты от них (обфускация градиента и т.п.), новые пороговые элементы (LReLU/PReLU и др.), сегментирующие/закрашивающие сети, дистилляция и компрессия моделей.
Вау
Нда помню те славные времена, КПИ, у меня в 1985 году был диплом по икусственному интеллекту, и я его делал в институте кибернетики Глушкова
1998 г.— введение информации от машины прямо в мозг человека
Забавно, но первая «Матрица» вышла в 1999 году.
Великолепная статья! Все точно подмечено!
Маловато указано про использование компьютера «Киев» и Адресного языка программирования при получении первых в мире результатов в области распознаванию образов: распознавание простых геометрических фигур, рукописных букв и цифр с использованием деревообразных форматов, которые позволяли конфигурировать то, что было впоследствии названо нейронными сетями. Обучение деревобразных форматов производилось методами, которые сейчас называют «машинное обучение». О использовании методов «машинного обучения» в конце 50-х годов на ЭВМ «Киев» писала в своих воспоминаниях Перевозчикова Ольга Леонидовна.
Адресный язык программирования (1955г.) изначально относился к средствам исскуственного интеллекта, поскольку кроме косвенной адресации высших рангов (указателей — Pointers) имел исчерпывающие декларативные возможности (http://nrpcomp.ukma.edu.ua/article/view/220657).
Адресный язык программирования был запрещён в 1965г., а писать о нём в 60-80-годах было под запретом цензуры.
В Интернете имеются крохи информации о результатах полученных на ЕОМ «Киев» по распознаванию простых геометрических фигур. См., например: Европейський виртуальный музей истории информационных технологий в Украине" и цитата из Википедии: «В конце 1950-х — начале 1960-х годов на ЭВМ «Киев» под руководством В. М. Глушкова была выполнена серия уникальных в то время экспериментов по искусственному интеллекту, машинного распознавания простых геометрических фигур, моделирование автоматов для распознавания печатных и письменных букв, автоматическому синтезу функциональных схем.» (можно уточнить года: начиная с 1956г.). Предвижу вопросы: «Что могли распознавать? Компьютерной графики тогда ведь не было!». Ответ: была, была и точечная и растровая, но называлась не так: «координатное и аналитическое» представление изображений в памяти компьютера (снова и снова в Адресном языке программирования). Откуда вводились изображения? ЭВМ «Киев» имел уникальные устройства ввода изображений с фотоплёнки, фотопластин (сканерами теперь называют) и бумажных носителей. Вывод изображений производился печатью на бумагу и засветкой фотоплёнки и фотопластин. Были разработаны стандартные библиотеки программ «компьютерной графики» для обработки изображений, которые использовались в 1975г. в системе слежения за совместным космическим полётом «Союз-Апполон» для отображения на большом Экране местонахождения космических кораблей. Кроме БЕСМ-6 для быстрых расчетов использовались два компьютера «Днепр-2» для отображения графической информации на большом экране.
Маловато указано про использование компьютера «Киев» и Адресного языка программирования при получении первых в мире результатов в области распознаванию образов: распознавание простых геометрических фигур, рукописных букв и цифр с использованием деревообразных форматов, которые позволяли конфигурировать то, что было впоследствии названо нейронными сетями. Обучение деревобразных форматов производилось методами, которые сейчас называют «машинное обучение». О использовании методов «машинного обучения» в конце 50-х годов на ЭВМ «Киев» писала в своих воспоминаниях Перевозчикова Ольга Леонидовна.
Адресный язык программирования (1955г.) изначально относился к средствам исскуственного интеллекта, поскольку кроме косвенной адресации высших рангов (указателей — Pointers) имел исчерпывающие декларативные возможности (http://nrpcomp.ukma.edu.ua/article/view/220657).
Адресный язык программирования был запрещён в 1965г., а писать о нём в 60-80-годах было под запретом цензуры.
В Интернете имеются крохи информации о результатах полученных на ЕОМ «Киев» по распознаванию простых геометрических фигур. См., например: Европейський виртуальный музей истории информационных технологий в Украине" и цитата из Википедии: «В конце 1950-х — начале 1960-х годов на ЭВМ «Киев» под руководством В. М. Глушкова была выполнена серия уникальных в то время экспериментов по искусственному интеллекту, машинного распознавания простых геометрических фигур, моделирование автоматов для распознавания печатных и письменных букв, автоматическому синтезу функциональных схем.» (можно уточнить года: начиная с 1956г.). Предвижу вопросы: «Что могли распознавать? Компьютерной графики тогда ведь не было!». Ответ: была, была и точечная и растровая, но называлась не так: «координатное и аналитическое» представление изображений в памяти компьютера (снова и снова в Адресном языке программирования). Откуда вводились изображения? ЭВМ «Киев» имел уникальные устройства ввода изображений с фотоплёнки, фотопластин (сканерами теперь называют) и бумажных носителей. Вывод изображений производился печатью на бумагу и засветкой фотоплёнки и фотопластин. Были разработаны стандартные библиотеки программ «компьютерной графики» для обработки изображений, которые использовались в 1975г. в системе слежения за совместным космическим полётом «Союз-Апполон» для отображения на большом Экране местонахождения космических кораблей. Кроме БЕСМ-6 для быстрых расчетов использовались два компьютера «Днепр-2» для отображения графической информации на большом экране.
Кибернетика - продажная девка империализма! (Был когда-то такой лозунг, попавший в т.ч. в кинохроники.)
А если серьезно, то статья великолепная, отображающая историю разработок в области нейросетей в прошлом веке. Помню, я и сам этим делом увлекался в конце прошлого века (в эпоху DOS), писал программы на Turbo Pascal по моделированию простых нейросетей в неск. слоев (только не всегда хорошо получалось с их обучением), также использовал готовое ПО для экспериментов. Интереснейшая была тема. Хорошие были времена!
И сейчас иногда развлекаемся с нейросетями (онлайновыми и оффлайновыми) типа ChatGPT, Stable Diffusion, Kandinsky, Шедеврум и пр. Нейросети сейчас внедряют где только можно, даже в браузеры, в т.ч. Яндекс.Браузер.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
История нейронных сетей в СССР