Comments 18

Получается, исследователи вручную задали границы классов и добавляют промежуточные классы, варьируя число k требуемых ближайших соседей алгоритма kNN. Такая себе пространственная интерполяция. Ок, в ГИС (геоинформационные системы) такой подход используют не первый век как. Только причем тут машинное обучение? Это же просто заданный вручную классификатор.

Я уж надеялся они на примере картинок научились делать то, что 100 лет умеют методы NLP. Это там если сложить вектора «женщина» и «король» получится ветокр похожий на «королева» даже если модели слово «Королева» не давать на претрейне. А алгоритмам машинного зрения до этого ещё расти и расти…
Дистилляция данных, которая хороша для разработки примеров с «мягкой» меткой для нейронных сетей, также имеет значительный недостаток: метод требует, чтобы вы начали с гигантского набора данных, сокращая его до чего-то более эффективного.
Если я правильно понимаю, нам все равно нужна большая выборка, только дополнительно её нужно правильно сократить до «гибридных объектов» с правильными метками. Потом мы получим хотя бы выигрыш в скорости обучения сети?

Выйгрыш будет т. к все таки сетку дольше учить, чем как-то видоизменять данные. Но я чет не понял каким образом они изменяют данные. Не будет ли получаться бред из данных, которые имеют огромное кол-во фичей с большим кол-во классов. На том же датасете coco, выйдет ли что-то дельное

Думаю, обучать то будет быстрее, но устойчивость к состязательным примерам наверное еще ухудшится. Идея дистиллировать данные наверное хорошая, но в этой реализации видимо дальше цифр или синтетических примеров продвинутся не получится.
Покажите фотографии лошади и носорога, скажите, что единорог — это нечто среднее, и они узнают мифическое создание в книжке с картинками, как только увидят его в первый раз.

Т.е. таким образом мы в последний слой классифицирующей нейросети добавляем нейрон со связями к признакам лошади и носорога, и веса для них тоже задаем.
Нейросеть картинки единорога не видела, но мы вложили в нее известный нам алгоритм, т.е. запрограммировали. Чудес в этом нет.

Если вещи будут развиваться подобным ходом, то переизобретут автоматическую коррекцию IF, потом RBF Classifier, и даже нейроморфную память :) О_o

Я правильно понимаю, что сложность обучения на большом объеме структурированных данных заменяют на сложность структирирования малого объема данных? И вместо машинного обучения мы получаем человеческое программирование данных.

Их тщательно спроектировали и оптимизировали, чтобы они содержали объем информации, эквивалентный объему полного набора.
исследователи создали серию крошечных наборов синтетических данных и тщательно продумали их «мягкие» метки

Так это то же самое, что делает сама нейросеть при обучении по обычному набору данных — объединяет обучающие примеры в некий общий образ со всеми признаками одновременно. Поэтому они могут классифицировать объекты, которые раньше не видели, и поэтому же у них узкая специализация и много ложных срабатываний за ее пределами.


Они просто ускорили обучение, используя логические рассуждения для получения результата. В самой сети от этого интеллекта не добавилось. Это наоборот ближе к обычному программированию.

Посмотрел бы я на обучение ребенка по картинкам из примера. Ведь именно эта аналогия описана в начале статьи
10 изображенных, «дистиллированных» из MNIST, могут обучить ИИ-модель достигать 94-процентной точности распознавания рукописных цифр. Тунчжоу Ван и др.

Я конечно не специалист, но эти изображения выглядят так, как будто исследователи просто сделали дамп уже работающей нейросети.

Ну или наоборот – вычислили правильные коэффициенты сети из выходных данных и потом создали изображение, которое устанавливает их с первой попытке.

В комментах к этой статье кажется о таком никто и не думал, но именно так, прямым вычислением получаются веса для гостовской нейросети идентификации биометрических даннных.
Похоже сейчас ученый изнасилует журналиста. Потому что наука всегда не ради практического применения. Похоже это просто еще один, бесполезный практически но научно интересный, способ обучения нейронной сети. Где хаб ненормальная наука?
10 изображенных, «дистиллированных» из MNIST
Интересный факт: насколько глубоко позволяют хакнуть нейросеть эти специально сгенерированные 10 картинок, которые человеку кажутся случайным шумом. Это напоминает об одной фундаментальной проблеме — уязвимости готовых обученных нейросетей, которые можно взломать специально подобранным паттерном. Пример с лицами и цветными очками.
Only those users with full accounts are able to leave comments. Log in, please.

Information

Founded
Website
madrobots.ru
Employees
51–100 employees
Registered