Комментарии 8
Хотелось бы упомянуть, что в природных нейронных сетях нет никаких оптимизаторов. Что никак не мешает им обучаться в тысячи раз быстрее и точнее искусственных и на существенном меньших объемах данных. Видимо нужна статья где рассматриваются существенные различия природных и искусственных нейронных сетей.
Согласен, очень интересный вопрос, насколько похожи математические нейронные сети, созданные человеком, и сети в головах животных
обучаться в тысячи раз быстрее и точнее искусственных и на существенном меньших объемах данныхВам, как нейронной сети, сколько часов понадобилось, чтобы изучить родной язык, второй язык, а потом переводить из одного на другой? За сколько минут вы научились держать равновесие на двух ногах и эффективно перемещаться? Скажите пожалуйста, сколько часов видеоряда вы просмотрели прежде чем научились отличать хотя бы сотню видов животных друг от друга?
:) Ой зря вы все это спросили.
А вот для детенышей антилоп разница еще более впечатляющая. Детеныш уже через 1 час самообучения после рождения может идти со скоростью матери по природной среде. Через день самообучения детеныш достигает невероятных высот и навыков движения. И все это без каких либо оптимизаторов.
И да… Я, как и вы, не просто нейронная сеть. Множество ключевых блоков, которые есть в моем и вашем мозгу, в принципе не представимы современными искусственными нейронными сетями. Ни с какими оптимизаторами.
За сколько минут вы научились держать равновесие на двух ногах и эффективно перемещаться?Первые попытки встать на ноги человек делает где-то в период от полугода до года. И к 8-12 месяцам (за 3 месяца самообучения) почти все ходят достаточно внятно. Попытки меряются не минутами, а сессиями и количеством попыток. В среднем по 10-20 попыток в день дает 900-1800 попыток. За эти сессии достигается уровень, который и не снился существующим искусственным нейронным сетям ни за какое время потраченное ими. А человек продолжает обучаться и обучаться. Самообучается танцевать, бегать, прыгать и еще бог знает чему, на что в принипе не способна современная искусственная нейронная сеть.
А вот для детенышей антилоп разница еще более впечатляющая. Детеныш уже через 1 час самообучения после рождения может идти со скоростью матери по природной среде. Через день самообучения детеныш достигает невероятных высот и навыков движения. И все это без каких либо оптимизаторов.
Скажите пожалуйста, сколько часов видеоряда вы просмотрели прежде чем научились отличать хотя бы сотню видов животных друг от друга?Достаточно посмотреть 2-3 картинки в течение 5 минут любого вида, чтобы потом никогда не спутать его ни с каким другим видом.
Вам, как нейронной сети, сколько часов понадобилось, чтобы изучить родной язык, второй язык, а потом переводить из одного на другой?Не корректное сравнение. Ни одна искусственная нейронная сеть не знает и не понимает ни одного языка ни на каком уровне. В отличии от половины людей в возрасте 2-3х лет уже что-то говорящих. В мультиязычных средах и семьях дети за этот же период на базовом уровне выучивают по два-три языка. К четырем-пяти годам они полноценно говорят на всех языках входящих в мультиязычную среду. И все это без каких либо оптимизаторов. Ни одна искусственная нейронная сеть в мире не в состоянии полноценно выполнять переводы.
И да… Я, как и вы, не просто нейронная сеть. Множество ключевых блоков, которые есть в моем и вашем мозгу, в принципе не представимы современными искусственными нейронными сетями. Ни с какими оптимизаторами.
В своих рассуждениях вы упускаете важный момент: хотя человеку, казалось бы, нужно меньше попыток при обучении по-новому пользоваться своим телом (или изучить новый язык), все это происходит отнюдь не на пустом фундаменте.
Вы же не забыли внезапно как пользоваться ногами, как удерживать равновесие и где в вашем зрении верх, а где низ, когда впервые стали на лыжи, верно? Человеческая нейросеть учиться непрерывно по 16 часов каждый день годами (и еще оптимизирует усвоенные данные во сне), и только спустя 15-20 лет превращается в полноценного сознательного индивида, которого мы любим сравнивать с искусственными нейронными сетями.
Искусственные нейронные сети как правило начинают обучаться вообще с нуля буквально всему. И это не говоря уже о том, что многие навыки даны нам в виде безсознательных рефлексов (пример с антилопами отлично здесь подходит), что является просто читерством при сравнении с нейронными сетями.
Вот только ирония что мозг (не только человека, а любой) – это такой же оптимизатор, направленный на увеличение вероятности выживания при минимальном энергопотреблении, при чем буквально.
Вы же не забыли внезапно как пользоваться ногами, как удерживать равновесие и где в вашем зрении верх, а где низ, когда впервые стали на лыжи, верно? Человеческая нейросеть учиться непрерывно по 16 часов каждый день годами (и еще оптимизирует усвоенные данные во сне), и только спустя 15-20 лет превращается в полноценного сознательного индивида, которого мы любим сравнивать с искусственными нейронными сетями.
Искусственные нейронные сети как правило начинают обучаться вообще с нуля буквально всему. И это не говоря уже о том, что многие навыки даны нам в виде безсознательных рефлексов (пример с антилопами отлично здесь подходит), что является просто читерством при сравнении с нейронными сетями.
Ни одна искусственная нейронная сеть не знает и не понимает ни одного языка ни на каком уровне.Ох уж это глубокое и неуловимое «понимание смысла». Готовы дать строгое определение, что вообще это значит, чтобы наша дискуссия обрела, ну, смысл? Иначе получается что вы приводите в качестве достоинства некоторое субъективное ощущение, а не объективный фактор.
Ни одна искусственная нейронная сеть в мире не в состоянии полноценно выполнять переводы.Почему это? Может они делают это не совсем так же как это делают люди, но это не умаляет их достоинств. По многим критериям они уже превзошли людей переводчиков (из самого банального – словарная база). Вопрос около 5-10 лет, когда ни один человек в мире не сможет сравнится с искусственным интеллектом в этом состязании ни по одному из критериев. А еще через 5 лет нейронная сеть будет способна сымитировать перевод любого из переводчиков, который вам больше нравится, да так что сам переводчик не поймет, его это перевод, или нет.
Я, как и вы, не просто нейронная сеть.Готовы это доказать?
И все это без каких либо оптимизаторовЛюбая нейронная сеть, это, по определению, большой аппроксиматор, оптимизированный для достижения поставленной цели с минимальным энергопотреблением.
Вот только ирония что мозг (не только человека, а любой) – это такой же оптимизатор, направленный на увеличение вероятности выживания при минимальном энергопотреблении, при чем буквально.
В своих рассуждениях вы упускаете важный момент: хотя человеку, казалось бы, нужно меньше попыток при обучении по-новому пользоваться своим телом (или изучить новый язык), все это происходит отнюдь не на пустом фундаменте.Речь даже не о меньшем времени, а о принципиальной недостижимости результатов, которые достигает человек и животные.
Искусственные нейронные сети как правило начинают обучаться вообще с нуля буквально всему.И это проблема искусственных нейронных сетей. Кто мешает это изменить?
И это не говоря уже о том, что многие навыки даны нам в виде безсознательных рефлексов (пример с антилопами отлично здесь подходит), что является просто читерством при сравнении с нейронными сетями.Не согласен с последним утверждением. Мы ведем речь об обучении конкретному навыку — ходьбе. Если бы антилопа могла получать сразу все необходимые навыки для ходьбы, то антилопа сразу рождалась бы уже умеющая ходить. Но она именно учится. И снова же! В любом случае можно утверждать о принципиальной недостижимости результатов искусственными нейронными сетями, которые достигнет антилопа.
Вы смело манипулируете предметом обсуждения, а от меня требуете строгих определений. Забавно. Тем не мение, я постараюсь дать определение.Ни одна искусственная нейронная сеть не знает и не понимает ни одного языка ни на каком уровне.Ох уж это глубокое и неуловимое «понимание смысла». Готовы дать строгое определение, что вообще это значит, чтобы наша дискуссия обрела, ну, смысл? Иначе получается что вы приводите в качестве достоинства некоторое субъективное ощущение, а не объективный фактор.
Вообще «понимания смысла» не существует. Можно понимать смысл сообщения, смысл концепции, понимать язык.
Понимание сообщения это способность использовать сообщенную информацию в дальнейших рассуждениях.
Понимание концепции/слова это способность правильно использовать концепцию в общих рассуждениях, павильно строить словесные модели с использованием концепции.
Понимание языка это способность воспринимать и строить модели окружающего мира на этом языке.
Ох уж эти линейные экстраполяции в нелинейном мире.Ни одна искусственная нейронная сеть в мире не в состоянии полноценно выполнять переводы.Почему это? Может они делают это не совсем так же как это делают люди, но это не умаляет их достоинств. По многим критериям они уже превзошли людей переводчиков (из самого банального – словарная база). Вопрос около 5-10 лет, когда ни один человек в мире не сможет сравнится с искусственным интеллектом в этом состязании ни по одному из критериев. А еще через 5 лет нейронная сеть будет способна сымитировать перевод любого из переводчиков, который вам больше нравится, да так что сам переводчик не поймет, его это перевод, или нет.
— Дорогая, ты очень развратна и аморальна.
— Это еще почему?
— Вчера у тебя не было ни одного мужа. А сегодня один. Если ты что-то в себе не изменишь, то через год у тебя будет 365 мужей. Это очень аморально.
Фантазировать о будущем можно бесконечно.
Самое простое доказательство — это примитивные результаты не смотря на потраченные миллиарды денег. Также я утверждаю, что искусственные сети в том виде в котором они сейчас есть — это тупиковая ветвь развития.Я, как и вы, не просто нейронная сеть.Готовы это доказать?
Любой камень можно представить себе машиной, человеком и даже мозгом. При столь широких обобщениях утверждения начинают терять смысл. Статья же о математическом многомерном оптимизаторе. В реальном мозгу его нет. И мозг достигает гораздо большего, что наши недосети с оптимизаторами.И все это без каких либо оптимизаторовЛюбая нейронная сеть, это, по определению, большой аппроксиматор, оптимизированный для достижения поставленной цели с минимальным энергопотреблением.
Вот только ирония что мозг (не только человека, а любой) – это такой же оптимизатор, направленный на увеличение вероятности выживания при минимальном энергопотреблении, при чем буквально.
Поправьте текст: "Под SGD часто понимают подразумевают описанный ниже."
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Математика за оптимизаторами нейронных сетей