Пусть закодируют еще пару цифровых фильтров и регистрируют на других частотах. Если разрабатывается широкополосная приемная система, такая как радиотелескоп, существование сосредтотченных помех - это данность разработчика, а не проблема окружающих. Большая часть современного радиодиапазона состоит из помех.
Конечно. Когда некто размешивает сахар в чашке кофе, сахар всегда стремится сформировать в чашке все более стабильное и новое состояние, имеющее своей целью более широкое распахивание глаз пьющего. Если не размешивать - эффекта более широкого распахивания скорее всего не будет, и сахар бесцельно потратит свой внутренний потенциал на бессмысленное лежание.
А при чем тут дисбаланс классов? Мне всегда казалось, что матрица ошибок - исходные данные, и по ним можно оценивать метрики при (почти) любых дисбалансах классов. Если у вас что-то не работает при сильном дисбалансе классов - значит для обучения выбраны неверные метрики обучения и функции потерь, неустойчивые к дисбалансу. Обычно замена метрик решает проблему - взвешанную кросс-энтропию, например, вместо кроссэнтропии для логистической регрессии или просто исходно сбалансировать датасет (оверсемплинг/андерсемплинг).
А результаты для турецкого языка у вас не приведены, извините, поэтому непонятно где это можно увидеть.
Похоже у вас вообще ничего не работает (рис.10): чтобы безусловно предсказывать 1 (в последнем случае) и 5 (в предпоследнем случае) даже нейронки не надо - ведь судя по вашим матрицам ошибок у вас выход от входа не зависит.
Не нужен. Давно уже изобретены синтетические тесты, более мощные, чем тест Тьюринга, и избавленные от проблем этого теста, типа схемы Винограда, и все большие языковые модели давно тренируются в том числе и на них. Кстати, современные LLMA решают эти синтетические тесты зачастую точнее людей, насколько я помню с "точностью" 80-86% .
Вы же сами говорите, неполный лагранжиан нужно решать точно, а потом говорите о приближенном решениии. Для приближенных методов известно что нужно оценивать расходимость, вводить критерии, проверить их еще до начала решения и т.д., чего с нейронками не всегда делается (потому-что непонятно как, в отличие от численных методов). В технических задачах - да, применение нейронных сетей полезно. А для физики нейронки - это всего-лишь модели, позволяющие какие-то задачи автоматизировать. Продвижения конекретно в теории по-моему мнению, они не дают (даже несмотря на то, что вы написали про Кеплера, читал эту статью). Экспериментаторам жизнь облегчают, сам постоянно пользуюсь.
С численными решениями математики вроде лет 20-30 назад пробовали, потом перестали большинство численных решений считать за доказательство чего-бы то ни было. В физике просто до этого еще не дошли потому-что поздно начали, но фанарики уже зажигаются.
Застоя в физике особо нет, есть застой с решением задач. А объяснять одну сущность миллиардом - по-моему дело наблагодарное, хотя и модное.
Задача физики состоит в том, чтобы выявлять закономерности и уменьшать количество неизвестных параметров, а не чтобы увеличивать их. Оккам бы перевернулся в гробу от нейросетевых выкрутасов с физикой.
Это напоминает мне давний спор Птолемеевой схемы мира с Коперниковской. Как показала история, менее точная Коперниковская модель оказалась более правильной для объяснения мира, чем более точная Птолемеевская. И заменять физику на нейронку - делать шаг назад, к Птолемею.
Спасибо за ссылку, интересная работа. Но в той работе решается понятная задача - аппроксимировать результаты численного решения диффура результатами работы нейронной сети. То-есть поиск аппроксимации набора известных численных решений сложной многопараметрической функцией. А что делаете вы? Если я правильно понимаю, с экспериментом тут могут быть неконтроллируемые ошибки - одно дело известный диффур, другое дело реальный эксперимент с его ошибками и неучтенными воздействиями.
А с общей идеей аугментации согласен - если вы учтете симметрию задачи аугментацией (что как я понял вы и делаете), после обучения вы должны получить аппроксимацию, инвариантную по отношению к этой симметрии. В общем для этого аугментация и используется.
Тогда я чего-то не понимаю. Вы-же тренируете сеть на экспериментальных данных? В чем смысл тренировать на экспериментальных данных схему, если можно попробовать найти общее решение (очевидно неаналитическое) или численный алгоритм для нахождения частного (как делают при численных решениях ДУ), тем более непонятно где взять столько экспериментальных данных? Просто чтобы сделать какую-то мат.модель уже известного экспериментального процесса, пригодную для каких-то расчетов, но которую нельзя будет потом обобщить на другие варианты начальных условий и непонятны будут границы ее применимости?
А зачем вам аугментация? Не проще просто фундаментальное решение один раз найти, как по классике, с дельта-функцией в правой части, а потом с любой правой частью проинтегрировать это решение? Сдается, ваша аугментация именно к этому в результате и сведется.
Возможно вы правы. В принципе даже есть работа Sonoda&Murata,2017, по которой ваше предложение можно обосновать (использование квадратичной активации), но тогда архитектура должна включать не только внимание, но и skip-connection с какими-то полносвязными слоями ( [a+b]^2=2ab(внимание)+a^2+b^2 (skip с полносвязным слоем)), а их вроде нет в архитектурах со вниманием, хотя я конечно могу ошибаться.
волшебная кнопка с надписью "сделать все хорошо" в представлении ИИ:
Это просто у вас радиотелескопы неправильные, вот правильный, с полосой от 704 до 4032 МГц:
https://ui.adsabs.harvard.edu/abs/2020PASA...37...12H/abstract
https://en.wikipedia.org/wiki/Parkes_Observatory
У древнего Аресибо да, была узкая полоса. Но на дворе 21 век, а не 20.
Пусть закодируют еще пару цифровых фильтров и регистрируют на других частотах. Если разрабатывается широкополосная приемная система, такая как радиотелескоп, существование сосредтотченных помех - это данность разработчика, а не проблема окружающих. Большая часть современного радиодиапазона состоит из помех.
Конечно. Когда некто размешивает сахар в чашке кофе, сахар всегда стремится сформировать в чашке все более стабильное и новое состояние, имеющее своей целью более широкое распахивание глаз пьющего. Если не размешивать - эффекта более широкого распахивания скорее всего не будет, и сахар бесцельно потратит свой внутренний потенциал на бессмысленное лежание.
А потом на скайнет обижаются
А при чем тут дисбаланс классов? Мне всегда казалось, что матрица ошибок - исходные данные, и по ним можно оценивать метрики при (почти) любых дисбалансах классов. Если у вас что-то не работает при сильном дисбалансе классов - значит для обучения выбраны неверные метрики обучения и функции потерь, неустойчивые к дисбалансу. Обычно замена метрик решает проблему - взвешанную кросс-энтропию, например, вместо кроссэнтропии для логистической регрессии или просто исходно сбалансировать датасет (оверсемплинг/андерсемплинг).
А результаты для турецкого языка у вас не приведены, извините, поэтому непонятно где это можно увидеть.
Похоже у вас вообще ничего не работает (рис.10): чтобы безусловно предсказывать 1 (в последнем случае) и 5 (в предпоследнем случае) даже нейронки не надо - ведь судя по вашим матрицам ошибок у вас выход от входа не зависит.
Заработало. Только вместо
from mylib import myclass
приходится писать
from mylib.myclass import myclass
Не подскажете, как сделать класс дефолтным?
Это у вас не точность, это у вас переобучение
Не нужен. Давно уже изобретены синтетические тесты, более мощные, чем тест Тьюринга, и избавленные от проблем этого теста, типа схемы Винограда, и все большие языковые модели давно тренируются в том числе и на них. Кстати, современные LLMA решают эти синтетические тесты зачастую точнее людей, насколько я помню с "точностью" 80-86% .
Вы же сами говорите, неполный лагранжиан нужно решать точно, а потом говорите о приближенном решениии. Для приближенных методов известно что нужно оценивать расходимость, вводить критерии, проверить их еще до начала решения и т.д., чего с нейронками не всегда делается (потому-что непонятно как, в отличие от численных методов). В технических задачах - да, применение нейронных сетей полезно. А для физики нейронки - это всего-лишь модели, позволяющие какие-то задачи автоматизировать. Продвижения конекретно в теории по-моему мнению, они не дают (даже несмотря на то, что вы написали про Кеплера, читал эту статью). Экспериментаторам жизнь облегчают, сам постоянно пользуюсь.
С численными решениями математики вроде лет 20-30 назад пробовали, потом перестали большинство численных решений считать за доказательство чего-бы то ни было. В физике просто до этого еще не дошли потому-что поздно начали, но фанарики уже зажигаются.
Застоя в физике особо нет, есть застой с решением задач. А объяснять одну сущность миллиардом - по-моему дело наблагодарное, хотя и модное.
Точки L2 между Землей и Солнцем нет.
Задача физики состоит в том, чтобы выявлять закономерности и уменьшать количество неизвестных параметров, а не чтобы увеличивать их. Оккам бы перевернулся в гробу от нейросетевых выкрутасов с физикой.
Это напоминает мне давний спор Птолемеевой схемы мира с Коперниковской. Как показала история, менее точная Коперниковская модель оказалась более правильной для объяснения мира, чем более точная Птолемеевская. И заменять физику на нейронку - делать шаг назад, к Птолемею.
Спасибо за ссылку, интересная работа. Но в той работе решается понятная задача - аппроксимировать результаты численного решения диффура результатами работы нейронной сети. То-есть поиск аппроксимации набора известных численных решений сложной многопараметрической функцией. А что делаете вы? Если я правильно понимаю, с экспериментом тут могут быть неконтроллируемые ошибки - одно дело известный диффур, другое дело реальный эксперимент с его ошибками и неучтенными воздействиями.
А с общей идеей аугментации согласен - если вы учтете симметрию задачи аугментацией (что как я понял вы и делаете), после обучения вы должны получить аппроксимацию, инвариантную по отношению к этой симметрии. В общем для этого аугментация и используется.
Тогда я чего-то не понимаю. Вы-же тренируете сеть на экспериментальных данных? В чем смысл тренировать на экспериментальных данных схему, если можно попробовать найти общее решение (очевидно неаналитическое) или численный алгоритм для нахождения частного (как делают при численных решениях ДУ), тем более непонятно где взять столько экспериментальных данных? Просто чтобы сделать какую-то мат.модель уже известного экспериментального процесса, пригодную для каких-то расчетов, но которую нельзя будет потом обобщить на другие варианты начальных условий и непонятны будут границы ее применимости?
А зачем вам аугментация? Не проще просто фундаментальное решение один раз найти, как по классике, с дельта-функцией в правой части, а потом с любой правой частью проинтегрировать это решение? Сдается, ваша аугментация именно к этому в результате и сведется.
А что это за вопросы уровня SteckOwerflow? Какой-то новомодный тест на знание английского языка? Интересно просто.
Возможно вы правы. В принципе даже есть работа Sonoda&Murata,2017, по которой ваше предложение можно обосновать (использование квадратичной активации), но тогда архитектура должна включать не только внимание, но и skip-connection с какими-то полносвязными слоями ( [a+b]^2=2ab(внимание)+a^2+b^2 (skip с полносвязным слоем)), а их вроде нет в архитектурах со вниманием, хотя я конечно могу ошибаться.
Поэтому и публикация в mdpi, а не в nature, cell или lancet.
del