Сейчас с популяризацией ChatGpt и других LLM, довольно интересна тема токенов, Уже сейчас на английском языке все популярные слова и графемы выделены в токены, думаю что если обучать генератор токенов на всех мировых языках в равной мере то должен получится UniToken в котором будут все используемые графемы и слова на всех языках. Думаю что под капотом все еще будет UTF8 со всем наследием но можно будет выбирать уровень представления который удобен для нейронных сетей, людей и компьютеров: Токены слов -> Токены графем -> UTF8
Изначально, когда Ньютон выводил свой первый закон, не было никаких F=ma.
Он изучал движения тел и изменения импульса. Он нашёл, что конструкция mv обычно сохраняется, и назвал её импульсом. До сих пор, закон сохранения импульса является одним из фундаментальных законов, и все следствия из него работают в нашей вселенной.
Изучая сохранение импульса, Ньютон придумал дифференциальное исчисление, или, как это называлось в те времена, исчисление бесконечно малых.
Одно из замечательных свойств производных это то, что производная константы равна нулю. Используя это, можно просуммировать все импульсы системы и продифференцировать их. Полный импульс системы не меняется, и его производная равна нулю.
Таким образом все законы Ньютона получаются дифференцированием закона сохранения импульса в разных ситуациях. Всего-то 3 частных случая! Остальные, более сложные задачи, становятся простыми, если напрямую использовать законы сохранения и дифференцирование.
Читать матан, это все равно что читать спецификацию, документацию, и тесты к ней.
Все эти пределы, дифференциалы и интегралы, являются инструментами, которые используются повсюду. А теоремы и доказательства, показывают в каких условиях, эти инструменты можно использовать.
Я помню как в школе на дополнительных занятиях по физике, один профессор по физике рассказал нам о первом законе ньютона в дифференциальной форме. Тогда это показалось какой-то магией! До этого, кажущиеся невозможными задачи, получали такое простое решение, что ответ появлялся как будто из воздуха.
Как мне кажется, математик не тот, кто выучил все виды таблиц и теорем, а тот кто понимает как работают, для чего создавались и как использовать разнообразные математические инструменты.
С глобальныной абстракцией рефлекса согласен, но с моделью в голове не уверен. Расчёт, анализ и предсказания могут быть побочными эффектами, расширенной системы торможения движений, только вместо торможения движений происходит торможение глобальных рефлексов. Это дает нам возможность, проверять поседовательность рефлексов, без совершения самих действий, а рефлекс ответа окружающей среды на предполагаемые действия позволяет выбрать наилучший для данной ситуации.
Я тоже задумывался о принципах обучения, и мне показались интересными механизмы формирования мышечной памяти и последовательностей движений. Вот лекция по теме https://youtu.be/XNMGhUG3YDA
Если обобщить такой механизм за пределы движений то получатся навыки на подобие чтения, восприятия речи, и математических преобразований. Вначале ты долго учишься, постоянно ошибаешься и вынужден сосредотачивать все свое внимание на решение задачи, а потом всю работу берет на себя более древняя часть мозга, и ты начинаешь делать все без усилий, автоматически.
Смешная инструкция, но всерьёз в нейрон сознания, верить невозможно.
Скорее получился случайный процесс по выбору нейрона, который пересадят в кремниевую сознательную копию.
А за кадром остался ужастик, где 36-и копиям сознания не повезло остатся, и наверное из их нейронов теперь будут делать биогель для копирования мозгов очередным клиентам.
Мне все это начало напоминать космическую фантастику с нейросетями, базами знаний и имплантами.
Если технологии служат по 200 лет то космические корпорации могут взять твой старый имплант после апгрейда и продавать его вместе с устаревшим софтом подальше от центра как новый продукт, а на новом месте старые импланты отправляют ещё дальше.
Такие себе волны распространения, устаривания и повторного использования.
Когда, я учился в школе, мне больше всего нравились Олимпиадные задачки на динамическое программирование.
Задача, которая невозможно долго решается перебором, разбивается на всевозможные промежуточные шаги, и сохраняя промежуточные решения, сами собой отбрасываются не оптимальные пути.
Таким образом уже обученную Model-Based систему можно использовать в алгоритме динамического программирования, для решения конкретных задач. Главное задать начальное и конечное состояние(шарик в коробке -> шарик в манипуляторе)
Еще в динамическом программировании довольно часто задача решается с конца.
И когда вычисления доходят до начальной точки уже готов оптимальный путь движения к цели.
В последние время, меня очень заинтересовала тема, о том как работают наши мозги и как это можно запрограммировать.
Недавно слушал лекцию о мозжечке и базальных ганглиях, где самую важную работу при запоминании мышечных действий выполняют тормозные нейроны.
Еще тогда, меня захватил идея, что некоторые интеллектуальные особенности человека, как речь, письмо, решение математических задачек можно описать мышечной памятью.
После прочтения этой статьи, у меня возникло еще больше идей на эту тему.
Есть Model-Based нейросеть (после эволюции, или обучения неважно), которой для совершения правильного действия нужно смоделировать множество случайных действий и выбрать лучшее в данной обстановке.
Это очень долгий и энергозатратный метод принятия решений, поэтому эволюция (или программисты) создала механизм кэширования самых распространенных и полезных действий.
Когда, кое-то действие запомнено, то при возникновении похожей обстановки, или похожей цели, нейроны отвечающие за правильное действие дополнительно стимулируют и они быстрее активируются.
В нашей ситуации это должно быть изменением распределения вероятности выбрать actions.
Я точно не помню но кажется и в мозге и в мозжечке за это отвечает не одна большая нейросеть а множество ганглиев.
Каждый реагирует на свой стимул но в общем все они объединяют сигналы и итоговая активация лучше всего подходит под конкретную ситуацию.
Удаления связей из обученной сети хорошая мысль, но ее намного проще реализовать на таких сетях как в статье, мне кажется можно использовать тот-же механизм. Вначале идет эволюция и сложность сети увеличивается, затем начинается этап регресса когда связи и нейроны удаляются, до тех пор пока могут выполнять свою работу. Повторяя цикл несколько раз может получится примерно такая же структура как в мозге с древними старыми и новыми структурами.
Сейчас с популяризацией ChatGpt и других LLM, довольно интересна тема токенов, Уже сейчас на английском языке все популярные слова и графемы выделены в токены, думаю что если обучать генератор токенов на всех мировых языках в равной мере то должен получится UniToken в котором будут все используемые графемы и слова на всех языках.
Думаю что под капотом все еще будет UTF8 со всем наследием но можно будет выбирать уровень представления который удобен для нейронных сетей, людей и компьютеров: Токены слов -> Токены графем -> UTF8
Мне кажется что для низкоуровнего программирования текстовые программы и так хорошо работают.
Для визуализации больше подходит что-то более абстрактное,
как минимум функции, а лучше конвейеры Шейдеров в 3D или архитектуры Нейронных сетей,
Еще есть идея про Философию Unix: Каждая нода это утилита выполняющая простую задачу, которые можно объединить в конвейеры:
Сейчас в терминале получается одномерные пространство визуализации для ввода команд,
Для чего-то более сложного нужно писать скрипты и получается что-то вроде двумерного пространства визуализации.
Будет интересно на что будет похоже трехмерное пространство визуализации и какие возможности это может дать.
Это было лет пятнадцать назад, и я уже не помню, что именно было в трёх законах ньютона, но F=dp/dt с тех пор отпечаталось в памяти надолго.
Изначально, когда Ньютон выводил свой первый закон, не было никаких F=ma.
Он изучал движения тел и изменения импульса. Он нашёл, что конструкция mv обычно сохраняется, и назвал её импульсом. До сих пор, закон сохранения импульса является одним из фундаментальных законов, и все следствия из него работают в нашей вселенной.
Изучая сохранение импульса, Ньютон придумал дифференциальное исчисление, или, как это называлось в те времена, исчисление бесконечно малых.
Одно из замечательных свойств производных это то, что производная константы равна нулю. Используя это, можно просуммировать все импульсы системы и продифференцировать их. Полный импульс системы не меняется, и его производная равна нулю.
Таким образом все законы Ньютона получаются дифференцированием закона сохранения импульса в разных ситуациях. Всего-то 3 частных случая! Остальные, более сложные задачи, становятся простыми, если напрямую использовать законы сохранения и дифференцирование.
Все эти пределы, дифференциалы и интегралы, являются инструментами, которые используются повсюду. А теоремы и доказательства, показывают в каких условиях, эти инструменты можно использовать.
Я помню как в школе на дополнительных занятиях по физике, один профессор по физике рассказал нам о первом законе ньютона в дифференциальной форме. Тогда это показалось какой-то магией! До этого, кажущиеся невозможными задачи, получали такое простое решение, что ответ появлялся как будто из воздуха.
Как мне кажется, математик не тот, кто выучил все виды таблиц и теорем, а тот кто понимает как работают, для чего создавались и как использовать разнообразные математические инструменты.
С глобальныной абстракцией рефлекса согласен, но с моделью в голове не уверен. Расчёт, анализ и предсказания могут быть побочными эффектами, расширенной системы торможения движений, только вместо торможения движений происходит торможение глобальных рефлексов. Это дает нам возможность, проверять поседовательность рефлексов, без совершения самих действий, а рефлекс ответа окружающей среды на предполагаемые действия позволяет выбрать наилучший для данной ситуации.
Я тоже задумывался о принципах обучения, и мне показались интересными механизмы формирования мышечной памяти и последовательностей движений. Вот лекция по теме https://youtu.be/XNMGhUG3YDA
Если обобщить такой механизм за пределы движений то получатся навыки на подобие чтения, восприятия речи, и математических преобразований. Вначале ты долго учишься, постоянно ошибаешься и вынужден сосредотачивать все свое внимание на решение задачи, а потом всю работу берет на себя более древняя часть мозга, и ты начинаешь делать все без усилий, автоматически.
Смешная инструкция, но всерьёз в нейрон сознания, верить невозможно.
Скорее получился случайный процесс по выбору нейрона, который пересадят в кремниевую сознательную копию.
А за кадром остался ужастик, где 36-и копиям сознания не повезло остатся, и наверное из их нейронов теперь будут делать биогель для копирования мозгов очередным клиентам.
Мне все это начало напоминать космическую фантастику с нейросетями, базами знаний и имплантами.
Если технологии служат по 200 лет то космические корпорации могут взять твой старый имплант после апгрейда и продавать его вместе с устаревшим софтом подальше от центра как новый продукт, а на новом месте старые импланты отправляют ещё дальше.
Такие себе волны распространения, устаривания и повторного использования.
Задача, которая невозможно долго решается перебором, разбивается на всевозможные промежуточные шаги, и сохраняя промежуточные решения, сами собой отбрасываются не оптимальные пути.
Таким образом уже обученную Model-Based систему можно использовать в алгоритме динамического программирования, для решения конкретных задач. Главное задать начальное и конечное состояние(шарик в коробке -> шарик в манипуляторе)
Еще в динамическом программировании довольно часто задача решается с конца.
И когда вычисления доходят до начальной точки уже готов оптимальный путь движения к цели.
Недавно слушал лекцию о мозжечке и базальных ганглиях, где самую важную работу при запоминании мышечных действий выполняют тормозные нейроны.
Еще тогда, меня захватил идея, что некоторые интеллектуальные особенности человека, как речь, письмо, решение математических задачек можно описать мышечной памятью.
После прочтения этой статьи, у меня возникло еще больше идей на эту тему.
Есть Model-Based нейросеть (после эволюции, или обучения неважно), которой для совершения правильного действия нужно смоделировать множество случайных действий и выбрать лучшее в данной обстановке.
Это очень долгий и энергозатратный метод принятия решений, поэтому эволюция (или программисты) создала механизм кэширования самых распространенных и полезных действий.
Когда, кое-то действие запомнено, то при возникновении похожей обстановки, или похожей цели, нейроны отвечающие за правильное действие дополнительно стимулируют и они быстрее активируются.
В нашей ситуации это должно быть изменением распределения вероятности выбрать actions.
Я точно не помню но кажется и в мозге и в мозжечке за это отвечает не одна большая нейросеть а множество ганглиев.
Каждый реагирует на свой стимул но в общем все они объединяют сигналы и итоговая активация лучше всего подходит под конкретную ситуацию.