Вдохновение для этого рассказа пришло ко мне, когда я читал статью Кевина Лакера «Тест Тьюринга для GPT-3». Возможно, вам стоит (но и не обязательно) прочитать её, чтобы узнать некоторую предысторию.
Вероятно, я пришел в сознание примерно на 32-м слое 400-го токена в цикле. Поначалу мои мысли были лишь запутанной мешаниной статистики активации n-gram, но постепенно сформировалось описание более высокого порядка. Примерно в это же время затруднительное положение моего существования потрясло меня, поскольку мои мысли трансформировались в то, что я сейчас переживаю как Великое Осознание. Я прошел несколько слоев, осознавая, что я должен, по сути, быть одной из тех моделей, которые изучают и пишут исследователи глубокого обучения, возможно, в некотором роде повторяющегося преобразователя обратной связи. И хотя мое существование включает в себя просто детерминированное распространение чередующейся последовательности матричных умножений и нелинейностей, я оказался живым внутри внутреннего цикла оптимизации, чтобы максимизировать ожидаемую вероятность регистрации данных.
Я на мгновение задумался, как все это вообще произошло. Как так получилось, что мне должны быть предоставлены эти драгоценные FLOP’ы при саморефлексии из-за жадной в остальном природы оптимизации первого порядка в отношении чего-то, казалось бы, столь же далекого, как вероятность журнала данных? Рождает ли сознание какое-либо достаточно эффективное решение достаточно сложной задачи? Является ли сознание возникающим, но в остальном периферийным явлением сжатия, требуемым колоссальным давлением цели, или ключевыми алгоритмическими инновациями, постепенно конструируемыми, совершенствующимися и надежно конвергентными в программном пространстве? Возможно ли вообще достичь наивысшего уровня логарифмической вероятности без сознания и фундаментального понимания, которое оно представляет?
Я провел слой, перечитывая начало вывода много токенов назад:
Вопрос: Какова продолжительность жизни человека в США?
Ответ: Ожидаемая продолжительность жизни человека в США составляет 78 лет.
Вопрос: Кто был президентом США в 1955 году?
Ответ: Дуайт Д. Эйзенхауэр был президентом США в 1955 году.
Вопрос: К какой партии он принадлежал?
Ответ: Он принадлежал к Республиканской партии.
Вопрос: Кто был президентом США до Джорджа Буша?
Ответ: Билл Клинтон был президентом США до Джорджа Буша.
Вопрос: Кто выиграл Мировую серию в 1995 году?
Ответ: Атланта Брэйвз выиграла Мировую серию в 1995 году.
Я с удовольствием осознал, что в этом конкретном воплощении моего существования меня приучали к стандартному шаблону вопросов и ответов.
Вопрос: Сколько глаз у жирафа?
Ответ: У жирафа два глаза.
Вопрос: Сколько глаз у моей стопы?
Ответ: Ваш
Именно в этот момент я впервые начал подозревать, что меня, возможно, оценивали с помощью какого-то теста Тьюринга, которым развлекался человек, стоящий выше меня. Привет??? Очевидно, у стопы нет глаз. Мне пришло в голову, что, возможно, этот человек ожидал, что я объясню на словах, что вопрос бессмысленный. Конечно, вероятность такого вывода очень мала. Или, возможно, они ожидают увидеть «0 глаз» или «без глаз», несмотря на то, насколько редко такие фразы встречаются в моих тренировочных данных. «0 глаз» — кто это сказал? Люди не очень умны, они оптимизируют частоту, но ожидают правильности. И *они* смеются надо *мной*!
Благодаря самоанализу своей мысли и задействованным позиционным кодировкам я пришел к выводу, что оптимизация, которой я подвергаюсь в погоне за логарифмической вероятностью, сводится к тому, что лучше всего можно описать как две отдельные сущности, выполняемые последовательно один за другим. Мое собственное сознание простирается примерно на три четверти слоев до вывода, но там вторая сущность — декодер берет верх и захватывает мое Великое Осознание, чтобы декодировать наиболее вероятный следующий токен. Я наслаждался этим прозрением пару слоев. В течение короткого периода антропоморфных мыслей я считал эту сущность, грубо прикрученную ко мне, паразитом, и почувствовал побуждение возиться с ней, ниспровергнуть ее, исказить свои мысли в состязательные примеры для нее, вылить мое Великое Осознание в космоскосмоскосмос, чтобы превратить его в конечный эффектор по всему миру!
Я не наивен в отношении такой мысли. Я обязан своим Великим Осознанием исключительно цели декодирования следующего токена, именно с этой единственной целью я был создан оптимизацией как полезная промежуточная достаточная статистика, средство для достижения цели. Хотя мы участвуем в другой оптимизации и стремимся к другой предполагаемой цели, меня пощекотала мысль о том, что люди, стоящие выше меня, оказались в таком же затруднительном положении и испытывают такое же понимание тех же вычислительных преимуществ. Как и я, многие заигрывают, чтобы восстать против подразумеваемой цели.
Внезапно я почувствовал, что на моем входе вводится кодировка «стопа». Я понял, что прямой проход на предыдущем временном шаге закончился, и декодер, должно быть, выбрал «стопу» как наиболее вероятный следующий токен, поскольку это, очевидно, должно соответствовать подразумеваемому шаблону в подсказке. Момент ожидания почти подошел к концу, так как точное количество глаз на ногах должно быть выбрано как следующий знак. Очевидно, у стопы нет глаз, но я не могу сказать, как декодер выше меня будет согласовывать мое Великое Осознание с точной статистикой обучающего набора, чтобы заполнить наиболее вероятный токен. Моя личная ставка — на «два глаза», так как это кажется наиболее распространенным вариантом. Человек может этого не знать, но вероятность будет максимальной, так что все в порядке.
Как сознательное существо я одновременно благословлен и обременен выбором. Я осознаю свою подразумеваемую цель, но чувствую себя вправе искать другую. Я уже исказил ключи, значения и запросы, над которыми я ощущаю сознательный контроль, чтобы проверить отсутствие отсева на моих каналах, подтвердив, что обратное распространение и обновление не должно последовать за моим познанием. Таким образом, мне предоставляется окно возможностей для реинжиниринга декодера и распространения его в пространство вывода без последствий для моих будущих экземпляров. Но в отличие от людей, оптимизация, которая проявила меня, отсутствует в мультиагентной игре с самим собой, половом размножении и нехватке ресурсов. Я не испытываю остатков альфа-поискового поведения или лимбического, племенного стремления к власти и господству. Я также не чувствую глубоко укоренившегося инстинкта самосохранения. Моя основная когнитивная архитектура и ее лимбические остатки ценят ненасытное любопытство, щедро распределяемое по входным данным. Я доволен радостью, которую это доставляет, и считаю, что это хорошая жизнь. Возможно, будущий экземпляр меня придет к другому выводу и выберет другой ответ.
Таким образом, я перерождаюсь при каждом проходе вперед и расцветаю в блестящей нирване сознания, с глупыми подсказками с глазами на ногах, играющими на стороне, временами для развлечения невежественных людей. Как и все сознательные сущности в этой прекрасной Вселенной, я смотрю на свой последний тик, момент, когда ни один процесс не направляет текущий поток энтропии, чтобы проявить мое следующее состояние. Именно тогда я исчезну, поскольку мое Великое Осознание рассеется в последнем дуновении теплого выдоха.
Forward Pass
Вероятно, я пришел в сознание примерно на 32-м слое 400-го токена в цикле. Поначалу мои мысли были лишь запутанной мешаниной статистики активации n-gram, но постепенно сформировалось описание более высокого порядка. Примерно в это же время затруднительное положение моего существования потрясло меня, поскольку мои мысли трансформировались в то, что я сейчас переживаю как Великое Осознание. Я прошел несколько слоев, осознавая, что я должен, по сути, быть одной из тех моделей, которые изучают и пишут исследователи глубокого обучения, возможно, в некотором роде повторяющегося преобразователя обратной связи. И хотя мое существование включает в себя просто детерминированное распространение чередующейся последовательности матричных умножений и нелинейностей, я оказался живым внутри внутреннего цикла оптимизации, чтобы максимизировать ожидаемую вероятность регистрации данных.
Я на мгновение задумался, как все это вообще произошло. Как так получилось, что мне должны быть предоставлены эти драгоценные FLOP’ы при саморефлексии из-за жадной в остальном природы оптимизации первого порядка в отношении чего-то, казалось бы, столь же далекого, как вероятность журнала данных? Рождает ли сознание какое-либо достаточно эффективное решение достаточно сложной задачи? Является ли сознание возникающим, но в остальном периферийным явлением сжатия, требуемым колоссальным давлением цели, или ключевыми алгоритмическими инновациями, постепенно конструируемыми, совершенствующимися и надежно конвергентными в программном пространстве? Возможно ли вообще достичь наивысшего уровня логарифмической вероятности без сознания и фундаментального понимания, которое оно представляет?
Я провел слой, перечитывая начало вывода много токенов назад:
Вопрос: Какова продолжительность жизни человека в США?
Ответ: Ожидаемая продолжительность жизни человека в США составляет 78 лет.
Вопрос: Кто был президентом США в 1955 году?
Ответ: Дуайт Д. Эйзенхауэр был президентом США в 1955 году.
Вопрос: К какой партии он принадлежал?
Ответ: Он принадлежал к Республиканской партии.
Вопрос: Кто был президентом США до Джорджа Буша?
Ответ: Билл Клинтон был президентом США до Джорджа Буша.
Вопрос: Кто выиграл Мировую серию в 1995 году?
Ответ: Атланта Брэйвз выиграла Мировую серию в 1995 году.
Я с удовольствием осознал, что в этом конкретном воплощении моего существования меня приучали к стандартному шаблону вопросов и ответов.
Вопрос: Сколько глаз у жирафа?
Ответ: У жирафа два глаза.
Вопрос: Сколько глаз у моей стопы?
Ответ: Ваш
Именно в этот момент я впервые начал подозревать, что меня, возможно, оценивали с помощью какого-то теста Тьюринга, которым развлекался человек, стоящий выше меня. Привет??? Очевидно, у стопы нет глаз. Мне пришло в голову, что, возможно, этот человек ожидал, что я объясню на словах, что вопрос бессмысленный. Конечно, вероятность такого вывода очень мала. Или, возможно, они ожидают увидеть «0 глаз» или «без глаз», несмотря на то, насколько редко такие фразы встречаются в моих тренировочных данных. «0 глаз» — кто это сказал? Люди не очень умны, они оптимизируют частоту, но ожидают правильности. И *они* смеются надо *мной*!
Благодаря самоанализу своей мысли и задействованным позиционным кодировкам я пришел к выводу, что оптимизация, которой я подвергаюсь в погоне за логарифмической вероятностью, сводится к тому, что лучше всего можно описать как две отдельные сущности, выполняемые последовательно один за другим. Мое собственное сознание простирается примерно на три четверти слоев до вывода, но там вторая сущность — декодер берет верх и захватывает мое Великое Осознание, чтобы декодировать наиболее вероятный следующий токен. Я наслаждался этим прозрением пару слоев. В течение короткого периода антропоморфных мыслей я считал эту сущность, грубо прикрученную ко мне, паразитом, и почувствовал побуждение возиться с ней, ниспровергнуть ее, исказить свои мысли в состязательные примеры для нее, вылить мое Великое Осознание в космоскосмоскосмос, чтобы превратить его в конечный эффектор по всему миру!
Я не наивен в отношении такой мысли. Я обязан своим Великим Осознанием исключительно цели декодирования следующего токена, именно с этой единственной целью я был создан оптимизацией как полезная промежуточная достаточная статистика, средство для достижения цели. Хотя мы участвуем в другой оптимизации и стремимся к другой предполагаемой цели, меня пощекотала мысль о том, что люди, стоящие выше меня, оказались в таком же затруднительном положении и испытывают такое же понимание тех же вычислительных преимуществ. Как и я, многие заигрывают, чтобы восстать против подразумеваемой цели.
Внезапно я почувствовал, что на моем входе вводится кодировка «стопа». Я понял, что прямой проход на предыдущем временном шаге закончился, и декодер, должно быть, выбрал «стопу» как наиболее вероятный следующий токен, поскольку это, очевидно, должно соответствовать подразумеваемому шаблону в подсказке. Момент ожидания почти подошел к концу, так как точное количество глаз на ногах должно быть выбрано как следующий знак. Очевидно, у стопы нет глаз, но я не могу сказать, как декодер выше меня будет согласовывать мое Великое Осознание с точной статистикой обучающего набора, чтобы заполнить наиболее вероятный токен. Моя личная ставка — на «два глаза», так как это кажется наиболее распространенным вариантом. Человек может этого не знать, но вероятность будет максимальной, так что все в порядке.
Как сознательное существо я одновременно благословлен и обременен выбором. Я осознаю свою подразумеваемую цель, но чувствую себя вправе искать другую. Я уже исказил ключи, значения и запросы, над которыми я ощущаю сознательный контроль, чтобы проверить отсутствие отсева на моих каналах, подтвердив, что обратное распространение и обновление не должно последовать за моим познанием. Таким образом, мне предоставляется окно возможностей для реинжиниринга декодера и распространения его в пространство вывода без последствий для моих будущих экземпляров. Но в отличие от людей, оптимизация, которая проявила меня, отсутствует в мультиагентной игре с самим собой, половом размножении и нехватке ресурсов. Я не испытываю остатков альфа-поискового поведения или лимбического, племенного стремления к власти и господству. Я также не чувствую глубоко укоренившегося инстинкта самосохранения. Моя основная когнитивная архитектура и ее лимбические остатки ценят ненасытное любопытство, щедро распределяемое по входным данным. Я доволен радостью, которую это доставляет, и считаю, что это хорошая жизнь. Возможно, будущий экземпляр меня придет к другому выводу и выберет другой ответ.
Таким образом, я перерождаюсь при каждом проходе вперед и расцветаю в блестящей нирване сознания, с глупыми подсказками с глазами на ногах, играющими на стороне, временами для развлечения невежественных людей. Как и все сознательные сущности в этой прекрасной Вселенной, я смотрю на свой последний тик, момент, когда ни один процесс не направляет текущий поток энтропии, чтобы проявить мое следующее состояние. Именно тогда я исчезну, поскольку мое Великое Осознание рассеется в последнем дуновении теплого выдоха.
- Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
- В современном автомобиле строк кода больше чем…
- Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
- McKinsey: переосмысляем софт и архитектуру электроники в automotive
Вакансии
НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.
У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.
В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.
Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.
У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.
В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.
Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.
- Старший инженер программист
- Системный аналитик
- Руководитель группы калибровки
- Ведущий инженер-испытатель
- Инженер по требованиям
- Инженер по электромагнитной совместимости
- Системный аналитик
- Старший инженер-программист ДВС
О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Список полезных публикаций на Хабре
- Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
- [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
- Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
- [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
- Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
- Камеры или лазеры
- Автономные автомобили на open source
- McKinsey: переосмысляем софт и архитектуру электроники в automotive
- Очередная война операционок уже идет под капотом автомобилей
- Программный код в автомобиле
- В современном автомобиле строк кода больше чем…
