Как стать автором
Обновить
62
Карма
0
Рейтинг
Дмитрий Лобашевский @0decca

Пользователь

  • Подписчики 23
  • Подписки 2

Антивакцинаторы и теория игр, или математические основы антивакцинаторского движения

Хорошая модель.

Можно проверить ее на достаточно подробно рассмотренном практическом кейсе https://en.wikipedia.org/wiki/Corrupted_Blood_incident

Как показал опыт IRL большое количество роботов с планеты Шелезяка специально заражали различные коммьюнити с различными целями, среди которых значимое место занимала мотивация "just for fun".

Как Unix-way убивает десктопный Linux

Я просто оставлю это тут.
en.wikipedia.org/wiki/The_UNIX-HATERS_Handbook

Над этой книжкой я много смеялся когда она еще не была копролитом, но автор поста думаю найдет в ней много знакомого.

Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача

Спасибо за дискуссию и репозиторий, попробую на выходные.

PS
А гуманитарии кстати да, много сделали для замыливания термина AI, ущерб от этого сложно переоценить.

Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача

>вы в курсе, что такое reinforcement learning, как они в общих чертах устроены и чем обычно меряются?

В курсе конечно.
Но я еще в курсе что переставив миску с кормом у своего кота я инициирую тот самый процесс дообучения, который кот успешно решает.
У моего кота есть интеллект?
Исходная статья была про искусственный интеллект а не про RL методы.
А мой коммент был про то, что изучение и построение искусственного интеллекта — такая же задача, как и исследование торсионного поля, построение трансглюкатора или поиск рептилоидов.
Пока не существует понятия «интеллект» и способов его измерения — оно таким и останется.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.

И рандомная инициализация весов нейронки — немножечко не то, это нормально для мелких задач и мало что дает в реальных масштабах — сеть GPT-3 великолепна, но вот задачи анализа и генерации дискурса внезапно пока не решены, не пишут у нас компьютеры «Войну и Мир».
Хотя казалось бы — миллион слов и всего четыре сюжета.
А почему-то не работает.

>RL обычно как раз «создаёт новое знание».

Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.
Могу привести еще — конкурс John Koza на количество патентов, прошедших официальную регистрацию в патентном бюро и не имеющих аналогов среди человеческого творчества или превышающих по качеству.

В обоих случаях было создано новое знание в традиционно человеческой предметной области и превышающее по качеству человеческие решения.
При том, что люди таких решений не нашли, хотя искали.

Аналогичный пример из RL был бы очень интересен, если вы его знаете — приведите.

>Только система выйдет нестабильная, она может просто перестать работать после очередного апгрейда. А если дать какие-то более сложные функции по самоапгрейду, то будет ещё опаснее. Так что тут проблема скорее в том, как сделать эту самооптимизацию устойчивой

Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.

На большом шуме и сложных задачах ансамбль может быть конечно большим, но опять же — кто мешает поставить задачу оптимизации метапараметров и размеров ансамбля самому RL?
Кто вообще мешает заставить RL стабилизировать себя?
Ну кроме вычислительной сложности конечно.

>Я правильно понимаю суть претензии?

Не совсем.
Главная претензия в том, что мы ищем фантом, неопределенный и неизмеряемый — даже вы заменили обсуждение AI на более определенный RL, потому что в AI обсуждать что-то сложно.
Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.

Третья близка к вашему пониманию, но я бы пожалуй переформулировал ее по другому.
Как хинт можно задать вопрос — мы умеем делать CNN до определенного количества слоев, дальше архитектура трещит, ошибки в обратном распространении накапливаются и вообще работает медленно.
А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?

>Какое определение дадим интеллекту, такое и будет.

Ну давайте дадим определение — например медианное количество нокаутов за один раунд. И тестсетом поставим КМС по боксу.)))

Мы должны дать консистентное определение и повторяемую методику измерения. Иначе лучше оставить маркетоидный шум как есть, он по крайней мере приносит нам деньги))

> Если нам нужен достигатель целей — каких-то материальных, измеримых целей — то его оптимизирующую способность вполне разумно измерять на задачах вроде вышеописанных.

Небольших целей — не вопрос. Для RL/ML вообще то, что доктор прописал.
Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.

>Такое впечатление, что вы критикуете современные ИИ на базе какой-то своей теории ИИ. Как вы отметили, это что-то вроде теории Хуттера, плюс упомянули самооптимизацию. Можно более полно?

Как я и говорил, теории ИИ быть не может ни у меня ни у кого бы то ни было — потому что это тоже самое, что и теория торсионного поля.
Нет субъекта теории.

Теория искусственного интеллекта если и может существовать в будущем, то как развитие теории интеллекта вообще. И только после определения понятия «интеллект». Иначе это просто комбинации слов, не имеющих значения IRL — «высочайшие достижения нейтронной мегалоплазмы» (с) — чем эти слова отличаются от понятия «сильный ИИ»?..
Социокультурная мимикрия в эту область вообще не попадает никак, самооптимизирующиеся агенты, агенты способные к частичному или полному самоописанию — как частный случай.

>хотите, дам репозиторий с AIXI, который в какой-то мере пригоден к самооптимизации? Посмотрите, сколько времени обучается по-настоящему универсальный интеллект с по-настоящему неправильным когнитивным смещением. Самооптимизацию можно отключить для чистоты эксперимента.

Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше. Много много лет тому назад я экспериментировал с Холландовскими LCS, не знаю насколько их можно назвать прото-RL, но да, считало долго и плохо))))
Репозиторий на самом деле интересен, я последние пять лет ушел в IoT с его edge/fog computing и перестал следить за новинками совсем. Но сейчас с локдауном появилось свободное время — в том числе и писать ненужные комменты на хабре))
Даже кластерок свободный есть под это дело.

PS
Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.
Очень интересно сравнить состояние отрасли тогда и сейчас. И свои ощущения от этого.

Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача

>У интеллекта всегда есть когнитивное смещение — то есть какие-то задачи он будет решать лучше, какие-то хуже. Лучше/хуже — в смысле, сколько ему надо кадров на обучение с нулевого опыта.

Применение NFL-теоремы в этом случае спорно, но не в том суть.
Главное однако в том, что количество кадров несущественно на фоне других проблем.
Например такого момента, что все вышесказанное имело бы смысл если бы у нас было определение понятия «интеллект» и линейка, которой бы мы могли его измерить. Пока такого нет, мы можем говорить что угодно — экспериментальная проверка невозможна.
Разумеется если свести понятие «интеллект» к задаче оптимизации и ML — мы можем придумать метрики типа качества распознавания фоточек и тестсеты в стиле MNIST.
И даже придумать cognitive bias — но причем тут интеллект?

>Так что ну сделаем мы универсальный интеллект, который равномерно размазывает свою силу по всему множеству теоретически возможных задач — он же будет плохо справляться с теми задачами, которые нам реально важны.

Если вопрос в количестве начальных кадров обучения, то это высказывание неверно.
Однако опять же, одной из характеристик интеллекта является изменение собственных алгоритмов (например «машина Геделя»). Что явно не сводится к изменению весов очередной RNN.

Опыт (того же Старкрафта) показывает, что система не создала нового знания, не разработала новую стратегию, она лишь перекроила веса из комбинации выученных стратегий.
Как контрпример можно привести программу EURISCO из 1980-х, которая нашла новое знание и по факту первой открыла зерг-раш, задолго до появления самого термина.

> Хотя я не уверен, что нажатие мышкой куда попало — это плохо. Если это не улучшает и не ухудшает результат — наверное, это и не плохо.

Как результат мы имеем майкрософтовского твиттербота — поклонника Гитлера и газовых камер.
Вы уверены, что такому можно доверить экономику или даже уборку мусора?
Старкрафт впрочем доверить можно)))

>Если RL, обучающийся на опыте людей (а потом на своём собственном), то не вижу в этом ничего плохого.

Плохое здесь то, что мы не получаем нового знания. Мы не получаем самооптимизации алгоритма. Мы получаем комбинаторику из уже существующего.

>Согласно моей теоретической модели, ИИ потратил бы непрактично много времени, чтобы обучиться всему с нуля.

В мире, где хешрейты майнинга зашкаливают это не выглядит рациональным обоснованием))))

>Это AIXI будет, какое-то из его реалистичных воплощений. Учиться будет долго.

В общем-то это близко к тому, что я имел в виду.
С учетом неопределенности понятия «интеллект».
Из современного шума Hutter мне больше всех близок.

>Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться

Если речь идет об типовом ML — ради бога.
Но AI имхо — это что-то большее, чем инжиниринг.
Если мы хотим вырастить игрока в старкрафт — ну пусть играет с людьми.
А если мы хотим создать систему комбинирующую рентгеновское зрение и анализ радиоспектра — у кого будет учиться такой монстр?
А если мы хотим создать систему, которая строит такие системы и определяет какой именно тип зрения будет иметь прототип?
А на чьем опыте будет учиться «управляющий экономикой»? Пиночета и Ким Чен Ына?

Данный подход не просто ограничен, он приведет к совершенно адскому количеству проблем в будущем, включая и те, которые описаны в статье.
Легаси человечества просто будет прошито в биос новой системы и будет реплицироваться до бесконечности.

И какой в этом смысл, кроме решения прикладных инженерных задач?

Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача

Но это метрики для человеческих игр, т.е. просто выборка из того, что мы имеем у себя.
В теории датасеты должны быть достаточно абстрактными (например многомерные последовательности по типу cylinder-bell-funnel — просто размерность должна быть огромной плюс заложенный дрейф концепта).

Самое главное впрочем другое — и RL водитель и Старкрафт-бот и автотрейдер учатся не на собственном примере, а используют человеческий опыт для обучения.

Старкрафт-бот от Альфы например выигрывал у всех, но подробный анализ показал, что во-первых он работает зерг-рашем не используя особо апгрейды.
А второй момент — он воспроизводит чисто человеческие компульсивные нажатия мышкой, лишние, но психологически обучловленные.
И получается, что вместе с алгоритмами победы в Старкрафте бот заодно научился человеческому неврозу — ситуация четко предсказанная Ст. Лемом в романе Ананке (там начальник QA отдела так построил тестплан, что перенес все свои психозы на тестируемого робота).
При таком подходе мы можем ожидать, что робот-таксист скоро начнет ругаться матом на велосипедистов. Другой вопрос — причем здесь интеллект?)))

Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача

Я думаю, что Roko's Basilisk обнулит карму автору статьи.
Что еще ожидать от того, кто подсказал Цуку идею Фейсбука))))

Однако если серьезно, то тезисы выглядят натягиванием совы на шар из парадокса Банаха-Тарского.

1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))

2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.

3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?

Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
Посмотреть в него боюсь удастся только один раз.
Потом придется разбить либо зеркало, либо себя.

Правда к интеллекту такое поведение точно не имеет никакого отношения. Ни к естественному ни к искусственному.

Девайсы для пентеста. Обзор хакерских девайсов. Часть 1: Мини компьютеры

Есть как отдельный модуль/hat, и стоит как-то неприлично, мы просто отказались от него потом. Ну и впаянного eMMC в малине точно никогда не было.

Имхо для прокси и VPN делать такой юбердевайс из SSD, PoE hat и малинки — и дороговато и в обслуживании тяжело и по компоновке громоздко — это же не БД на нем крутить, там сеть да проц требуются.

Тем более, что по крайней мере у 3-ки загрузка с SSD не сильно устойчива (и кстати обнуляет warranty bit), а SD карту оно пилить будет пока не пропилит — придется менять регулярно.

Эх, айти, куда ж ты котишься? 

>IT станет попсой

Я просто оставлю это здесь.

You could think of it as putting a low-pass filter on some of the good ideas from the ’60s and ’70s, as computing spread out much, much faster than educating unsophisticated people can happen. In the last 25 years or so, we actually got something like a pop culture, similar to what happened when television came on the scene and some of its inventors thought it would be a way of getting Shakespeare to the masses. But they forgot that you have to be more sophisticated and have more perspective to understand Shakespeare. What television was able to do was to capture people as they were.

So I think the lack of a real computer science today, and the lack of real software engineering today, is partly due to this pop culture.


(с) Алан Кей, 2004
queue.acm.org/detail.cfm?id=1039523

>Если 3-4 года назад ИТ-сфера была новым роком и формировала именно такую отраслевую субкультуру, то сегодня это уже почти попса.

3-4 года назад айти уже давно было не попкультурой, а карго-культом. И будет таковым, пока разработка методом random walk + agile окупается.

Сверхинтеллект: идея, не дающая покоя умным людям

Это как считать.
Если по посещающим культовые заведения и храмы — то верующих будет сильно меньше.
А если приплюсовать верующих в демократию, коммунизм, Айн Ренд, Новую Хронологию, РенТВ, инвестиционные стартапы, веганство или страшный ИИ — процент сильно уменьшится.

Собственно история Василиска Роко подтверждает, LessWrong изначально был крайне рациональным коммьюнити, но придумать такой адский пример снов разума, как Василиск сумели именно там, а не в Саудовской Аравии.

Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.
Иначе откуда столько шума о сверхинтеллекте среди людей считающих себя умными?

Сверхинтеллект: идея, не дающая покоя умным людям

В наш атеистический век ИИ очень полезен — он позволяет философам (и некоторым веб-разработчикам) заниматься богоискательством и богостроительством на законной основе.
Иногда даже создается впечатление, что им таки сложно жить без идеи о чем-то всемогущем и карающим.
Хотя может они просто привыкли жить испуганными.

Жду когда ко мне придет Roko Basilisk и начнет пытать меня кривым кодом…

Ноам Хомский: где искусственный интеллект пошел не туда?

При всем уважении к Хомскому — этот текст отлично читается параллельно с «Туннель Эго» Томаса Метцингера.

Потому что если «понимание» (в понимании Хомского) является самообманом и иллюзией мозга по Метцингеру — то тогда факультет физики представляет собой лишь объединение коннектомов докторов наук этого факультета, выдающее кроме научных статей в качестве побочного эффекта осознание докторами наук своего «понимания» и соответствующую порцию эндорфинов (или грантов) авторам статей — как опосредованный эффект понимания.

Подход на основе статанализа и бихевиоризма внезапно широко используется в реальном мире, где можно получить реальную же отдачу — реклама и маркетинг не требуют понимания но дают ощутимый результат.

Впрочем тема обсуждения на самом деле гораздо сложнее дихотомии Tensorflow против Coq, оба подхода лишь часть общей панорамы.
Которую в принципе невозможно увидеть без жестких определений AI — иначе можно долго искать многоцветного бармаглота в радужной комнате. И даже найти и не один раз.

Генетический алгоритм построения алгоритмов

Лучшие результаты в ГА у меня получались когда я включал локальную оптимизацию.
Т.е. ГА ищет структуру со случайными параметрами, а результирующий фитнесс считается после того, как эти параметры оптимизируются отдельно — например стохастическим градиентом (или просто градиентом).
Но это очень затратно.

Имхо современное понимание генетических алгоритмов что-то упускает из виду, а именно декомпозицию задачи на условно-независимые компоненты, которые могут эволюционировать отдельно.
Причем в теории эту декомпозицию можно встроить в сам алгоритм, но вот на практике это работает очень странно и малопредсказуемо.
Я пробовал использовать гиперциклы, разложение фитнесс-функций на аддитивные компоненты, везде чего-то не хватает.
Надеюсь кому-то повезет больше, т.к. имхо потенциал генетики недооценен.

PS
Вот интересная штука на базе генетики, которая считалась копролитом, потом воскресала, потом опять забывалась — несколько раз подряд.
en.wikipedia.org/wiki/Learning_classifier_system

Вредные заклинания в программировании

  int x=42;
// wtf ???/
  x++;
  printf("%d\n",x);

gcc 6.4 печатает 42 — если -std=c11 или c99
А вот если std=gnu99 или gnu11 — результат 43. И предупреждает при компиляции.
Не любят триграфы современные компиляторы…

Генетический алгоритм построения алгоритмов

Я учил эту область по многотомнику John Koza в начале нулевых или даже в конце 90-х — для трейдинговых систем.
Вот этот человек:
www.genetic-programming.com/johnkoza.html

На самом деле очень интересная тема, позволявшая находить нестандартные решения, которые экспертные группы просто не могли увидеть в силу замыленности взгляда.
Я потом перешел на Grammatical Evolution подход с линейным геномом, до сих пор в разных областях использую — например для поиска оптимальных дескрипторов в обработке изображений, генерации атрибутов для Machine Learning, вообще применения есть.

Основные проблемы — code bloat (неконтролируемый рост кода), сложность с циклами (много зависающих программ, которые сжирают все ресурсы), общая затратность выполнения.
Небольшие четко заданные проблемы эта штука решает хорошо — например можно «вырастить» генератор случайных чисел или алгоритм компрессии отпечатков пальцев, лучше, чем аналоги, сделанные человеком.
А вот сложные проблемы надо декомпозировать, здесь бутылочное горлышко и обычная генетика слабо справляется, несмотря на теорему шим.

Ну и в случае недостаточно четкой постановки задачи можно получить сюрприз, у меня одна стратегия вместо эволюции нашла баг в модели рынка и нагло им воспользовавшись, показала очень хорошие результаты. Правда плохо воспроизводимые на реальном рынке.

Искусственному интеллекту проще обмануть хозяина, чем решать задачу.
:-)

Генетический алгоритм построения алгоритмов

Можно вместо Forth использовать PUSH — специально разработанный язык программирования для этой области.
faculty.hampshire.edu/lspector/push3-description.html

Да, область называется en.wikipedia.org/wiki/Genetic_programming
Там много подводных камней на самом деле.

Не очень большие данные и определение тональности текста

Обычный Random Forest на случайных байтовых n-граммах так сразу мне показал 72.95% — без тюнинга.
При том, что быстрее Random Forest в детекции наверное ничего придумать и нельзя.
И это тоже агностический метод, количество параметров ненамного больше и знание содержимого файла не требуется — он будет работать и на классификации вирусов, спама, ДНК и чего угодно с линейной структурой и произвольной длиной.
Возможно n-граммы на словах или на синсетах покажут лучший результат, но они уже преполагают текст, причем на европейском языке, с пробелами и пунктуациями.

Для существенного поднятия точности нужен уже deep learning — трансфомация пространства признаков. И получать их лучше с очень больших объемов неклассифицированных данных.
Приведенный датасет для таких задач вообще непригоден, он слишком мал.

Не очень большие данные и определение тональности текста

Для полноценного разбора текста требуется еще и иметь языковую модель.
Которая не только разная для каждого языка, но и в пределах одного языка может сильно варьироваться.
Я как-то вытаскивал данные из сотни тысяч английских текстов, написанных индусами, китайцами и филиппинцами.
По результату пришлось писать свой экстрактор — готовые системы (коммерческие и бесплатные) давали очень плохое качество. Хотя казалось бы — где уже сделано все и все истоптано — так это в английском языке.

Поэтому агностические модели столь привлекательны — более традиционные схемы предполагают большой объем ручной адаптации, что реально дорого IRL.

Не очень большие данные и определение тональности текста

Разница есть и gzip не подходит.
Вообще блочные упаковщики плохо работают для таких целей.
Проверить насколько хорош упаковщик можно простой процедурой.
cat somefile | packer >test1
cat somefile somefile | packer >test2

Если рамеры файлов test1 и test2 мало отличаются — то упаковщик подходит.
Второе требование — чем сильнее он пакует целевые файлы — тем лучше для результата.

Информация

В рейтинге
Не участвует
Откуда
Одесса, Одесская обл., Украина
Дата рождения
Зарегистрирован
Активность