Comments 11
Не могу найти произведение, но было что-то типа того, что в какой-то там марсианской подземке будущего погибли люди из-за того, что ИИ, управляющий подачей воздуха на станцию, "глядя" через камеры, научился включать подачу не когда прибывает поезд, а когда палочки на электронных часах на стене сложатся в опредлённые фигуры. А в один прекрасный день поезд опоздал, в момент его прибытия часы показывали другое время; двери открылись — а воздуха на станции нет.
Мой любимый пример — вот этот бипед. История была такая, что изначально условие было "трахает всех самок в следующее поколение проходит тот, кто максимально удалится от точки старта за минуту". И эволюция выработала простейший выход: после старта бипед моментально падал на спину, и, отчаянно суча ногами, на спине скользил подальше от точки старта. Исследовали выматерились и исправили условие: "в следующее поколение проходит тот, кто максимально удалится от точки старта за минуту, если "таз" не опускается ниже определённого уровня". После чего бипед быстро научился ходить по-человечески.
Что-то я не понял Вашего посыла. "Против создателей ИИ" (то есть против людей) играет человек, — то есть человек играет против человеков??
А вообще эволюция — она, ленивая скотина, очень любит достигать поставленных целей минимальными усилиями, заставляя постановщиков задач материться.
Питер Уоттс. Морские звезды.
— Он там управлял системой подземки – никаких нареканий, идеальный работник, а потом однажды эта штука просто забыла запустить вентиляторы, когда было надо. Поезд заезжает на пятнадцать метров под землю, пассажиры выходят, воздуха нет, бум!
– Эти штуки вроде как учатся на собственном опыте, правильно? – продолжает Джарвис. – Ну и все думали, что зельц научился запускать вентиляторы по какому-то очевидному признаку. Жару тела, движению, уровню углекислого газа, ну ты понимаешь. В результате выяснилось, что эта хрень просто смотрела за часами на стене. Прибытие поезда совпадало с предсказуемым набором паттернов на цифровом дисплее, поэтому она включала вертушки, когда видела один из них.
– Ага. Точно. – Джоэл качает головой. – А какие-то вандалы часы разбили. Или что-то вроде того.
Помню был на митапе Твиттера, там они делали модель которая определяла несколько твит «токсичный». Их модель маркировала твиты, которые упоминали слова гей, лесбиянка и мусульманин, как «токсичные». Потому что дата которую они использовали содержала твиты, где эти термины упоминались в негативном контексте. Поэтому они провели ребалансировку, простым языком скормили модели твиты где использовались те же термины в позитивном контексте. Очень интересно.
1) Переобучение. Модель слишком сложна для той неопределённости, с которой мы имеем дело. Модель полагает за паттерны то, что на самом деле флуктуации. Решается регуляризацией, увеличением числа данных, кроссвалидацией, созданием «пачки» моделей вместо одной.
2) Неспособность отобразить нужные закономерности в простом виде. То есть модель должна быть предвзята, но в другом направлении. Например, если решающими деревьями пытаться подобрать функцию y=x1+x2, то получится ступенчатая аппроксимация, более-менее адекватная между точек учебного датасета и сильно неадекватная на примерах, где x1, например, больше, чем в датасете. А вот линейная регрессия предвзята в правильную сторону — она эту задачу решит хорошо. Но она другие задачи будет решать неверно
О предвзятости искусственного интеллекта