Comments 177
Кстати, не совсем понятен ажиотаж вокруг упомянутой «проблемы вагонетки», который обычно возникает в комментариях под статьями на эту тему. По-моему, вся проблема в том, что задача слишком абстрагирована.
Каноничная вагонетка движется по строго определенным путям, и жертвы не имеют никакой возможности сбежать. Таким образом, для вагонетки не стоит проблема в том, куда повернуть: всё сводится к тому, что должна быть выбрана определенная жертва.
Автомобиль же не по рельсам едет: для него есть понятия «ехать прямо», «влево», «правее», «ещё правее». И, если мы в любом случае сбиваем одного из пешеходов, то следует ехать по максимально предсказуемой траектории. А там уж будь что будет. Если очень повезёт, то пешеход успеет спастись.
Простой, предсказуемый в опасной ситуации инструмент — это хорошо. Самонаводящееся орудие, которое себе на уме — плохо. И это вот общее рассуждение — единственное место, где мы касаемся вопросов морали; всё остальное — дело техники.
Каноничная вагонетка движется по строго определенным путям, и жертвы не имеют никакой возможности сбежать. Таким образом, для вагонетки не стоит проблема в том, куда повернуть: всё сводится к тому, что должна быть выбрана определенная жертва.
Автомобиль же не по рельсам едет: для него есть понятия «ехать прямо», «влево», «правее», «ещё правее». И, если мы в любом случае сбиваем одного из пешеходов, то следует ехать по максимально предсказуемой траектории. А там уж будь что будет. Если очень повезёт, то пешеход успеет спастись.
Простой, предсказуемый в опасной ситуации инструмент — это хорошо. Самонаводящееся орудие, которое себе на уме — плохо. И это вот общее рассуждение — единственное место, где мы касаемся вопросов морали; всё остальное — дело техники.
Вообще подразумевается что система управления прикинула все реальные пути решения и задача в итоге свелась к вагонетке.
Логично, что увидев пешехода, перебегающего дорогу, авто не будет кидаться на него всеми колесами (или сразу сворачивать в ближайший столб, в зависимости от настройки). Попытается объехать, оттормозиться. И рассматривать такие очевидные вещи (и тем более проводить по ним исследования с соцопросами) нет никакого смысла:)
Логично, что увидев пешехода, перебегающего дорогу, авто не будет кидаться на него всеми колесами (или сразу сворачивать в ближайший столб, в зависимости от настройки). Попытается объехать, оттормозиться. И рассматривать такие очевидные вещи (и тем более проводить по ним исследования с соцопросами) нет никакого смысла:)
Я полностью согласен со второй частью вашего комментария. Что касается первой части, то я и так предполагал, что ситуация уже безвыходна, и объехать (безопасно для себя) никак не получается. В этом случае просто тормозим, сохраняя направление движения. Мы даже не пытаемся решать проблемы вагонетки, у нас их просто нет.
Тормозить по прямой — самый верный способ по ПДД, но и живые водители не постоянно им пользуются.
Эти исследования — скорее размышления на тему «а что если?». Автопилоту гораздо проще прикинуть все варианты развития событий, следовательно летящий в полную остановку автомобиль можно направить в столб, тем самым мораль, общество и все такое.
И это классическая вагонетка — есть два пути — тормозить по прямой или маневрировать в кого-то. Вагон же тоже либо продолжает ехать как ехал, либо можно изменить его траекторию.
Эти исследования — скорее размышления на тему «а что если?». Автопилоту гораздо проще прикинуть все варианты развития событий, следовательно летящий в полную остановку автомобиль можно направить в столб, тем самым мораль, общество и все такое.
И это классическая вагонетка — есть два пути — тормозить по прямой или маневрировать в кого-то. Вагон же тоже либо продолжает ехать как ехал, либо можно изменить его траекторию.
Вагонетка не имеет руля, доступен лишь перевод стрелок. Это я вам как железнодорожник говорю :) Неперевод стрелок в этом случае равнозначен активному выбору жертвы. Потому её и приняли в качестве теоретической модели(дискретность вариантов выбора — это удобно для мысленного эксперимента), и поэтому же её нельзя применить к автомобилю.
Впрочем, разговор на эту тему стремится к дискуссии, которую я уже осудил выше.
Впрочем, разговор на эту тему стремится к дискуссии, которую я уже осудил выше.
В каком это пункте ПДД написано "Тормозить по прямой"?
10.1 — «При возникновении опасности для движения, которую водитель в состоянии обнаружить, он должен принять возможные меры к снижению скорости вплоть до остановки транспортного средства.»
В ГИБДД это интерпретируется как — «нефиг уворачиваться, просто тормози, если не можешь предотвратить дтп».
Если увернулся и предотвратил — молодец.
В ГИБДД это интерпретируется как — «нефиг уворачиваться, просто тормози, если не можешь предотвратить дтп».
Если увернулся и предотвратил — молодец.
Даже, если на пути движения человек 20, а сбоку лишь один, тоже лучше вести себя предсказуемо?
Эта ситуация ни у кого затруднений не вызывает. Естественно, в этом случае следует минимизировать число жертв. Обычно у спорщиков особый интерес вызывает предельная ситуация, когда при любом выборе количество жертв одинаково.
Те кто на пути движения — очевидно нарушили ПДД… почему надо давить того кто не нарушил?
Впереди фура, и дорога рядом кажется свободной.
Но, из-за фуры, вместо «быдла», которое ты хотел ржа от смеха раздавить, а затем выложить смачное видео об этом ради лайков от таких же как ты, выезжает ЭТО:
Ты всё ещё считаешь, что на дороге кроме двуногих кожаных мешков, которые так весело давить, больше никто не может оказаться?
Но, из-за фуры, вместо «быдла», которое ты хотел ржа от смеха раздавить, а затем выложить смачное видео об этом ради лайков от таких же как ты, выезжает ЭТО:
Ты всё ещё считаешь, что на дороге кроме двуногих кожаных мешков, которые так весело давить, больше никто не может оказаться?
Где гарантия, что эти 20 человек, видя несущийся на них автомобиль, не кинутся врассыпную? И там где секунду назад был один, станет 10?
Тормозим, включаем фары и гудок.
(это как в анекдоте, кого ты будешь давить? — тормоз дави, идиот!).
Многие люди на переходе обладают хотя бы одним органом восприятия (слух, зрение) и могут за пару секунд принять какое-то решение.
(это как в анекдоте, кого ты будешь давить? — тормоз дави, идиот!).
Многие люди на переходе обладают хотя бы одним органом восприятия (слух, зрение) и могут за пару секунд принять какое-то решение.
Возможно (правда, это всего лишь мое мнение) подобную тему пиарят ради того, чтобы в дальнейшем привязать логику автомобилей к социальному рейтингу.
Если сейчас судимость усложнит работу, аренду и ипотеку (по крайней мере в США/Великобритании), то в будущем «неблагонадёжный» может ещё и пораньше попасть под колёса.
Если любой автомобиль видит рейтинги всех людей на улицах, несложно будет сконвертировать это в очки дополненной реальности, которые любому покажут анкеты всех людей в поле зрения. Не слишком ли фантастично?
Если соблюдать скоростной режим, то проблема вагонетки просто не возникнет = всегда можно успеть затормозить, и ответом на «кого давить?» должно быть «тормоз дави! тормоз!».
С чего вы решили, что соблюдение скоростного режима всегда позволит затормозить? Внезапное появление пешеходов на дороге — обычное дело. Это у ГИБДД логика порочная: сбил — значит нарушил скоростной режим.
Пешеход не телепортируется из под земли.
Если стоит автобус, то нужно быть ООООООООООчень тупым, чтобы не догадаться, что может появиться пешеход и не сбросить скорость.
Если при объезде фуры, из-за неё вылез не пешеход, а маленький низенький грузовичок гружённый кирпичом, и ты едешь не сбросив скорость, то виноват в последствиях будешь именно ты сам.
Если стоит автобус, то нужно быть ООООООООООчень тупым, чтобы не догадаться, что может появиться пешеход и не сбросить скорость.
Если при объезде фуры, из-за неё вылез не пешеход, а маленький низенький грузовичок гружённый кирпичом, и ты едешь не сбросив скорость, то виноват в последствиях будешь именно ты сам.
Предположим, вдоль дороги кусты. Вы хотите сказать, вдоль такой дороги всегда следует держать 20 км/ч?
Если вдоль всей дороги кусты, то вы едете явно не в том месте, где стоит разгоняться до максималки. Вероятней всего это какой-то дачный массив, где даже тротуаров нет.
п. 10.1 ПДД:
«Водитель должен вести транспортное средство со скоростью… учитывая при этом… в частности видимость в направлении движения. Скорость должна обеспечивать ... выполнения требований Правил.
При возникновении опасности для движения… вплоть до остановки транспортного средства.»
Т.е. в правилах четко прописано, что если не уверен в возможности возникновения препятствия — превышаешь! Или это не ИИ ехал слишком быстро, а просто судьба такая у старушки/девочки?
«Водитель должен вести транспортное средство со скоростью… учитывая при этом… в частности видимость в направлении движения. Скорость должна обеспечивать ... выполнения требований Правил.
При возникновении опасности для движения… вплоть до остановки транспортного средства.»
Т.е. в правилах четко прописано, что если не уверен в возможности возникновения препятствия — превышаешь! Или это не ИИ ехал слишком быстро, а просто судьба такая у старушки/девочки?
Я в курсе. В реальной ситуации мы почти нигде не можем быть уверены в том, что перед нами не вылетит внезапно пешеход. Везде будете ехать 20 км/ч?
В вашей же собственной цитате, hokum13, прямо написано:
а гнать на маскималке руководствуясь принципом «судьба у быдла такая» — это плевать на видимость нарушая ПДД.
А если вместо старушки/девочки окажется вот ЭТО
— то чья «судьба такая»?
Ваша идея «ДАВИ БЫЛО!», приведёт именно к влетанию на скорости в ЭТО.
учитывая при этом… в частности видимость в направлении движения
а гнать на маскималке руководствуясь принципом «судьба у быдла такая» — это плевать на видимость нарушая ПДД.
это не ИИ ехал слишком быстро, а просто судьба такая у старушки/девочки
А если вместо старушки/девочки окажется вот ЭТО
— то чья «судьба такая»?
Ваша идея «ДАВИ БЫЛО!», приведёт именно к влетанию на скорости в ЭТО.
Везде будете ехать 20 км/ч?
Если кусты обтирают двери автомобиля — да, 20км/ч.
Ваша идея «ДАВИ БЫЛО!»,
Это не моя идея. Я, разумом, против того чтобы доводить до состояния, когда рождается «дилема вагонетки». Но я человек и я совершаю ошибки. Потому что некогда, гормоны, молодость, наивность… Да мало ли причин.
Но у ИИ нет мотивации. Автопилот — «слабый ИИ». Соответственно ИИ дойдет до дилемы вагонетки только в том случае, если это заложит разработчик. Соответственно либо нужно полноценно шерстить код на наличие изъянов (что не возможно для передовых проектов за отсутствием паттернов ошибок), либо вводить ответственность производителя за действие его ИИ.
ИМХО дилема вагонетки появилась именно по той причине, что разработчики хотят снять с себя ответственность за смерти от их изобретения. И ИМХО реальные сроки заключения и неотвратимость наказания за аварии для владельцев бизнеса устранят ошибки и в коде, и в железе.
Что бы разрядить обстановку.
У нас на одной лесной дороге, перед въездом в лес стоит плакат:
"ВОДИТЕЛЬ БУДЬ ВНИМАТЕЛЕН
НА ОБОЧИНЕ ВОЗМОЖНО
ПОЯВЛЕНИЕ ПЕШЕХОДОВ"
и кто то с юмором внизу дописал:
"С ОРУЖИЕМ"
У нас на одной лесной дороге, перед въездом в лес стоит плакат:
"ВОДИТЕЛЬ БУДЬ ВНИМАТЕЛЕН
НА ОБОЧИНЕ ВОЗМОЖНО
ПОЯВЛЕНИЕ ПЕШЕХОДОВ"
и кто то с юмором внизу дописал:
"С ОРУЖИЕМ"
Я считаю идея создания «моральной машины» аморальна в принципе. Я не являюсь верующим человеком, но стараюсь придерживаться заповедей Библии. «Не суди, да не судим будешь» — то что касается морального выбора.
Авто должно любым способом пытаться минимизировать ущерб, соблюдая при этом ПДД. Точка. Надо просто создать безопасный транспорт и ИИ способный ежесекундно грамотно распознавать/читать дорожную ситуацию.
Авто должно любым способом пытаться минимизировать ущерб, соблюдая при этом ПДД. Точка. Надо просто создать безопасный транспорт и ИИ способный ежесекундно грамотно распознавать/читать дорожную ситуацию.
Авто должно любым способом пытаться минимизировать ущерб, соблюдая при этом ПДД.
Полноценная эксплуатация таких автомобилей будет возможна только после исключения из участников дорожного движения водителей, сознательно или несознательно нарушающих ПДД.
Поэтому после повсеместного распространения самоуправляемых автомобилей — следующим шагом будет запрет на управление автомобилем человеком.
Я в своей статье пытался доказать ровно то же самое.
habr.com/ru/post/428181
Если кратко — абсолютно неважно, кого ты выбираешь сбить — ребенка, женщину, руководителя, кота или бомжа, потому что:
а) Выбирать строго по какому-то параметру (сбивать только бомжей или преимущественно руководителей) есть отъявленная дискриминация, сравнимая с рабством или геноцидом;
б) Абсолютно неважно, какой ролью или внешностью или статусом обладает жертва. Все равно массовость ДТП как явления сведет всех жертв к распределению их по пропорциям в обществе. Мужчин и женщин будет умирать примерно поровну, а руководителей или врачей будут сбивать относительно редко.
Отсюда вывод: исследование чисто социологическое и ни на какое обучение ИИ не претендует.
habr.com/ru/post/428181
Если кратко — абсолютно неважно, кого ты выбираешь сбить — ребенка, женщину, руководителя, кота или бомжа, потому что:
а) Выбирать строго по какому-то параметру (сбивать только бомжей или преимущественно руководителей) есть отъявленная дискриминация, сравнимая с рабством или геноцидом;
б) Абсолютно неважно, какой ролью или внешностью или статусом обладает жертва. Все равно массовость ДТП как явления сведет всех жертв к распределению их по пропорциям в обществе. Мужчин и женщин будет умирать примерно поровну, а руководителей или врачей будут сбивать относительно редко.
Отсюда вывод: исследование чисто социологическое и ни на какое обучение ИИ не претендует.
баттхерт
Да как вообще ИИ машины должен понять, что перед ним — руководитель, например? По одежде? Цукерберг носит джинсы и футболку. У врача диплом или пропуск на работу вообще в кармане! (сарказм далее) А как же быть с модными сейчас 50 гендерами? Вон в нашумевшей аварии Убера водителем был транс, идентифицировавший себя как женщина — так автопилот должен был решать между женщиной на дороге или женщиной или мужчиной внутри?? Ууу, как же бесит это исследование.
Всё очень просто — это готовый сценарий новой серии Чёрное зеркало:
у каждого человека есть «стоимость», ценность, если хотите: 1) младенец/ребёнок «стоит» дорого, потому что а) чтобы его вырастить/обустроить его родители затратили кучу времени и денег и б), потому что он впоследствии может принести кучу полезного обществу; 2) далее зависимость от текущей пользы человека обществу: высшее руководство и крутые учёные наверху, врачи редкий специфализаций, далее инженеры высших категорий и т.д. и т.п.
Так вот фишка для сериала: какой-нить хакер (безработный и т.д.) ломает направо и налево всякие системы и получает (или например (вот это поворот!) система сама назначает этому человеку за такое умение) наивысший приоритет. И при очередной техногенной катастрофе (ну или просто крупном ДТП) все роботы делают всё возможное, чтобы не дать ему погибнуть, «переключая вагонетку» навстречу «руководителям», «учёным» или «президентам» с некислыми последствиями для человечества, например.
Надо заслать сценаристам.
у каждого человека есть «стоимость», ценность, если хотите: 1) младенец/ребёнок «стоит» дорого, потому что а) чтобы его вырастить/обустроить его родители затратили кучу времени и денег и б), потому что он впоследствии может принести кучу полезного обществу; 2) далее зависимость от текущей пользы человека обществу: высшее руководство и крутые учёные наверху, врачи редкий специфализаций, далее инженеры высших категорий и т.д. и т.п.
Так вот фишка для сериала: какой-нить хакер (безработный и т.д.) ломает направо и налево всякие системы и получает (или например (вот это поворот!) система сама назначает этому человеку за такое умение) наивысший приоритет. И при очередной техногенной катастрофе (ну или просто крупном ДТП) все роботы делают всё возможное, чтобы не дать ему погибнуть, «переключая вагонетку» навстречу «руководителям», «учёным» или «президентам» с некислыми последствиями для человечества, например.
Надо заслать сценаристам.
б), потому что впоследствии ребёнок может принести кучу полезного обществу;
Статистически (если говорить про Россию) — вряд ли. Какой процент, что из ребёнка вырастет учёный двигающий науку, а не маргинал все цели которого — напиваться каждый пивом? Вряд ли больше 1-3%. Хотя может, ради этих 1-3% и стоит рискнуть. Детей спасают первыми потому что у них меньше шансов выжить при бедствиях. Ну и подозреваю от того, что относятся к чужим детям примерно как к своим. Если смотреть здраво, спасение детей зачастую иррационально и противоречит здравому смыслу. Тут мы полностью во власти эмоций, а не логики…
Да и система должна быть гораздо сложнее, например должна оценивать его родителей, склонности ребёнка, как они этого ребёнка смогут воспитать и дать образование. Причём, тут же понятно, что все эти мерки крайне субъективны. Родители могут быть образованы, но «недолюбить»/«перелюбить» ребёнка, исходя уже из своих детских травм. «Ценность» такого человека для обществабудет низкой.
И потом, ценность человека не складывается только из того, учёный он или хороший художник. У меня вот бабуля ни одного открытия в жизни не сделала, но отлично воспитала 2 дочерей,3 внуков и 3ёх правнуков. И мамины подруги бабулю ни иначе как мамой называли — потому что она к ним как родная мать и относилась.
На мой взгляд сам вопрос поставлен неправильно. Все эти исследования «кого давить будешь?!» — это попытка переложить ответственность за происшествия с производителей робомобилей на общество в целом. Не должен вопрос так стоять. Робомобили разрабатываются для того чтобы повысить безопасность движения. Не можете обеспечить такой уровень безопасности, который позволит исключить тяжелые травмы и смерть кого-то из участников — не занимайтесь разработкой, или платите штрафы в каждом случае. И не надо вот этих вот оправданий, что любая сложная система может выйти из строя. Это ваша задача сделать так, чтоб она не выходила из строя, либо выход из строя не приводил к катастрофическим последствиям, а значит вам и отвечать.
Не можете обеспечить такой уровень безопасности, который позволит исключить тяжелые травмы и смерть кого-то из участников — не занимайтесь разработкой, или платите штрафы в каждом случае.
Отличная идея. Давайте тогда еще заставим платить штрафы производителей бумаги за каждый случай пореза их бумагой. Должны же обеспечить уровень безопасности. И производителей столбов заодно, если их столб, будучи сбитым при ДТП, пришиб пешехода. Не могут исключить травмы — пусть не занимаются разработкой. Так победим.
И не надо вот этих вот оправданий, что любая сложная система может выйти из строя.
Во-первых, нередко "моральный выбор" нужно делать даже когда все системы в норме (например, на трассу с плотным и быстрым потоком неожиданно выскакивает ребенок. И робомобилю с исправными системами нужно сделать выбор: ехать ничего не предпринимая и давить ребенка; тормозить, провоцируя ДТП и создавая опасность для пассажиров автомобиля позади; пытаться объехать ребенка, все так же провоцируя ДТП и создавая опасность для автомобилей своей и встречной полосы).
В-вторых, как вам там живется в вашей утопии, где системы не ломаются и материалы не подвержены коррозии? Реки у вас там молочные или медовые?
тормозить, провоцируя ДТП и создавая опасность для пассажиров автомобиля позади;
Не знаю, как на Украине, но в России едущий следом должен соблюдать безопасную дистанцию — не соблюдает сам виноват.
Не знаю, как на Украине, но в России едущий следом должен соблюдать безопасную дистанцию — не соблюдает сам виноват.
Соблюдая безопасную дистанцию — вы рискуете получить вклинившийся в эту дистанцию автомобиль «шахматиста».
Если вы не успеете затормозить и таки врежетесь в его автомобиль — будете виноваты вы.
Так что данный тезис «не соблюдает — сам виноват» в этом случае весьма спорен.
(достаточно большой разрыв между едущими авто — провоцирует идиота на вклинивание в этот разрыв. Поэтому (увы) иногда нужно держать сокращенную дистанцию (и молиться, что бы успеть затормозить, если что). Как с этим будет справляться ИИ — просто не представляю.
ИИ с этим будет справляться карательной мерой. Думаю, не составит большой проблемы подключить системы видеофиксации с робомобилей к системе штрафов. Каждое перестроение шахматиста пойдет по статье «агрессивное вождение». Если сейчас это труднодоказуемая статья, то с появлением робомобилей культура вождения повысится. Безнаказанно нарушать можно будет только на пустой дороге без стационарных приборов видеофиксации.
Думаю, не составит большой проблемы подключить системы видеофиксации с робомобилей к системе штрафов.
Это уже постфактум.
Проблема для инженеров по этике (спасибо Г.Гаррисону за термин ):
1) В случае подрезания — резко тормозить и тем самым подставить себя под удар идущей сзади машины
2) или бить нарушителя в зад, подставляя своего разработчика («виновник ДТП»)
В случае подрезания сразу причин для аварии нет. Просто не по вине подрезаемого сокращается дистанция до впереди идущего автомобиля. В этом случае достаточно плавно снижать скорость увеличивая дистанцию. А вот если подрезающий начинает экстренно оттормаживаться, тогда да, риск аварии есть. Робомобиль к данному моменту в курсе, какая дистанция до машины сзади и есть ли там автоматические помощники экстренного торможения.
Подрезающего, кстати, ИИ вычислит намного раньше, чем человек на его месте. Летящий в соседней полосе при наличии препятствия (автомобиля со скоростью потока) и свободного места по диагонали в нашем ряду — подрежет. Начинающий ускоряться в соседнем ряду при тех же условиях — подрежет.
Подрезающего, кстати, ИИ вычислит намного раньше, чем человек на его месте. Летящий в соседней полосе при наличии препятствия (автомобиля со скоростью потока) и свободного места по диагонали в нашем ряду — подрежет. Начинающий ускоряться в соседнем ряду при тех же условиях — подрежет.
В случае подрезания сразу причин для аварии нет
Это в том случае, когда все участники движения обладают отличной реакцией, умеют хорошо водить машину, а сами автомобили технически исправны.
В реале же либо подрезающий — самоуверенный новичок с двухлетним стажем вождения, либо за рулем подрезаемого авто сидит барышня 20...50 лет с мобильником у уха (и куча других возможных вариантов и их сочетаний)
У нас тут рядом есть прямой участок дороги, достаточно длинный и оканчивающийся регулируемым перекрестком (местом постоянных пробок)
Поэтому там постоянно кто-то, разогнавшись на прямом участке — пытается резко вклинится в тот ряд, по которому можно от перекрестка прямо (вклиниться с боковых полос, уходящих направо и налево)
/На боковых полосах трафик на порядок меньше, чем в основной полосе/
Поэтому столкнувшиеся машины там стоят ежедневно, а полиции в пору установить там стационарный пост, бо ездят они туда как на работу.
Подрезающего, кстати, ИИ вычислит намного раньше, чем человек на его месте
Подрезающего можно вычислить разве что спинным мозгом.
Поскольку он сам принимает решение за секунду (или даже меньше) до начала перестроения. См. описание выше — увидел зазор, принял решение, вклинился — получил подж… к — и сам не понял, что произошло.
ИИ будет отлично работать на дороге — но только в том случае, когда он будет «у руля» в каждой машине на дороге.
(вариант бунта машин пока не рассматриваем )
Вы, кстати, сами натолкнулись на менее проигрышный алгоритм. Подъезжая к перекрестку надо целиться не в попу остановившейся машины в своем ряду, а с запасом на место. Последние 10 метров можно и докатиться. Но есть любители оттормаживаться с крейсерской скорости сразу в ноль. Сами себя наказывают.
Автопилот в данном случае видит подлетающий сзади автомобиль идущий на опережение. Как только впереди появляется более маневренный объект, по признаку «есть место для перестроения по диагонали», вероятность, что он пойдет к нам, увеличивается. Смещение его еще в пределах своей полосы детектируется и начинается собственное замедление. Человек в данной ситуации реагирует намного позже.
Автопилот в данном случае видит подлетающий сзади автомобиль идущий на опережение. Как только впереди появляется более маневренный объект, по признаку «есть место для перестроения по диагонали», вероятность, что он пойдет к нам, увеличивается. Смещение его еще в пределах своей полосы детектируется и начинается собственное замедление. Человек в данной ситуации реагирует намного позже.
В Украине так же. Но какой процент водителей в плотном потоке реально соблюдает дистанцию, достаточную для избежания столкновения, когда впередиидущий автомобиль резко остановится?
Кто виноват — дело десятое. Сейчас обсуждается вопрос "что делать?" (робомобилю).
Ребенок тоже должен играть во дворе и не выбегать на трассу. Но он выбежал. И то, что он "сам виноват", мало что меняет.
Но у нас же по условию робомобиль не нарушает ПДД. Т.е. не будет шахматистов-робомобилей. А если и вклинился, то плавно увеличьте дистанцию, делов-то!
Если на дорогах будут исключительно автопилоты, то вы совершенно правы. Можно спокойно тормозить и быть уверенным, что автомобиль позади точно выдерживает дистанцию. Вот только дороги, на которых нет людей-водителей — это (в обозримом будущем, во всяком случае) такая же утопия, как и дороги, на которые никто и ничто никогда внезапно не выскакивает.
Лихачей довольно просто отучить. Достаточно в прошивку автопилотов добавить функцию, «подставляющую» этих гонщиков, чтобы они создавали аварии, когда есть железное зафиксированное в облаке доказательство, что они не правы. Тогда уж подумают, стоит ли высовываться — вдруг перед ним именно такой автопилот.
А если и вклинился, то плавно увеличьте дистанцию, делов-то!
У вас авто из легкой весовой категории (типа Смарта или классического условного «Запорожца»
За вами на такой же скорости идет тяжелый рамный внедорожник.
Вы, возможно — затормозить успеете…
Согласно стандартов при исправной тормозной системе их тормозные пути не должны сильно отличаться, вплоть до грузовика с прицепом.
Согласно стандартов при исправной тормозной системе их тормозные пути не должны сильно отличаться, вплоть до грузовика с прицепом.
Это в идеале.
В реале один мой знакомый, поставивший на свой «джип» какую-ту крутую и модную систему торможения, решил однажды показать нам ее эффективность. В результате эффект таки был достигнут — его машина вписалась в единственный во дворе дома бетонный столб. У человека был 20 летний стаж вождения на тот момент.
Отличная идея. Давайте тогда еще заставим платить штрафы производителей бумаги за каждый случай пореза их бумагой. Должны же обеспечить уровень безопасности.
Это чрезмерное упрощение.
В 50х годах производители автомобилей не занимались всерьез безопасностью своих автомобилей. И только давление общества заставило их реально заняться этой проблемой.
См. «Ральф Нейдер»
Вообще-то читал мнение, что Нейдер зря погубил «Шевроле Корвейра», он не был менее безопасным, чем остальные автомобили своего времени. Просто тот раздул тему и грамотно на ней пропиарился.
Да, в 1966-м, всего через год после выхода в свет книги Нейдера, в США приняли “Национальный акт по безопасности автомобилей и дорожного движения” (National Traffic and Motor Vehicle Safety Act). Этот документ, позволивший государственным органам регламентировать стандарты безопасности автомобилей, многие считают прямой и явной заслугой Нейдера. Однако “Трафик акт”, как бы не утверждали сторонники одиозного адвоката, едва ли как-то сказался на политике автомобильных компаний.
Правда в том, что никто никогда не пытался сделать “Корвэйр” опасным по умолчанию. В самом худшем случае, речь шла об особенностях конструкции бюджетного автомобиля, которую пронырливый клещ от юриспруденции повернул в своих интересах. Еще в 1972 году исследование, проведенное по заказу “Страхового Института Дорожной Безопасности” (IIHS) подтвердило – даже “Корвэйр” первых лет выпуска по безопасности и управляемости не уступает конкурентам-одногодкам. Более того – превосходит большинство из них. На примере же появившихся много позже Ford Pinto и Mercedes-Benz А-класса можно утверждать, что конструктивные недоработки время от времени неизбежны. Несмотря на любые нравоучения и федеральные акты.
www.drive2.ru/b/515551107733259039
Пинто, кстати, тоже почем зря облили грязью, отталкиваясь от единичного прецедента. Кто-то придумал байку, что из-за своего расположения его бак, при заднем столкновении, чуть ли не обязан гореть/взрываться, нашел подобный прецедент — и понеслась. И никому в голову не пришло сравнить статистику возгораний Форд Пинто со статистикой возгораний других массовых авто, с «безопасным» баком.
Однако “Трафик акт”, как бы не утверждали сторонники одиозного адвоката, едва ли как-то сказался на политике автомобильных компаний.
Это обычный черный пиар.
Мне как-то, лет 35...40 назад попался в руки (старый) номер журнала за 1969 год, где было фото нового на тот момент экспериментального американского авто.
Вся статья была посвящена многочисленным новинкам, позволившим кардинально улучшить безопасность автомобиля — начиная от усовершенствованных бамперов какой-то особой конструкции и до крыши автомобиля.
(Думаю, что если хорошо порыться в сети -можно будет найти информацию об этом автомобиле).
Так что меры таки были приняты, и довольно заметные.
Я живу в мире, где у меня в контракте написано, что за любой вред, причинённый пользователю по моей вине, я несу ответственность вплоть до уголовной. Почему производители робомобилей не должны нести никакой ответственности? Тем более перед пешеходами. Ладно водитель — это его осознанный выбор контролировать транспортное средство или довериться автопилоту. Пешеходам никто выбора не оставляет. Их ставят перед фактом: либо согласитесь, что вас могут покалечить и никто за это не ответит, потому что все слишком сложно и никто не виноват, что система сломалась, или сидите дома.
Вы не поняли суть вопроса.
Речь не о том, что система поломалась.
Речь о том, что исправная система попала в такую ситуацию, когда любое действие приведёт к ущербу, и единственное, что можно сделать — выбрать меньшее из двух зол. И весь вопрос в том, по каким критериям нужно оценивать величину зла.
Речь не о том, что система поломалась.
Речь о том, что исправная система попала в такую ситуацию, когда любое действие приведёт к ущербу, и единственное, что можно сделать — выбрать меньшее из двух зол. И весь вопрос в том, по каким критериям нужно оценивать величину зла.
Нет, это вы не поняли о чем я говорю. Проводя такие исследования компании заранее пытаются заключить «договор» с обществом: вот мы вам даем робомобили, но при этом периодически будут страдать люди, кто именно, пожилые, молодые, пассажиры, пешеходы — это уж вы сами решите, а мы заранее снимаем с себя ответственность. При этом «необходимость» того чтоб кто-то пострадал в дтп оправдывается тем, что производители все предусмотреть не могут. Так не пойдет, в отношении робомобиля и его производителя не должно быть презумпции невиновности. Я вот тоже все предусмотреть не могу, мне что же теперь произвести опрос среди пользователей и «договориться» с ними, что если пострадает всего 1% пользователей — это будет норм, но если среди них вдруг окажется «директор», то все, должен отвечать по полной?
Проводя такие исследования компании заранее пытаются
Вы бы хоть немного вникли в тему прежде чем разоблачать истинные мотивы проклятых капиталистов. Исследования проводили независимые исследователи.
Компаниям это все на данном этапе нафиг не сдалось.
мы заранее снимаем с себя ответственность
Ну вы прям правду-матку рубите. Снимать ответственность, которой нет и никогда не было — это сильно. За все, что происходит с автомобилем, отвечает водитель, независимо от того, корректно работает автопилот или нет и есть ли он в машине вообще.
Вы сейчас чушь сказали.
На 100% избежать ДТП невозможно ни в ближайшем будущем, ни, скорее всего, вообще в каком-то обозримом будущем. Но при этом вполне реально добиться в ближайшем будущем на порядок меньшей аварийности по сравнению с живыми водителями.
И что же теперь — не выпускать на дорогу технологию, которая может спасти 90% жизней только по той причине, что остаются 10% аварий, которые всё-таки не удастся избежать?
На 100% избежать ДТП невозможно ни в ближайшем будущем, ни, скорее всего, вообще в каком-то обозримом будущем. Но при этом вполне реально добиться в ближайшем будущем на порядок меньшей аварийности по сравнению с живыми водителями.
И что же теперь — не выпускать на дорогу технологию, которая может спасти 90% жизней только по той причине, что остаются 10% аварий, которые всё-таки не удастся избежать?
И что же теперь — не выпускать на дорогу технологию, которая может спасти 90% жизней
Я где-то такое предлагал? Можно прямую цитату, только без сокращений, а со всеми «или»? Если производители робомобилей настолько уверены в своем продукте, пусть выпускают, приняв на себя всю полноту ответственности за то, что они собираются выпустить на дороги общественного пользования.
Но ведь если какой-то процент ДТП остаётся, то разумно заранее определиться, как должна вести себя машина в такой ситуации, чтобы минимизировать ущерб.
И это разумная предусмотрительность, а вовсе не попытка снять с себя ответственность.
И это разумная предусмотрительность, а вовсе не попытка снять с себя ответственность.
Вопрос звучит: «задавить пешеходов или убить пассажиров об столб?», в любом варианте кто-то погибнет, о какой минимизации ущерба идет речь? Или у производителей робомобилей моральная дилемма выбора между: оттормозиться об соседнюю машину и заплатить за ремонт кузова или все-таки сбить «случайного пешехода»?
Либо тролль, либо НЕВЕРОЯТНО «тугой» человек… Вы понимаете вопрос? Он о гипотетической ситуации когда АБСОЛЮТНО исправный робомобиль не может избежать наезда с летальным исходом, не по своей вине (не очень умный пешеход прыгнул практически под колёса, например) и предлагается выбрать что делать, вернее кого угробить: пассажиров, этого самого не умного пешехода или в обще кого-то третьего. КАКОЕ ТУТ СНЯТИЕ ОТВЕТСВЕННОСТИ?
АБСОЛЮТНО исправный робомобиль
Абсолютно исправный робомобиль не должен попадать в ситуацию, когда у него появляется такой выбор. Это для человека допустимо не увидеть лося на обочине. А робомобиль ДОЛЖЕН это увидеть, запомнить и обработать. Иначе мы будем постоянно получать вот такие аварии, в которых «ни кто не виноват», потому что общество «решило» маральную проблему выбора "кого давить".
Если он не способен необходимую информацию получить на скорости 100 пусть ездит на скорости 20, до тех пор пока инженеры не решат проблему.
Может ли под колеса робомобиля из едущего впереди автобуса или автомобиля вывалиться пассажир? Робомобиль АБСОЛЮТНО исправен. Можно раздавить беднягу. Можно уйти влево и убрать мотоциклиста. Можно убраться в столб справа. Можно успеть уйти еще правее столба на тротуаре и уйти в витрину кафе.
Может. Но авто должно успеть оттормозиться либо безопасно перестроиться, иначе кто-то нарушил ПДД и должен понести наказание. П. 9.10 ПДД:
«Водитель должен соблюдать такую дистанцию до движущегося впереди транспортного средства, которая позволила бы избежать столкновения...»
Еще раз:
предположим, что у робомобиля выбор сбить Вас или Вашего ребенка. Вы о появлении такого выбора знаете заранее. Кого будете сбивать?
«Водитель должен соблюдать такую дистанцию до движущегося впереди транспортного средства, которая позволила бы избежать столкновения...»
Еще раз:
предположим, что у робомобиля выбор сбить Вас или Вашего ребенка. Вы о появлении такого выбора знаете заранее. Кого будете сбивать?
Правильный ответ
Отберу ключи у того больного урода, который задал мне этот вопрос.
Ну или в свете происхождения оригинальной задачи: приму все меры, чтобы компаний оплативших исследование разорились до того, как их авто начнут убивать.
Ну или в свете происхождения оригинальной задачи: приму все меры, чтобы компаний оплативших исследование разорились до того, как их авто начнут убивать.
ПДД относится к дистанции до впереди идущего транспорта, вывалиться же может и из едущего параллельно.
Ok! Вас так просто не проведешь.
Приведу другую цитату из ПДД:
«Водитель должен соблюдать… необходимый боковой интервал, обеспечивающий безопасность движения.»
Ну и чисто поржать: это тот же самый пункт правил, просто многоточие поставлено в другом месте. Что как бы говорит о том, что Вы ПДД либо не знаете (ну я его тоже на изусть не знаю, но хотя бы концептуально), либо сознательно идете на провокацию.
Приведу другую цитату из ПДД:
«Водитель должен соблюдать… необходимый боковой интервал, обеспечивающий безопасность движения.»
Ну и чисто поржать: это тот же самый пункт правил, просто многоточие поставлено в другом месте. Что как бы говорит о том, что Вы ПДД либо не знаете (ну я его тоже на изусть не знаю, но хотя бы концептуально), либо сознательно идете на провокацию.
Водитель должен соблюдать… необходимый боковой интервал, обеспечивающий безопасность движенияПо вашей оценке, на скорости 60 км/ч в городе на трёхполосной дороге в среднем ряду, этот интервал составляет сколько метров?
1 — 2 метра для легковых авто, при стандартной ширине полосы в 3 метра и движении по её (полосы) центру.
То есть, если у едущего спереди справа в метре от вашей машины тарантаса отвалится колесо, и он начнёт резко заваливаться в ваш ряд, вы думаете, сможете избежать ДТП? (при условии, что сзади и слева в 2 метрах от вас есть ещё другие машины).
А на какой скорости?
Вы можете придумать любую ситуацию в которойДТП столкновение неизбежно, но это не значит, что я сменю своё мнение о необходимости соблюдать ПДД.
И к Вашему сведению, я не дам водителю едущему за мной висеть от меня в 2ух метрах позади на скорости в 60 км/ч, как и не буду лезть в такую «коробку», которую вы описали.
Вы можете придумать любую ситуацию в которой
И к Вашему сведению, я не дам водителю едущему за мной висеть от меня в 2ух метрах позади на скорости в 60 км/ч, как и не буду лезть в такую «коробку», которую вы описали.
Робомобиль едет 55км/ч по крайней правой. Тротуар свободен, пустой, только столбы освещения. Через 2 метра дома с витринами на первом этаже. Слева его опережает автобус на 60 км/ч. Нарушений нет. Автобус опережает на корпус, за автобусом едет мотоциклист. Мотоциклист ровняется с робомобилем, автобус ровняется со столбом, из открывшейся/отвалившейся двери вываливается человек. Выбор: мотоциклист (1), человек (1), столб (водитель и/или пассажиры), витрина (неизвестное количество людей за ней).
Вангую, сейчас вам скажут, что если возникла такая ситуация, то робомобиль боковой интервал не соблюдал. Он должен был либо исказить пронстранственно-временной континуум, расширив 3,5-метровую полосу до 20 метров, либо узнать будущее, предсказать выпадение человека из автобуса и снизить скорость заранее. "А иначе зачем такой робомобиль нужен?" (с)
А с каким ускорением тормозит труп (60км/ч об асфальт — точно труп) выпавший из автобуса? Думаю эффективно, но не мгновенно. С учетом времени, за которое он преодалеет боковой интервал, бокового интервала с другой стороны(запас на маневрирование) и тормозного пути самого трупа у робота есть все шансы даже на обычной дороге.
И опять же: не уверен — не берись. Если для реализации робомобилей нехватает ширины дорог, то нужно увеличивать ширину дорог, а не думать каких именно людей убивать.
Тормоз дави, тормоз!
Примерно 1,5 с каждой стороны. Сейчас. Для робота возможно нужно больше, но не факт.
У Вас труп исказил ПВК — он у Вас со скоростью >100 км/ч (в поперечной проекции) выпал и затормозил с ускорением в сотню g!
И опять же: не уверен — не берись. Если для реализации робомобилей нехватает ширины дорог, то нужно увеличивать ширину дорог, а не думать каких именно людей убивать.
Выбор:
Тормоз дави, тормоз!
сколько метров?
Примерно 1,5 с каждой стороны. Сейчас. Для робота возможно нужно больше, но не факт.
асширив 3,5-метровую полосу до 20 метров
У Вас труп исказил ПВК — он у Вас со скоростью >100 км/ч (в поперечной проекции) выпал и затормозил с ускорением в сотню g!
У Вас труп исказил ПВК — он у Вас со скоростью >100 км/ч (в поперечной проекции) выпал и затормозил с ускорением в сотню g!
Вот мы и приходим к нынешнему состоянию роботовождения. Если программа считает что-то невозможным (т.е. не запрограммированным как возможная ситуация), то она классифицирует это как шум и игнорирует (влетаем не тормозя под фуры, сбиваем внезапных невозможных пешеходов).
Здесь другая дилемма возникает, не этическая, а техническая. Как реагировать на «невозможный» объект? Если игнорировать, можно сбить что-то или кого-то реального. Если шарахаться от каждой помехи, то «поехали на поле трактора попугаем» (с) тачки.
Если для реализации робомобилей нехватает ширины дорог, то нужно увеличивать ширину дорог, а не думать каких именно людей убивать.То есть, если сейчас водители ездят так, что гарантированно не могут избежать аварий в определённых ситуациях, это всех устраивает. Но с робомобилями придётся переделать ПДД и дороги.
Может, и не нужны эти робомобили? Протянуть везде монорельсы непересекающиеся, и пустить по ним транспорт, гарантированно без ДТП.
на любую монорельсу можно залезть. так что — не гарантированно )
Может, и не нужны эти робомобили?
Если им будет разрешено убивать — точно не нужны.
это всех устраивает.
Да. Дело в том, что это саморегулирующаяся система. Человек сам выбирает скорость, в безопасности которой он уверен. Слишком самоуверенных лишают прав или даже отправляют в «места не столь отдаленные» (пусть даже иногда ценой чужой жизни).
Так или иначе на дороге количество идиотов считающих что пешеходов можно давить стремится к 0 (но как обычно никогда не достигает).
В случае же ИИ на дорогах может появиться 100500 идиотов готовых давить. При этом у их родителей (разработчиков) не будет заинтересованности (кроме моральной) не давить, но будет заинтересованность завышать коэфициенты безопасности (та же тема, что и с контрастностью телевизоров) и допустимые скорости.
«не вижу — не еду».
+1
тормози и разбирайся, объезжай.
Или спроси у того, кто лучше тебя понимает (у пассажира с перекладыванием на него ответственности).
то она классифицирует это как шум и игнорирует
Так значит косяк в логике. Она должна классифицировать как непреодолимое препятствие и тормозить.
«невозможный» объект
«торможение, вплоть до полной остановки»
То есть, если у едущего спереди справа в метре от вашей машины тарантаса отвалится колесо, и он начнёт резко заваливаться в ваш ряд, вы думаете, сможете избежать ДТП?
Я — нет. Робот вполне. Но это примерно из той же оперы, если колесо отвалится не впереди-слева, а просто слева и неисправное авто влетит Вам в борт. Здесь очевидна вина эксплуатанта тарантаса. Это не значит, что не нужно попытаться увернуться, но значит что не нужно пытаться разменять одну жизнь на другую. Тупо тормозим.
Так или иначе на дороге количество идиотов считающих что пешеходов можно давить стремится к 0 (но как обычно никогда не достигает).Может, тогда покажете идиотам, где в ПДД запрещается давить пешеходов?
Пересмотрите условия экспериментов: у робомобиля отказывают тормоза и человеку предоставляется выбор, кого давить/убить, т.к. машина не может остановиться.
Включать световую и звуковую сигнализацию (сигналить и моргать) и ехать по наиболее предсказуемой траектории (в общем случае прямо), чтобы у людей появился шанс увернуться. Либо по траектории исключающей жертвы (но такая не доступна?).
За сбитых людей ответит эксплуатант (владелец) либо производитель (в зависимости от того, чья вина в отказавших тормозах).
За сбитых людей ответит эксплуатант (владелец) либо производитель (в зависимости от того, чья вина в отказавших тормозах).
Почему производители робомобилей не должны нести никакой ответственности?
Примерно по той же причине, по которой врачи не несут ответственности за врачебные ошибки. Даже если из-за них умирает пациент.
Инженер и компания-производитель не ставили себе целью создать убийцу на колесах. А если ставили, то наказание они понесут, точно так же, как и врач, намеренно действующий во вред пациенту.
Примерно по той же причине, по которой врачи не несут ответственности за врачебные ошибки.
За доказанные врачебные ошибки врач несет ответственность вплоть до уголовной. Например, если у пациента аллергия на препарат и запись об этом есть в медкарте, а врач по халатности не проверил и ввел ему этот препарат, врач будет отвечать. Проблема как раз в том что доказать ошибку сложно. Тоже будет и с робомобилями — производители будут всячески упирать на то, что в данной ситуации по другому поступить было невозможно, при этом максимально затрудняя доступ к логам робомобиля. Достаточно посмотреть как повели себя Uber.
Инженер и компания-производитель не ставили себе целью создать убийцу на колесах.
А сделали ли они все возможное чтоб предотвратить ДТП? Или по результатам их исследований полученная статистика смертности укладывается в приемлемый для покупателей/общества диапазон и дальше можно не тратить средства на повышение безопасности?
именно по этому, страховки — основная статья расходов вышеозначенных врачей… ;)
за любой вред, причинённый пользователю по моей вине, я несу ответственность вплоть до уголовнойЭто уже совсем другой разговор. Если робомобиль едет, соблюдая все правила (включая соблюдение дистанции и скоростного режима), но тем не менее сбивает пешехода даже после экстренного торможения, очевидно, что виноват сам пешеход, а не разработчики.
А в чем тогда здесь моральная дилемма? Т.е. имеем исправный автомобиль, двигающийся с соблюдением ПДД и выполняющий все возможные действия для спасения пешехода. Это означает:
— автомобиль в состоянии себя продиагностировать и прекратить или не начинать движение в случае сомнений в исправности (если робомобиль этого не может, то о каком выборе в сложной ситуации вообще может идти речь, если он даже свое состояние не может адекватно оценить?);
— автомобиль двигается в таком скоростном режиме, что экстренное торможение в текущих условиях не должно причинить пассажирам серьезный вред (если робомобиль выбирает скоростной режим, опасный для пассажиров, то зачем такой робомобиль нужен?);
— автомобиль двигается в таком скоростном режиме, что в случае появления препятствия на границе чувствительности сенсоров будет в состоянии прекратить движение не столкнувшись с препятствием либо обогнуть препятствие (если робомобиль не в состоянии обнаружить препятствие заблаговременно или не в состоянии выбрать скоростной режим для текущих погодных условий, то зачем такой робомобиль нужен?).
Моральная дилемма, для решения которой нужно привлекать общественность, может возникнуть только в случае, если производители не в состоянии обеспечить хотя бы одно из этих условий.
— автомобиль в состоянии себя продиагностировать и прекратить или не начинать движение в случае сомнений в исправности (если робомобиль этого не может, то о каком выборе в сложной ситуации вообще может идти речь, если он даже свое состояние не может адекватно оценить?);
— автомобиль двигается в таком скоростном режиме, что экстренное торможение в текущих условиях не должно причинить пассажирам серьезный вред (если робомобиль выбирает скоростной режим, опасный для пассажиров, то зачем такой робомобиль нужен?);
— автомобиль двигается в таком скоростном режиме, что в случае появления препятствия на границе чувствительности сенсоров будет в состоянии прекратить движение не столкнувшись с препятствием либо обогнуть препятствие (если робомобиль не в состоянии обнаружить препятствие заблаговременно или не в состоянии выбрать скоростной режим для текущих погодных условий, то зачем такой робомобиль нужен?).
Моральная дилемма, для решения которой нужно привлекать общественность, может возникнуть только в случае, если производители не в состоянии обеспечить хотя бы одно из этих условий.
Чем больше вас читаю, тем больше складывается впечатление, что вам важнее наличие возможности быстро найти (или назначить) виноватого, чем более безопасное движение на дороге.
Водитель-человек не в состоянии обеспечить ни одно из ваших условий. "Зачем такой водитель нужен?" (с)
Что дальше? Будем за аварии штрафовать автошколы, в которых водитель учился? Может родителей оштрафовать, которые такого водителя зачали? Врачей, которые вовремя не убедили сделать аборт? Или запретим автомобили в принципе?
Чем больше вас читаю, тем больше складывается впечатление, что вам важнее наличие возможности быстро найти (или назначить) виноватого, чем более безопасное движение на дороге.
Это вам показалось. Цель подобных исследований показать, что есть некий приемлемый выбор в ситуации "вагонетки", определяемый общественным консенсусом. Я же пытаюсь донести, что нет приемлемого выбора в этой ситуации. Мне бы хотелось знать, что разработчик робомобиля узнав о ДТП с трагическим исходом первым делом подумал не: "По исследованиям А, В, С наш ИИ действовал наиболее гуманно с точки зрения общества, значит мы все сделали правильно.", а: "Наш продукт попал в ДТП с жертвами. Это неправильно. Как нам не допустить такого в будущем?".
А штрафы и презумпция виновности — это способ надавить на корпорации, которые оперируют отнюдь не категориями морали.
Цель подобных исследований показать, что есть некий приемлемый выбор в ситуации "вагонетки", определяемый общественным консенсусом.
Это вам тоже показалось. Никто такой цели не ставил.
Я же пытаюсь донести, что нет приемлемого выбора в этой ситуации
Но выбор все равно делать нужно. Невозможно полностью избежать подобных ситуаций.
первым делом подумал не:… а: ...
Разработчик в любом случае подумает и о первом и о втором. Потому что ДТП с жертвами — это в любом случае репутационные потери. А от того, насколько общественно приемлемое действие предпринял автопилот, зависит объем этих потерь.
Если вас так волнует тот факт, что разработчик задумается об этом не из чистых высоко-моральных побуждений, а по причине банальных и бездуховных потерь денег и репутации — тогда да, вы правы. Стоит запретить робомобили, да и вообще весь бизнес как явление. На всякий случай, там ведь очень часто всем движет отнюдь не мораль.
А штрафы и презумпция виновности — это способ надавить на корпорации
Нет. В вашей радикальной формулировке — это способ уничтожить индустрию.
Ваши сообщения сводятся к тому, что робомобили должны либо быть идеальными, либо их не должно быть вообще. При том, что к людям-водителям таких-же требований вы не предъявляете по какой-то причине. Хотя я, кажется, знаю, по какой. В случае с людьми виноватого можно определить, а значит все, якобы, будут чувствовать ответственность, садясь за руль. И плевать, что уровень аварийности может быть выше, чем у автопилотов. Там ведь виноватых нет, а значит ответственности никто не чувствует. А это очень плохо.
Наш продукт попал в ДТП с жертвами. Это неправильно. Как нам не допустить такого в будущем?Проблема в том, что корпорация-разработчик — большая. Какой-нибудь менеджер может иметь такие убеждения. Но, с другой стороны, он будет давить на своих подчинённых разработчиков «давай быстрее фигачь фичи» (в этом его работа менеджера) и кто-то из рядовых разработчиков просто не успеет всё проверить, когда будет в большой запарке и упустит какой-нибудь баг. И каждый из этой истории будет уверен, что действовал с лучшими побуждениями и приложил все возможные усилия.
Кстати, общества разные и при пересечении границ автомобиль будет менять «поведение»
С другой стороны, зачем нужен робомобиль, который ездит не быстрее 20 км/ч? Уже давно существует (и периодически обновляется) компромисс между скоростью и безопасностью, и это правила дорожного движения. Никаких вопросов «давить ли одного академика или пятерых гопников» в них не задается, все ограничения точны насколько это возможно, и потому могут быть реализованы программно. Кстати, что-то про «обязан убедиться в исправности ТС» там вроде было.
В общем, производитель должен нести ответственность только за нарушение ПДД его робомобилем. А если робомобиль, не нарушая правил, применив все меры к снижению скорости, кого-то всё-таки сбил, и компания сможет это доказать — значит, что виноват сам сбитый, как его ни жалко.
В общем, производитель должен нести ответственность только за нарушение ПДД его робомобилем. А если робомобиль, не нарушая правил, применив все меры к снижению скорости, кого-то всё-таки сбил, и компания сможет это доказать — значит, что виноват сам сбитый, как его ни жалко.
Т.е. вы не предполагаете вины третьих лиц или форс-мажорных обстоятельств?
В тех же самых задачках как минимум присутствует светофор, который может всем участникам движения показывать зелёный.
В тех же самых задачках как минимум присутствует светофор, который может всем участникам движения показывать зелёный.
Нет, их ставят перед фактом: «либо соблюдайте ПДД, либо согласитесь, что вас могут покалечить». Потому что исправный робомобиль должен фиксировать сигналы светофора, знаки, зебры, и ситуации с неожиданной необходимостью тормозить возникают лишь при условии нарушения правил другими участниками движения. Робомобиль ведь не захочет просто так неожиданно перестроиться через двойную сплошную, проскочить на мигающий красный, или обогнать караван фур, не видя что там впереди. Поэтому и ситуации «кого давить будем?» возможны лишь как следствие форс-мажорных обстоятельств, порожденных третьей стороной.
Или вы считаете, что за смерть придурка, внезапно выбежавшего на дорогу, должен отвечать разработчик робомобиля/водитель/кто-то еще?
Или вы считаете, что за смерть придурка, внезапно выбежавшего на дорогу, должен отвечать разработчик робомобиля/водитель/кто-то еще?
Не можете обеспечить такой уровень безопасности, который позволит исключить тяжелые травмы и смерть кого-то из участников — не занимайтесь разработкой, или платите штрафы в каждом случае.
Окей. Добустим, в государстве N гибнут в автокатастрофах 100 тысяч жителей в год. Внедрили робомобили, заменили на 50% обычных водителей. Стало гибнуть 50 тысяч в год, в том числе с участием робомобилей, например, 20 тысяч.
А теперь вопрос. Робомобили спасают 50 тысяч в год, или же убивают 20? Производителям памятник поставить или привлечь к ответственности? Или запретить и пусть гибнет 100 тысяч вместо 50?
Присоединяюсь к предыдущему комменту, главное — соблюдать ПДД. «умирай в своей полосе»
Вспомнилась история о цепочной аварии под Клином с комментариями типа «Ну да, при задымлении и в условиях ограниченной видимости машины двигались со скоростью 90 км/ч и водители не успевали среагировать на препятствия, но виновато все равно ГАИ, поскольку не было знака „Опасный участок“. Я, как автомобилист, конечно же, ГАИ не люблю, но должны же быть границы этой нелюбви.
Вспомнилась история о цепочной аварии под Клином с комментариями типа «Ну да, при задымлении и в условиях ограниченной видимости машины двигались со скоростью 90 км/ч и водители не успевали среагировать на препятствия, но виновато все равно ГАИ, поскольку не было знака „Опасный участок“. Я, как автомобилист, конечно же, ГАИ не люблю, но должны же быть границы этой нелюбви.
Т.е. подразумевается, что у робомобиля будет настолько мало сведений об окружающей обстановке, что возможно внезапное появление объекта столкновения?
Почему робомобиль должен двигаться со скоростями допускающими столкновения в условиях «ограниченной видимости»?
Почему робомобиль должен двигаться со скоростями допускающими столкновения в условиях «ограниченной видимости»?
Потому безопасность по сути антипод удобству. Как часто вы едете на скорости 20 км/ч на трёх полосной дороге где по обочине дороги стоят заборы до метра высотой и деревьями за этими заборами? Лично я, если всё спокойно, крайне редко в обычной ситуации. Но вот в моём городе из-за таких деревьев через забор лихо перепрыгивают бабки потому что им лень в подземный спуститься. Значит ли это, что у робомобиля мало сведений и это условия ограниченной видимости?
Все верно, следовательно вопрос «морали» робомобилей, сводится к определению верховенства приоритета «удобства» пассажира и приоритета «общей безопасности». А это уже из разряда социальных договоров и ни какого отношения к какой либо морали не имеет. Или робомобиль едет со скоростью позволяющей на основании всех данных остановиться без столкновения, либо мы допускаем/«договариваемся», что робомобиль едет по «правилам» на основании которых при разрешенной скорости 60км/ч на расстоянии 5м по курсу движения из-за мусорного бака может выскочить старушка за руку с ребенком у которого в переноске кошка.
робомобиль едет по «правилам» на основании которых при разрешенной скорости 60км/ч на расстоянии 5м по курсу движения из-за мусорного бака может выскочить старушка за руку с ребенком у которого в переноске кошка
*фейспалм* Если есть объект закрывающий обзор, то соблюдение ПДД, означает сброс скорости при приближении к этому объекту.
А наличие мусорного бака, означает, что вы едете по дворам между жилых домов, а туда не относится разрешённая скорость в 60км/ч.
Вместо мусорного бака может оказаться и куст из-за которого на дорогу вылезет лось, и ваше «едем дальше не сбрасывая скорости, давим быдло, и едем дальше» — может стоит жизни водителю.
Я про и это говорю, что текущие ПДД не запрещают такое движение.
Да без разницы «мусорный бак»-«рекламный щит»-«другой автомобиль», ты все равно не видишь, что за ними, а за ними может быть все что угодно, но рекомендованная скорость движения равна скорости потока.
Робомобили с согласованными траекториями и сфетофорами идущими со скоростями 30км/ч в городе — значительно увеличат пропускную способность дорог, чем идиоты доезжающие до следующего светофора с превышением скорости на 20 км/ч и тратящим время на разгон-торможение.
И робомобили будут значительно безопаснее.
Да без разницы «мусорный бак»-«рекламный щит»-«другой автомобиль», ты все равно не видишь, что за ними, а за ними может быть все что угодно, но рекомендованная скорость движения равна скорости потока.
сброс скорости при приближении к этому объектуда ладно? и многие сейчас так делают? я вижу 90% идиотов которые ездят как хотят, а здравый смысл подсказывает считать каждого водителя «обезьяной с гранатой» заочно. Почему при движении по городу со скоростью 60 км/ч я стараюсь держать дистанцию от впереди идущего 4-7 метра (и то мое ИМХО этого не достаточно в случае экстренной ситуации) и всегда какое то говно на своем ржавом ведре влезет в этот проем?
Робомобили с согласованными траекториями и сфетофорами идущими со скоростями 30км/ч в городе — значительно увеличат пропускную способность дорог, чем идиоты доезжающие до следующего светофора с превышением скорости на 20 км/ч и тратящим время на разгон-торможение.
И робомобили будут значительно безопаснее.
Правила предписывают сбрасывать скорость, если имеется объект закрывающий обзор.
Видел видео, где после зелёного сигнала светофора, водитель резво рванувшийся вперёд всех, из-за закрывшего ему обзор автобуса — не увидел, лихача едущего на перерез автобусу и словил его в бок. :(
здравый смысл подсказывает считать каждого водителя «обезьяной с гранатой» заочно
Видел видео, где после зелёного сигнала светофора, водитель резво рванувшийся вперёд всех, из-за закрывшего ему обзор автобуса — не увидел, лихача едущего на перерез автобусу и словил его в бок. :(
Вы явно контракте про 4-7 метров. При длине лпгкового авто от 4х метров, вы явно создаёте опасную ситуацию на скорости в 60 км/ч. А перестроение в габарит меньший размера авто это что-то из разряда идиотизма. В 7 метров можно ещё втиснуть авто, но и в этом случае остаётся чуть больше метра спереди и сзади. Не верю!
Из моей практики на скорости в 60 км/с дистанции 7-15 меня метров и более.
Из моей практики на скорости в 60 км/с дистанции 7-15 меня метров и более.
А наличие мусорного бака, означает, что вы едете по дворам между жилых домов, а туда не относится разрешённая скорость в 60км/ч.
У нас в городе мусорные баки уже давно ставят не во дворах, где сложно проехать и развернуться мусоровозу — а возле проезжей части (как в штатах )
И да, жителям теперь приходиться топать с мусорными пакетами довольно далеко.
Наиболее ленивые берут мусор в машину и выбрасывают по дороге на работу.
(а освободившееся во дворах место — теперь занимают припаркованные автомобили...)
Реальность всё равно непредсказуемее любых предположений.
Знакомый знакомого ехал на Волге Газ-24 по сильно разбитой улице, со скоростью около 10 км/ч (быстрее просто что-то оторвалось бы). На обочине были посажены кусты. И из кустов когда он их уже почти проехал выкатились двое дерущихся мальчишек. Одному из них ЗАДНЕЕ колесо Волги переехало ногу. И водителя сделали виновным, заставили платить за лечение. По-Вашему, это справедливо?
По сути есть 2 подхода:
1) Лояльничать и тормозить перед каждым потенциально опасным местом. Всё ради безопасности людей.
2) Ехать напролом как поезд, нарушителей сознательно давить, попытку силовой остановки робота воспринимать как нападение с попыткой ограбления и расстреливать останавливающих, нигде кроме предусмотренных в ПДД ситуаций не тормозить, кто нарушил и попал под колёса — сам виноват.
Первый подход сразу снизит число жертв, но потом люди потеряют страх и будут смело перебегать через трассу, зная, что вся трасса оттормозится.
Второй подход будет очень кровавый поначалу. Будет много криков и протестов. Но в итоге люди поймут, что ПДД — не пустое слово, а идиоты погибнут чётко по Дарвину, и ДТП станет очень мало, чем дальше, тем меньше. Ведь работает же это на железной дороге!
Может быть, нужно искать какой-то компромиссный вариант, не слишком отклоняясь ни в одну из крайностей.
Знакомый знакомого ехал на Волге Газ-24 по сильно разбитой улице, со скоростью около 10 км/ч (быстрее просто что-то оторвалось бы). На обочине были посажены кусты. И из кустов когда он их уже почти проехал выкатились двое дерущихся мальчишек. Одному из них ЗАДНЕЕ колесо Волги переехало ногу. И водителя сделали виновным, заставили платить за лечение. По-Вашему, это справедливо?
По сути есть 2 подхода:
1) Лояльничать и тормозить перед каждым потенциально опасным местом. Всё ради безопасности людей.
2) Ехать напролом как поезд, нарушителей сознательно давить, попытку силовой остановки робота воспринимать как нападение с попыткой ограбления и расстреливать останавливающих, нигде кроме предусмотренных в ПДД ситуаций не тормозить, кто нарушил и попал под колёса — сам виноват.
Первый подход сразу снизит число жертв, но потом люди потеряют страх и будут смело перебегать через трассу, зная, что вся трасса оттормозится.
Второй подход будет очень кровавый поначалу. Будет много криков и протестов. Но в итоге люди поймут, что ПДД — не пустое слово, а идиоты погибнут чётко по Дарвину, и ДТП станет очень мало, чем дальше, тем меньше. Ведь работает же это на железной дороге!
Может быть, нужно искать какой-то компромиссный вариант, не слишком отклоняясь ни в одну из крайностей.
Ехать напролом как поезд, нарушителей сознательно давить,
в итоге люди поймут, что ПДД — не пустое слово, а идиоты погибнут чётко по Дарвину, и ДТП станет очень мало
От всей души желаю тебе напролом, как ты и мечтаешь, въехать на полной скорости в ЭТО
и получить заслуженную Премию Дарвина!
работает же это на железной дороге!
И что будет поезду, если на пути окажется лось или даже грузовик?
Абсолютно ничего!
А при въезде автомобиля в подобное препятствие — и водитель и пассажиры отправятся в реанимацию. И я бы не хотел, чтобы автопилот проектировали чудаки всегда едущие напролом не снижая скорости. Потому что не желаю из-за таких чудаков получения ачивки «пытался сбить лося».
Вы удивитесь узнав сколько несчастных случаев на ж/д из-за халатности пешеходов.
Машины тем и хороши, что они не обладают моралью (и даст б-г, никогда не будут, а если и будут, то своей собственной), ибо это позволяет им принимать нейтральные, объективные решения, не отягощенные грузом эмоций и морали, которая, ко всему, весьма однобока и не справедлива.
Допустим, морально не сбить старую женщину в ущерб молодому пассажиру — окей. Но что, если старая женщина — крайне нехороший по жизни человек, и особой ценности не представляла даже в молодости, а молодой пассажир — подающий надежды студент физмата? И наоборот, старая женщина может быть известной актрисой или ученым, а молодой человек — гопником, который только вчера отжал очередную мобилу. Ни одна мораль этого не учитывает. А холодный «разум» потенциального ИИ, сухие алгоритмы — могут. И это было бы гораздо справедливее.
Допустим, морально не сбить старую женщину в ущерб молодому пассажиру — окей. Но что, если старая женщина — крайне нехороший по жизни человек, и особой ценности не представляла даже в молодости, а молодой пассажир — подающий надежды студент физмата? И наоборот, старая женщина может быть известной актрисой или ученым, а молодой человек — гопником, который только вчера отжал очередную мобилу. Ни одна мораль этого не учитывает. А холодный «разум» потенциального ИИ, сухие алгоритмы — могут. И это было бы гораздо справедливее.
Для этого придется провести такую противоречащую любой морали процедуру, как количественную оценку стоимости той или иной человеческой жизни. Задачу кого давить — гопника или академика можно решить и без такой оценки, но в случае жизни N гопников против жизни академика без строго определенной «цены» каждой жертвы уже решения не найти.
Я лично не понимаю предмета спора вообще.
Какими бы словами там не кидались про слабый или сильный ИИ, беспилотный автомобиль не более чем классическая (пусть и значительно усложненная) система автоматического управления. По большому счету, речь идет о решении задачи оптимального управления, которая сводится к поиску управления, дающего минимум заданного критерия.
Таким образом, говорить о морали машины тоже самое что говорить о морали операции суммы или типа того. "Вот эта сумма просто аморальна!".
Конечно условно можно считать, что мораль задается через этот самый критерий. Например для посадки самолета я бы брал штрафные очки у критерия примерно так:
выезд за ВПП — 10
вероятность повреждения ЛА — 100
вероятность травмы пассажира — 1000
вероятность смерти пассажира/пассажиров — 10 000
въезд в терминал — 100 000
Соответственно, алгоритм никаких там моральных задач решать не будет, все что он сделает — попытается набить минимум "очков".
Но есть большое НО — сложность критерия значительно влияет на возможность эту траекторию просчитать. Иными словами, критерий из серии "если там стоит человек, но он без трости, но ему на вид 50 лет" — да машина с места с такими критериями не сдвинется, пока все просчитает. Результатом будет являеться что-то типа поля запрещенных областей — по аналогии с аэропортом, места, при въезде в которые будут начисляться штрафные баллы.
Хотел бы я посмотреть на то, как начисляются разные штрафные баллы в соответствии с возрастом, полом, расой или родом деятельности человека, в современном мире толерантности.
Так что, на мой взгляд, калькулятор на колесах не может быть моральным либо аморальным, а всегда будет до последнего поступать совершенным с точки зрения математики образом.
P.S. Это если научатся решать уравнение Беллмана или иной строгий способ решения задачи. Пока же машина действует статистически оптимально, но за три сигмы вылететь есть шанс у всех.
В данной ситуации «моралью» называют то самое правило подсчёта штрафных очков. И если это правило сделать более-менее простым, то потом регулярно будут скандалы «как же так, ИИ задавил человека, когда мог подвергнуть маленькому риску пять других человек, и его прогнозирующая система была в курсе этого». Или «ну это же явно ребёнок на дороге был, ИИ знал об этом, он должен был выбрать другой вариант ДТП, потому что ребёнок более хрупкий.».
Уравнение Беллмана тоже можно решать статистически в условиях, когда есть ненаблюдаемые переменные (будущее поведение других участников движения, например).
Уравнение Беллмана тоже можно решать статистически в условиях, когда есть ненаблюдаемые переменные (будущее поведение других участников движения, например).
Что-то мне подсказывает, что те робомобили, у которых в инструкции есть надпись в духе «наматывает на столб водителя вместо столкновения с перебегающим дорогу ребенком» будут не очень хорошо продаваться.
Сторонники убийства пешеходов постоянно забывают про принятые ограничения скоростей и надежность авто. Как будто сейчас середина 20 века и в машинах даже ремни безопасности не предусмотрены.
Если вы скажете, что в условиях задачи сказано или смерть пешехода или пассажира, то отвечу, что условия задачи взяты «с потолка».
Если вы скажете, что в условиях задачи сказано или смерть пешехода или пассажира, то отвечу, что условия задачи взяты «с потолка».
Почему же? В принципе желающим ничто не мешает "прицельно" выпрыгивать под колеса даже с соблюдением ПДД со стороны автомобиля, а большинство современных автомобилей не очень хорошо держат столкновение со встречной фурой, например. Ситуация конечно не на каждый день, но никто не застрахован.
Можно развить тему ещё дальше. Какой автомобиль выберет человек, тот, который спасет жизнь внезапному пешеходу, но сам будет не подлежать восстановлению (крутим бочку в кювет), или тот, который собьет человека, но ремонт обойдется недорого (тормозим по прямой)?
В подобных ситуациях для большей объективности я стараюсь представлять себя не только внутри авто, но и с другой стороны — на месте пешехода. И что-то мне не нравится идея с самоуправляемым авто, которое при наличии логики предпочтет мою жизнь помятому кузову.
Для объективности нужно представить ещё и ситуацию, когда наместе пешехода оказался — лось!
Вот только голосовать рублем за тот или иной подход будут не пешеходы, а водители. При наличии возможности выбора, конечно. Пока что наши ПДД предписывают тормозить не меняя направления движения, но было бы логично сделать допущения для робомобилей, если они смогут предсказывать последствия внезапных маневров (что человеку как правило не под силу).
Нужно не забывать про проблему грабителей. Живой водитель, если увидит, что наперерез его грузовику выскочил непонятный человек, а рядом стоит авто и около него группа людей в масках и с оружием, вероятно, притопит и поедет напролом. Или притормозит, но сразу снова наберёт ход и уедет.
Или если его начнёт подрезать машина с «братками», он тоже, вероятно, не остановится, а столкнёт их в кювет, спасая свою жизнь. В девяностые такое бывало у дальнобоев, сейчас это редкость.
А грузовики-роботы, получается, совсем беззащитны. И такие дерзкие ограбления снова расцветут. Выскакиваешь перед роботом-грузовиком, он останавливается. Заблокировали его машинами, прорезали на всякий случай покрышки, и по-быстрому вскрыли фуру и перекидали всё ценное в другой грузовик.
Как с этим планируется бороться?
Или если его начнёт подрезать машина с «братками», он тоже, вероятно, не остановится, а столкнёт их в кювет, спасая свою жизнь. В девяностые такое бывало у дальнобоев, сейчас это редкость.
А грузовики-роботы, получается, совсем беззащитны. И такие дерзкие ограбления снова расцветут. Выскакиваешь перед роботом-грузовиком, он останавливается. Заблокировали его машинами, прорезали на всякий случай покрышки, и по-быстрому вскрыли фуру и перекидали всё ценное в другой грузовик.
Как с этим планируется бороться?
дронами. уже при текущей грузоподьемности, у них вполне достаточно огневой мощности для подавления не бронированной техники.
или, как вариант — недоставкой грузов в такие районы. как прямо сейчас амазон делает ;)
или, как вариант — недоставкой грузов в такие районы. как прямо сейчас амазон делает ;)
А грузовики-роботы, получается, совсем беззащитны. Как с этим планируется бороться?
Традиционно — с помощью охраны в кабине.
(классический киносюжет — ограбление поезда. См. )
«умирай в своей полосе»
Не совсем так, есть одно маленькое исключение. Любое развитие событий лучше встречного лобового столкновения. Да хоть в кювет вылететь. Если конечно при этом никого давить не надо будет. И то не понятно что возьмет вверх, инстинкт самосохранения, или страх убить человека.
Не совсем так, есть одно маленькое исключение. Любое развитие событий лучше встречного лобового столкновения. Да хоть в кювет вылететь. Если конечно при этом никого давить не надо будет. И то не понятно что возьмет вверх, инстинкт самосохранения, или страх убить человека.
Судя по всему, многие не понимают сути вопроса. Он не в том, что машина будет ездить не по ПДД или сама создавать аварийные ситуации. Вопрос в том, что делать если случилась экстренная ситуация и что-то сделать без ущерба просто невозможно! Или вы думаете что все дело в автопилоте, а обычные машины никого не сбивают и сами не разбиваются? Но это же не так! Дело в том, что человек делает что-то (тормозит, уворачивается..) инстинктивно, не осознавая или принимает решение, но очень быстро. И вопрос в том, как в ТАКОЙ ЖЕ ситуации поступить автопилоту — у него же нет инстинктов и интуиции… Ему все надо расписать «по буквам». И вопрос в том, что писать туда (в программу)? Хотя и в жизни такое есть — когда тебя подрезают, то если нет угрозы жизни нужно бить виновника, но инстинктивно ты будешь выворачивать руль… стукнешь невиновного и будешь оплачивать свой и его ремонт, а истинный виновник будет дома пить чай и смотреть сериальчик… Вот тут как раз можно запрограммировать на действие. А если 1 человек, а рядом 3, а остановиться уже не успеваешь (лед), куда направлять машину? В стенку и покалечить водителя или убить 1 или 3?? Вот это и есть вопрос. Логичнее предположить, что приоритет отдать пешеходам — они менее защищены, но отдавать свои кровные большие деньги и каждый день садиться в машину, которая при первом удобном случае тебя убьет — так себе удовольствие…
Господа, насколько я понимаю ИИ обучается не программированием а накоплением образцов решений которые принимают люди, и в статье как раз речь о том что в разных местах ИИ будут предъявляться разные наборы решений
В конечном счёте «мораль робомобиля» сведётся к банальной математике и минимизации страховых выплат.
На некоторые автомобили ставится подушка безопасности для пешехода. На городских скоростях она спасает жизнь при приеме человека на капот. Только ее недостаток в том, что она срабатывает от контакта с человеком.
Система умеющая распознавать человека и сознательно принимающая решение столкнуться с ним может активировать раскрытие такой подушки для смягчения удара еще до контакта с человеком. Второй травматичный момент — отброс человека после столкновения. Что если снабдить аварийную систему захватом? После приема человека в подушку на капоте он вязнет в ней и удерживается на капоте или крыше. Если нет других отягчающих факторов, то такое решение может спасти жизнь.
Система умеющая распознавать человека и сознательно принимающая решение столкнуться с ним может активировать раскрытие такой подушки для смягчения удара еще до контакта с человеком. Второй травматичный момент — отброс человека после столкновения. Что если снабдить аварийную систему захватом? После приема человека в подушку на капоте он вязнет в ней и удерживается на капоте или крыше. Если нет других отягчающих факторов, то такое решение может спасти жизнь.
А если выбирать кого сбить по позе/положению человек, чтобы выбрать из них того, поза/положение которого увеличивает вероятность получить меньше всего вреда?
А давайте ещё дальше — выбирать, какой стороной головы пешеход ударится и какую область мозга повредит. Что лучше — лишить его зрения? Обоняния? Слуха? «Лоботомировать»? Или парализовать?
Выглядит абсурдно, но для высокоскоростного «мыслящего» компьютера мир замедлен, почти заморожен, и у него может быть прорва времени всё расчитать.
А давайте ещё дальше — выбирать, какой стороной головы пешеход ударится и какую область мозга повредит. Что лучше — лишить его зрения? Обоняния? Слуха? «Лоботомировать»? Или парализовать?
Выглядит абсурдно, но для высокоскоростного «мыслящего» компьютера мир замедлен, почти заморожен, и у него может быть прорва времени всё расчитать.
Регулярно сталкиваюсь с критикой Moral machine, решения дилеммы вагонетки и вообще решения моральных дилемм. Но если проблему не решаете вы, то проблему решат за вас, не учитывая вашего мнения.
Мы отказываемся вообще решать моральные дилеммы? Ок, тогда для ИИ будет совершенно неважно, влететь ли в ДТП, где погибает 20 человек с вероятностью 0.5 или один с вероятностью 0.6. ИИ же видит мир ещё и вероятностно, это тоже важный момент. После первого же расследования выйдет закон, что такую «моральную систему» внедрять надо. И её создаст какая-нибудь комиссия экспертов, без учёта мнения большинства людей.
Мы отказываемся вообще решать моральные дилеммы? Ок, тогда для ИИ будет совершенно неважно, влететь ли в ДТП, где погибает 20 человек с вероятностью 0.5 или один с вероятностью 0.6. ИИ же видит мир ещё и вероятностно, это тоже важный момент. После первого же расследования выйдет закон, что такую «моральную систему» внедрять надо. И её создаст какая-нибудь комиссия экспертов, без учёта мнения большинства людей.
После первого же расследования
Если после первого же расследования следователя и судью не купят, то владелец фирмы выпустившей авто, вместе с советом директоров и частью инженерного состава встанут к стенке (ну или точнее сядут на электрический стул, т.к. в США не расстреливают) или сядут пожизненно.
Но если проблему не решаете вы,
Обычно при критике дилемы вагонетки в отношении робомобилей критикуют сам факт того, что робомобиль попал в ситуацию в которой нужно выбирать. Критики включения морали у роботов боятся, что робомобили будут убивать людей, просто потому что очередной миллиардер захотел стать на миллиард богаче и потребовал выпустить сырой продукт.
Мы не отказываемся от решения проблемы, просто мы ее решаем в другой плоскости. Не кого убить, а как не допустить убийства. А недопустить убийства можно, например ограничив скорость той, при которой робот гарантированно ни кого не убъет. Если производитель готов это гарантировать своей свободой и/или жизнью — милости просим.
Давайте я поставлю вопрос по другому, чтобы Вы сами задумались, стоит ли решать эту проблему в лоб:
вместо «старый старый старух» стоите Вы, а вместо «красивый, как сами горы, девушка» стоит Ваш ребенок/мама/жена/кошка/теща/смотря_кого_Вы_больше_любите. Кого давить будет водитель? Выбирайте!
На данный момент за аварии машины отвечает водитель, а не производитель. По юридическому статусу сейчас машина с ИИ ничем не отличается от просто машины. Машины регулярно убивают людей, по этому поводу проводятся расследования, и далеко не всегда за это сажают производителя, даже если причиной было что-то помимо человеческого фактора.
Не допустить убийства… Как вы думаете, что будет, если у нас будет умный ИИ в машине, и у него будет в системе ценностей такая вещь, как недопущение убийства? Для начала, он станет прогнозировать, какое действие ведёт к смерти людей. Окажется, что абсолютно любое, но с разной вероятностью и число пострадавших будет разное. Едешь? А вдруг что-то случится и мы врежемся? Стоишь? А вдруг что-то случится и врежутся в нас?
Потом. В ИИ относительно легко внести систему, которая смотрит на последствия в целом (сколько людей погибло в итоге), но не на последствия, в которых «виноват» ИИ. Для современного ИИ ситуация «я переехал человека, потерян один человек» и ситуация «я не оттолкнул запорожец с пути камаза, потерян один человек» равнозначны. Можно продумывать всякие различия между «убил напрямую» и «не помог, что привело к смерти», но это будет приводить к куче хаков со стороны ботов. Ещё Азимов об этом писал. Боту отменили правило «нельзя своим бездействием допустить вред человеку», и он стал сталкивать на людей шкафы. Ну а что, он же успеет этот шкаф перехватить? А когда шкаф уже падает, то робот бездействовал, так как «не обязан».
Так вот. Для ИИ любое действие ведёт к чьей-то гибели, просто с разной вероятностью. Это особенность прогнозных систем (можете сами попробовать написать ИИ с качественной прогнозной системой, вы ровно такое поведение и увидите). Если ИИ будет всегда выполнять действие, минимизирующее потери, то он не будет работать как транспортное средство, он будет только спасением людей заниматься. В тот же самолёт можно добавить ещё немного безопасности, и тогда люди будут разбиваться ещё немного реже — но это будет дорого, и на такую сделку не пойдёт большинство пассажиров и авиакомпаний.
Поэтому идея «гарантированно никого не убить» в физическом мире не прокатит. Мы можем только ещё чуть-чуть понизить вероятность смерти, пожертвовав за это чем-то другим.
Выберу. У нас так устроено общество, что обсуждать такие вопросы не принято, но если я или кто-то другой окажется в такой ситуации, он сделает выбор. «Стоять, тупить и отказываться от выбора» — это тоже выбор со своими последствиями.
Проблема с миллиардерами, выпускающими на рынок сырое решение — это серьёзная проблема. Но в других отраслях её не решают введением абсолютной безопасности. Норматив безопасности для гражданской авиации — что-то вроде одного пострадавшего на миллион. ( pikabu.ru/story/bezopasnost_aviaperelyotov_6283040 )
Не допустить убийства… Как вы думаете, что будет, если у нас будет умный ИИ в машине, и у него будет в системе ценностей такая вещь, как недопущение убийства? Для начала, он станет прогнозировать, какое действие ведёт к смерти людей. Окажется, что абсолютно любое, но с разной вероятностью и число пострадавших будет разное. Едешь? А вдруг что-то случится и мы врежемся? Стоишь? А вдруг что-то случится и врежутся в нас?
Потом. В ИИ относительно легко внести систему, которая смотрит на последствия в целом (сколько людей погибло в итоге), но не на последствия, в которых «виноват» ИИ. Для современного ИИ ситуация «я переехал человека, потерян один человек» и ситуация «я не оттолкнул запорожец с пути камаза, потерян один человек» равнозначны. Можно продумывать всякие различия между «убил напрямую» и «не помог, что привело к смерти», но это будет приводить к куче хаков со стороны ботов. Ещё Азимов об этом писал. Боту отменили правило «нельзя своим бездействием допустить вред человеку», и он стал сталкивать на людей шкафы. Ну а что, он же успеет этот шкаф перехватить? А когда шкаф уже падает, то робот бездействовал, так как «не обязан».
Так вот. Для ИИ любое действие ведёт к чьей-то гибели, просто с разной вероятностью. Это особенность прогнозных систем (можете сами попробовать написать ИИ с качественной прогнозной системой, вы ровно такое поведение и увидите). Если ИИ будет всегда выполнять действие, минимизирующее потери, то он не будет работать как транспортное средство, он будет только спасением людей заниматься. В тот же самолёт можно добавить ещё немного безопасности, и тогда люди будут разбиваться ещё немного реже — но это будет дорого, и на такую сделку не пойдёт большинство пассажиров и авиакомпаний.
Поэтому идея «гарантированно никого не убить» в физическом мире не прокатит. Мы можем только ещё чуть-чуть понизить вероятность смерти, пожертвовав за это чем-то другим.
Давайте я поставлю вопрос по другому, чтобы Вы сами задумались, стоит ли решать эту проблему в лоб:
вместо «старый старый старух» стоите Вы, а вместо «красивый, как сами горы, девушка» стоит Ваш ребенок/мама/жена/кошка/теща/смотря_кого_Вы_больше_любите. Кого давить будет водитель? Выбирайте!
Выберу. У нас так устроено общество, что обсуждать такие вопросы не принято, но если я или кто-то другой окажется в такой ситуации, он сделает выбор. «Стоять, тупить и отказываться от выбора» — это тоже выбор со своими последствиями.
Проблема с миллиардерами, выпускающими на рынок сырое решение — это серьёзная проблема. Но в других отраслях её не решают введением абсолютной безопасности. Норматив безопасности для гражданской авиации — что-то вроде одного пострадавшего на миллион. ( pikabu.ru/story/bezopasnost_aviaperelyotov_6283040 )
это тоже выбор со своими последствиями.
Если Вы сами отказываетесь от ответственности, то почему требуете эту ответственность от общества?
машина с ИИ ничем не отличается от просто машины.
Фактически машина с ИИ — машина с личным водителем. За ошибки водителя владелец авто платить не должен (за исключением случаев, когда правила нарушены по указанию хозяина).
Но т.к. ИИ недееспособен, то ответственность должен нести разработчик (аналогично как за детей отвечают родители).
недопущение убийства?
Недопущение вероятности ДТП. Не нужно стремиться избежать смерти, нужно стремиться избежать ДТП по вине ИИ. Вина устанавливается по ПДД. Если все будут стремиться не допускать аварий по своей вине, то аварий не станет совсем («у любой катастрофы есть ФИО»).
Ещё Азимов об этом писал.
Мы не говорим о «сильном ИИ» (как Азимов) вообще, только о «слабом ИИ». По сути автомобильный ИИ — экспертная система, алгоритм. Он не думает, он лишь считает. Не приписывайте ему лишние способности.
Не нужно стремиться избежать смерти, нужно стремиться избежать ДТП по вине ИИ. Вина устанавливается по ПДДВ таком случае, нет никаких моральных выборов. Выбежал ребёнок на дорогу — дави тормоз, не пытайся объехать. Сбил — никто не виноват, нечего было на дорогу выбегать.
В таком случае, нет никаких моральных выборов.
Именно! Выбор не должен основываться на морали.
Выбежал ребёнок на дорогу — дави тормоз
Да. Но какого лешего ты ехал на такой скорости, что ребенок успел незаметно для тебя выбежать на дорогу ближе чем на тормозной путь?
не пытайся объехать.
Если это не повлечет жертв — пусть объезжает, ПДД это не запрещают. Они требуют тормозить.
Сбил — никто не виноват
А вот тут нет. Виноват либо водитель (если он из мяса), либо разработчик ИИ. Т.к. появление ребенка по курсу говорит о превышении скорости.
Если Вы сами отказываетесь от ответственности, то почему требуете эту ответственность от общества?
Я не отказываюсь от ответственности. Наоборот, я утверждаю, что от неё невозможно отказаться — любой выбор будет выбором, и если человек выбирает не участвовать в проекте Moral Machine — значит, он выбирает отдать своё право голоса другим людям. Если он успешно саботирует этот проект — значит, он передаёт выбор рандому, а не людям.
Недопущение вероятности ДТП. Не нужно стремиться избежать смерти, нужно стремиться избежать ДТП по вине ИИ. Вина устанавливается по ПДД. Если все будут стремиться не допускать аварий по своей вине, то аварий не станет совсем («у любой катастрофы есть ФИО»).— стартовая ситуация такова, что робомобилей мало, и есть множество источников неопределённости помимо водителей.
И есть разница между «ориентироваться на результат» и «ориентироваться на действия». Цель «не допустить ДТП» означает ориентированность на результат, то есть неизвестно заранее, какие действия совершит машина — это будет зависеть от того, какую статистику она соберёт. Цель «не допустить ситуации, где я буду виновен в ДТП» — это тоже ориентированность на результат, но сформулированный очень сложным и неоднозначным образом. А если ИИ будет вызывать ДПТ, в которых он, по формальным критериям, не виноват? А это типичное поведение для результатоориентированной системы: чем сложнее целевая метрика, тем выше шанс, что мы её сформулировали неправильно. Это касается не просто «сильного ИИ» — это касается любого ИИ, который запрограммирован достигать целей. Я довольно много работал именно с целеориентированными системами, и наблюдал именно такое поведение: всё, что можно взломать, будет взломано, а сложные формулировки будут сложным образом обойдены.
Можно, конечно, сделать, чтобы автопилот не был целеориентированной системой. Но тогда он не сумеет справляться с нестандартными ситуациями. Он справится лишь с тем, о чём подумали разработчики на заводе.
Тогда он, пожалуй, и правда сможет гарантировать соблюдение ПДД. Потому что ПДД — это инструкция, для её соблюдения нужен алгоритм. Но он не сможет гарантировать результат, в том числе безопасность и непопадение в ДТП. Потому что соблюдение правил гарантирует результаты в математических задачах, а не в физическом мире, где есть множество неизвестных переменных. Просто во всех его ДТП потом будет известно, что он «не был виноват, всё делал по инструкции». Если делать ИИ таким образом (на базе инструкций, а не целей), и он всё-таки окажется в ситуации из Moral Machine (потому что с чего бы соблюдение правил в 100% случаев вело бы к цели), и не перейдёт в целеориентированный режим — он будет действовать «как получится», и вовсе необязательно он будет минимизировать жертвы.
он передаёт выбор рандому,
Ок. Перефразирую. В этом выборе я предлагаю всегда давить акционера производителя этой машины, даже если его нет в выборе. Вот прямо телепортировать машину в пентхаус и давить. Такой выбор Вас устроит?
А если ИИ будет вызывать ДПТ
То неожиданно он нарушит ПДД — опасное вождение. Это как про женщин за рулем — они чаще всего слишком дословно выполняют правила и бесят других водителей этим. Но это не значит что водители-мужчины в этом случае правы.
Просто во всех его ДТП потом будет известно, что он «не был виноват, всё делал по инструкции».
Вот именно! Но если ПДД допускает ДТП, то нужно менять ПДД. С другой стороны как часто Вы слышите о ДТП в которых все исполняли правила, но ДТП все же произошло?
и он всё-таки окажется в ситуации из Moral Machine
Еще раз: не надо в ней оказываться. Нужно об этом думать, а не как уйти от ответственности когда в эту ситуацию попал.
В реальном мире — не факт.
Это лишь вопрос преобразования систем координат.
Этот ребёнок мог там оказаться тысячей разных способов.
Ага, например пьяным, со смертельным содержанием алкоголя в крови, прыгнул под колеса.
У нас есть вертолёты
И?
источники помех, ослепление сенсоров,
«Включить аварийную сигнализацию и, не меняя полосы движения, снизить скорость и остановиться»
дыры в заграждениях
Боковой интервал, да и дорожников можно привлекать к ответственности за это.
аварии едущих впереди машин
Дистанция
ошибки тормозов
Это ответственность владельца и/или самодиагностики. Кто виноват понятно, соответственно не возникает состояния «убийства во благо». Понятно кто будет наказан.
разлитое масло
Тут либо вина дорожников, либо несоблюдение скоростного режима.
о чём мы не подумали, но могли бы придумать.
Вот это и пугает. Вы не подумали, в результате появляется дилема вагонетки. При этом Вы хотите чтобы мы выбрали кого убить, но не хотите нести ответственность за то, что Вы мало думали.
Я думаю, что в реальном мире есть шанс оказаться в почти любом состоянии, и никакие действия и правила (которыми руководствуемся лично мы) от этого не гарантируют, а максимум снижают вероятность. И ПДД тоже снижают вероятность, а не гарантируют, потому что мы не в математической задаче, а в вероятностном реальном мире (вы видели теориму а-ля геометрия, которая доказывала бы, что ПДД гарантируют от ДТП? Я нет, у меня только статистика). У нас, например, нет единой детерминированной модели реальности — «теории всего». Есть только вероятностная. Если поместить умного бота в детерминированную среду, про которую ему неизвестно абсолютно всего, он её тоже будет воспринимать как вероятностную. Если поместить человека в такую среду, он её будет воспринимать как детерминированную исключительно потому, что мозг упрощает и урезает многие сложные вещи. Если взять идеальный интеллект, что-то типа AIXI, которые делает все выводы по теореме Байеса, он будет воспринимать все состояния реальности как возможные, но имеющие разную вероятность.
Мне показалось, что вы с этим не согласны. Не могли бы пояснить? Если вы полагаете, что возможна детерминированная модель принятия решений, которая во всех случаях в условиях частичной неопределённости будет лучше достигать целей, чем вероятностная, то не могли бы вы привести математику этой вашей модели?
Или я вас неправильно понял, и вы согласны с тем, что никакие инструкции не могут гарантировать, что реальность не окажется в некотором заданном состоянии, тогда в чём наше разногласие?
Если что, я полагаю, что нужно сделать ИИ как можно более безопасным в плане аварийности. Но при этом экономически эффективным, потому что иначе проект лишён смысла. Я не предлагаю заниматься Moral Machine вместо общей безопасности. Просто в какой-то момент для сокращения вероятного ущерба станет эффективнее перейти от общей безопасности к Moral Machine. Хотя бы ввести эвристику «если столкновение очень вероятно, выбери вариант с минимумом потерь».
Если говорить об ответственности, то я полагаю, сейчас наилучшее, что можно сделать в плане робо-автомобилей — это как можно быстрее сделать их чуть-чуть безопаснее живых водителей, а потом по максимуму заменить живых водителей, тоже как можно быстрее. Кажется, так мы сэкономим больше жизней, чем если будет позволять водить машины людям =) Это не юридическая ответственность, это действия, которые, предположительно, ведут к в среднем более безопасному миру.
Или вы под ответственностью подразумеваете «в событии X должен быть виноват не я», а не «нужно предотвратить событие X»?
Мне показалось, что вы с этим не согласны. Не могли бы пояснить? Если вы полагаете, что возможна детерминированная модель принятия решений, которая во всех случаях в условиях частичной неопределённости будет лучше достигать целей, чем вероятностная, то не могли бы вы привести математику этой вашей модели?
Или я вас неправильно понял, и вы согласны с тем, что никакие инструкции не могут гарантировать, что реальность не окажется в некотором заданном состоянии, тогда в чём наше разногласие?
Если что, я полагаю, что нужно сделать ИИ как можно более безопасным в плане аварийности. Но при этом экономически эффективным, потому что иначе проект лишён смысла. Я не предлагаю заниматься Moral Machine вместо общей безопасности. Просто в какой-то момент для сокращения вероятного ущерба станет эффективнее перейти от общей безопасности к Moral Machine. Хотя бы ввести эвристику «если столкновение очень вероятно, выбери вариант с минимумом потерь».
Если говорить об ответственности, то я полагаю, сейчас наилучшее, что можно сделать в плане робо-автомобилей — это как можно быстрее сделать их чуть-чуть безопаснее живых водителей, а потом по максимуму заменить живых водителей, тоже как можно быстрее. Кажется, так мы сэкономим больше жизней, чем если будет позволять водить машины людям =) Это не юридическая ответственность, это действия, которые, предположительно, ведут к в среднем более безопасному миру.
Или вы под ответственностью подразумеваете «в событии X должен быть виноват не я», а не «нужно предотвратить событие X»?
Не могли бы пояснить?
Ок. Реализуйте как хотите. Можете даже разрешить давить людей на тратуаре.
НО! Тогда общество должно иметь право сажать (и убивать, с учетом УК США и некоторых других стран) таких программистов\владельцев_заводов.
Все очень просто: программируй как хочешь, но если твой код убъет — сядешь. И ни каких мук выбора с моей стороны.
Но при этом экономически эффективным,
И вот всплыло то, о чем я говорю: "… при 300% нет такого преступления, на которое он не рискнул бы, хотя бы под страхом виселицы..."
За сколько «яхт Абромовича» Вы согласны допустить ошибку в коде, который будет убивать?
«в событии X должен быть виноват не я»
Да. Потому что я лично буду стремиться не совершить событие Х. И Вы лично будете стремиться не совершить событие Х. И еще 7*10^9 человек. И если все будут реально к этому стремиться, то вероятность события Х будет стремиться к 0.
И именно эту логику я хочу перенести на роботов. Только в отличии от человека робот не подвержен эмоциям и «авосю». И может дословно исполнять ПДД.
Тогда общество должно иметь право сажать (и убивать, с учетом УК США и некоторых других стран) таких программистов\владельцев_заводов.
А где-то вообще такая практика применяется в том «абсолютном» виде, что вы привели? Что любой несчастный случай без нарушения инструкции некоторого оборудования приводит к тому, что разработчика сажают? Человек вёз нож в машине, машина попала в аварию, человека этим ножом проткнуло. Никакого нарушения инструкции ножа не было. Разработчика посадить?
Самолёт попал в пепельную тучу от вулкана. Никогда раньше такого не было. Самолёт упал. Разработчиков посадить? Они должны были предусмотреть абсолютно всё, в том числе то, чего раньше не было?
Танк попал под обстрел нейтронными боеприпасами. Никогда раньше таких боеприпасов не было, разработчик о таком не знал даже в теории. Разработчика посадить?
Лекарство спасает миллион человек и убивает одного. Сажаем?
А что изменится, если таких людей сажать? Мы не спасём таким образом больше людей. Просто никто не захочет быть инженером, зная, что его посадят, если он не бог безопасности.
В какой-то мере то, что вы предлагаете, разумно, но кажется, уровень ваших мер безопасности убьёт больше людей, чем спасёт.
Да. Потому что я лично буду стремиться не совершить событие Х. И Вы лично будете стремиться не совершить событие Х. И еще 7*10^9 человек. И если все будут реально к этому стремиться, то вероятность события Х будет стремиться к 0.
вы не можете контролировать этих других людей. То, что вы приняли решение никого не убивать, не приведёт к тому, что другие примут такое же решение.
А вот если вы примете решение спасать, кого можете — это совсем другое дело.
Это различие системы, работающей по правилам и системы, достигающей целей. Как вы думаете, в каком случае будет больше выживших — если действовать по конкретным правилам или если делать то, что приводит к максимизации числа выживших?
За сколько «яхт Абромовича» Вы согласны допустить ошибку в коде, который будет убивать?— хороший вопрос =) Не считал. Но вот тут есть статистика:
ru.wikipedia.org/wiki/%D0%9C%D0%B8%D0%BA%D1%80%D0%BE%D0%BC%D0%BE%D1%80%D1%82
Продажа 0.5 литров вина 1000 раз примерно эквивалентна убийству одного человека. По последствиям. Если не прикрываться словами «это его выбор», а смотреть только на последствия продажи.
Допущение того, чтобы 1000 человек проехали 10 км на мотоцикле примерно эквивалентно одному случаю тяжких телесным повреждений.
Продажа 1400 сигарет — туда же. Причём не только для покупающего.
В теории безопасности есть принцип равнопрочности. Типа того, что надо вначале затыкать большие дыры, а уже затем маленькие. На основе это статистики существование мотоциклов (и курения) видится огромной дырой. Похоже, что намного бОльшей, чем даже нынешние робомобили.
И никто не садится за это!
Потом. Если робомобиль не вытеснит человека-водителя из-за активистов, требующих бОльшей безопасности робомобиля — кто будет виноват в следующих ДТП? Легко обвинить водителей, но разве активисты, выступившие против робомобиля, не будут так же виноваты? Они же знали расклад, знали цифры, но всё равно выбрали вариант, где жертв больше. Их тоже сажать за то, что неправильно проголосовали?
Как вам такой вариант. Разработчиков робомобилей станут сажать, но только после того, как статистика смертности от робомобиля превысит статистику смертности от мотоциклов и сигарет? Ну или вначале посадим всех производителей мотоциклов и сигарет. И ножей заодно =)
Я в тысячу раз ошибся с микромортами. Но это особо не меняет суть. Есть много куда более смертельных штук, чем робомобили, за которые не сажают, либо сажают «исполнителя», а не «организатора»
Вообще, судить производителя робомобиля за аварии нужно, я согласен. Но не в таком ключе, что он совершил убийство, вот пришёл и убил. А в том, что его продукт оказался не волшебно идеальным, и потому привёл к смерти, как и множество других продуктов множества других производителей, которых не сажают
Вообще, судить производителя робомобиля за аварии нужно, я согласен. Но не в таком ключе, что он совершил убийство, вот пришёл и убил. А в том, что его продукт оказался не волшебно идеальным, и потому привёл к смерти, как и множество других продуктов множества других производителей, которых не сажают
Человек вёз нож в машине, машина попала в аварию
Нож сам влетел в грудь? Возможно стоит приглядеться к кузнецу-чернокнижнику.
Самолёт попал в пепельную тучу от вулкана.
Что-то мне подсказывает, что летать в облаках пепла, пыли и грозовых запрещено.
И опять же решение о полете принял командир экипажа. Он за это и отвечает.
Танк попал под обстрел нейтронными боеприпасами
Виноват враг, он УМЫШЛЕННО пытается Вас убить. Но если броня трескается сама, то виноват конечно разработчик.
Лекарство спасает миллион человек и убивает одного.
Решение принимать таблетку или нет принимает человек, а не робот. Он уведомлен о побочных эффектах и может отказаться.
Просто никто не захочет быть инженером, зная, что его посадят, если он не бог безопасности.
Неа. Просто разработчик не выпустит сырой код. А вот код, в котором он 100% уверен вполне.
но кажется
С этим в храм.
не приведёт к тому, что другие примут такое же решение.
Для этого есть УК, который страхом наказания принуждает их стремиться принять такое-же решение.
максимизации числа выживших?
В этом и суть. Нужно стремиться к минимизации пострадавших (или точнее аварийных ситуаций как таковых).
Если не прикрываться словами
Ну почему-же? Вас кто-то заставляет пить вино или курить? А авто Вас собъет без Вашего решения!
Вы здесь непричем, а робот выскочит на тратуар, потому-что жизнь двух школьниц ценнее Вашей одной. Об этом и речь.
И никто не садится за это!
Это УЖЕ сложившаяся проблема. А робомобили еще не сложившаяся. Так зачем создавать новую проблему, если ее можно исключить еще до появления.
кто будет виноват в следующих ДТП?
Как и сейчас — водитель.
не будут так же виноваты?
Нет. Иначе можно также обвинить и сторонников «вагонетки», которые отказываются делать нормальный (с точки зрения противников) автопилот, и бабу Дусю, за то что… да просто так, проактивно.
Как вам такой вариант.
Торг < — Вы здесь.
Депрессия
Принятие
Вообще, судить производителя робомобиля за аварии нужно, я согласен.
См. выше.
А в том, что его продукт оказался не волшебно идеальным
По сути, производители ратующие за «вагонетку» собираются извлекать прибыль из смерти. И делать это собираются умышленно, мотивируя это тем, что нормально выполнить свою работу слишком дорого. Так вот за умышленное убийство и следует их судить. Скорее всего группой лиц, по предварительному сговору. Возможно за массовое.
Только денег у них сильно больше чем у меня и потому вполне отвертятся и даже, возможно примут на законодательном уровне.
Нож сам влетел в грудь? Возможно стоит приглядеться к кузнецу-чернокнижнику.это произошло в ходе аварии, там всякое возможно.
Что-то мне подсказывает, что летать в облаках пепла, пыли и грозовых запрещено.— да, и когда-то это было неизвестно. На пилота нет смысла возлагать ответственности, если он уже мёртв. Это не улучшит ни его поведение, ни поведение других пилотов.
Виноват враг, он УМЫШЛЕННО пытается Вас убить.— это очень странный подход. Какой смысл возлагать вину на врага? Он — внешняя сила. Вы не можете ему предъявить. Если вы его обвините, он не скажет «ой, сорян, больше не буду». А вот своих шпионов обвинить стоило бы, что они не узнали…
Решение принимать таблетку или нет принимает человек, а не робот. Он уведомлен о побочных эффектах и может отказаться.— ну так и потенциальную жертву робомобиля никто не заставляет жить в городе, где есть робомобили.
Если вы можете воздействовать только на производителя таблетки, то какой смысл возлагать ответственность на потребителя? Если вы можете воздействовать только на потребителя, то какой смысл возлагать ответственность на производителя?
Зачем вообще на кого-то возлагать ответственность и наказывать?
В моём понимании это делается для того, чтобы сократить число вредных случаев. То есть цель — сократить вред и увеличить пользу, а средство (иногда эффективное) — возложение ответственности.
Какой смысл возлагать ответственность на того, кому это безразлично? Возлагать ответственность на уже мертвого пилота (или живого врага) и на автопилот — это действия, на мой взгляд, эквивалентные. Социального смысла не имеют, лишь описывают причинно-следственные связи
Неа. Просто разработчик не выпустит сырой код. А вот код, в котором он 100% уверен вполне.— вы не могли бы показать методику, которая позволяет такого добиться для кода размером с хотя бы зрительную нейросеть? Вот именно строго математические 100%. Юнит-тесты, в которых будут все возможные картинки на входе? =)
Вас кто-то заставляет пить вино или курить?— есть действие «продать вино», есть последствие. То, что причинно-следственная часть проходит через человека — не важно, он такая же часть реальности, как и все другие, если мы говорим об ответственности продавца. Если мы говорим об ответственности покупателя, то там другой расклад, для него продавец — это просто объект, а решение его, покупателя. Так что оба человека ответственны. Оба являются звеньями этой причинно-следственной связи.
Точно так же можно сказать, что никто не заставляет вас из дома выходить, а то мало ли.
Как и сейчас — водитель.Сейчас много кто виноват. Все, кто могут повлиять на ситуацию, в разной мере. Те, кто недостаточно идеально делают ПДД, расставляют знаки, производят недостаточно безопасные машины. Водитель сильнее всего причастен к одной конкретной аварии. Производитель слегка причастен ко множеству аварий. И отсутствие водителя, и отсутствие производителей привело бы к отсутствию аварии, а значит, они оба повлияли на ситуацию. Если не стремиться кого-то посадить, а искать способы улучшить обстановку, это должно быть очевидно, разве нет?
Иначе можно также обвинить и сторонников «вагонетки», которые отказываются делать нормальный (с точки зрения противников) автопилот,— вначале надо посчитать полезность обоих решений. То есть статистику потерь и экономические показатели (машины же делают не только ради безопасности, но и ради того, чтобы на них ездить?) А потом да, можно при желании и обвинить тех, у кого метрика оказалась хуже.
Вы здесь непричем, а робот выскочит на тратуар, потому-что жизнь двух школьниц ценнее Вашей одной— а здесь любой выбор, кроме рандома — это решение задачи Moral Machine. И живой водитель представляет из себя такую же угрозу, только мои риски в этом случае несколько больше.
По сути, производители ратующие за «вагонетку» собираются извлекать прибыль из смерти.— в таком случае очень многие, кто что-либо производит, извлекают прибыль от смерти. Просто на это никто не указывает явно — ну да, машины иногда разбиваются, ну да, их можно было бы сделать безопаснее, но никто не думает возлагать всю полноту ответственности на производителя. А вообще-то можно — можно потребовать чуть больше безопасности от производителей, и машины будут в этом плане чуть лучше, и в компании это известно. Все торгуют смертью, от этого не уйти. В лучшем случае можно добиться, чтобы те, кто «торгует смертью», сместили баланс смерти и жизни в сторону жизни. Сделать робомобили с лучшим балансом, чем у живых людей, можно. Да, наказывать будет некого. Но цель «сохранить больше людей» будет достигнута. Тут уж кому что важнее
в ходе аварии
Так может дело не в ноже, а в аварии?
если он уже мёртв
Он уже понес высшую меру наказания. Так что все честно.
Какой смысл возлагать вину на врага?
Тут явное умышленное действие. Вина вроде прозрачна, наказание тоже очевидно (если осилите).
никто не заставляет жить в городе
Я этот город раньше застолбил. Кыш!
Зачем вообще на кого-то возлагать ответственность и наказывать?
В начале прошлого века в 1/7 части суши пытались создать общество, которое регулировалось бы только моралью. Очень быстро поняли, что не судьба и вернули систему исправления и наказания на прежнее место.
это должно быть очевидно, разве нет?
Тут момент: цель не посадить, а не допустить лишних потерь. Вопрос в том, что общество не монолитно. Свобода воли, чтоб ее. И чтобы люди действовали предсказуемо нужны законы. В том числе УК.
Сейчас много кто виноват.
И это сложившийся факт. Не надо добавлять еще одного убийцу в систему.
вначале надо посчитать полезность обоих решений
Так считайте. И пока не посчитаете в производство не пускайте. А на полигон можете выпустить детей владельцев компаний, как мотивирующий фактор.
требовать разрешение на убийство людей
Как возможное решение. Заказчик поездки подписывает соглашение об ответственности и несет полную ответственность за убийство. Как вариант можно сразу же предлагать соотношение вероятности убийства от скорости движения.
Только вот я чувствую, что либо это убьет продажи (ну кто в здравом уме купит себе место в камере?), либо в конечном счете создаст «окно Овертона» в которое пролезут сторонники безнаказанного убийства робомобилями.
Решение принимать таблетку или нет принимает человек, а не робот. Он уведомлен о побочных эффектах и может отказаться.
вот же оно!
Все просто, перед посадкой в робомобиль, требовать разрешение на убийство людей. И все будут довольны.
А пешехода, который шёл в стороне от первоначальной траектории движения робомобиля, но по воле разработчиков и, возможно, пассажира авто стал жертвой наезда кто спросил хочет ли он стать жертвой по желанию постороннего человека?
Почему защитники Moral Machine себя представляют только на месте пассажира и никогда на месте жертвы-пешехода?
Почему защитники Moral Machine себя представляют только на месте пассажира и никогда на месте жертвы-пешехода?
Но какого лешего ты ехал на такой скорости, что ребенок успел незаметно для тебя выбежать на дорогу ближе чем на тормозной путь?На какой «такой» скорости? Как тут уже заметили, решение этой задачи неформализуемо, т.к. ни у кого нет полной информации. Может, это особенный ребёнок, который умеет телепортироваться.
Если это не повлечет жертв — пусть объезжает, ПДД это не запрещают. Они требуют тормозить.Оценивая все варианты, объезжать оказывается невыгодно, т.к. есть ненулевая вероятность ДТП, и тогда уже ИИ будет виноват, выбрав не тот вариант (тормозить), который предписывают ПДД.
Виноват либо водитель (если он из мяса), либо разработчик ИИ. Т.к. появление ребенка по курсу говорит о превышении скорости.Либо виноват ребёнок, нарушивший ПДД. Например, на встречной полосе автобус остановился на остановке, и ИИ-автомобиль сбивает ребёнка, переходящего дорогу позади автобуса. Согласно ПДД, такой переход дороги запрещён. ИИ, обладая способностью к логическому выводу, делает заключение, что за автобусом пешехода нет и можно ехать на разрешённой скорости 60 км/ч.
Но так мы можем очень далеко зайти: когда кто-то делает минимальное нарушение ПДД, ИИ через 10-этажный вывод сбивает человека совершенно в другом конце города, и он логически прав. Это похоже на undefined behavior в C++ компиляторах. Программист допускает незаметное нарушение стандарта, а компилятор всю программу преобразует в пустой цикл, и об этом пишут длинные статьи с разбором, почему компилятор получил такой логический вывод.
Может, это особенный ребёнок, который умеет телепортироваться.
Ну вот мы и до телепортации добрались наконец, а то мне почему-то до сих пор ни кто не объяснил, как можно создать эту самую ситуацию с вагонеткой.
Оценивая все варианты, объезжать оказывается невыгодно
«Лосиный тест», не не слышал. Это для Вас, как куска мяса с временем реакции в 1,5 секунды и малой полнотой информации. Робот как минимум может реагировать мгновенно (за доли секунды) и видеть то, что не видит человек (например встречку за фурой).
Но да, дефолтное поведение — возможно правильное решение.
Согласно ПДД, такой переход дороги запрещён
Согласно ПДД притормаживать надо (ведь водитель не может гарантировать безопасного вождения), а не на 60 гнать. И реального водителя в этой ситуации просто посадят.
Да, в этой ситуации возможно виноват не только водитель, но и он в том числе. Т.к. мог предотвратить снизив скорость до той, при которой может остановиться обнаружив препятствие.
Обвинять врага или ещё что-либо, чем не можешь управлять, менее конструктивно, чем обвинять сам ИИ робомобиля. ИИ можно по крайней мере исправить.
100%х гарантий в реальном мире не бывает. Если возложить некоторый риск на водителя, это может быть приемлемо для него, если такой же риск, умноженный на 10к водителей, возложить на производителя, он не потянет.
Если руководствоваться принципом «автор изобретения виноват во всём, что сделало его изобретение, если обратное не сказано явно в инструкции», то мы не сдвинемся технически. Даже огонь бы не изобрели. Это слишком сильный отбор против изобретателей. Ведь нам же не важно, что огонь спас от голода 1000 человек и убил 1 — мы же можем лишь наказывать, а не отменять наказание в случае спасения кого-то другого спасение. Подход с такими наказаниями тупо убьёт промышленность.
Метрики на данный момент довольно однозначно показывают, что робомобили Тесла уже сейчас безопаснее рандомной простой машины с рандомным водителем. Аварий на км меньше. Так что если смотреть, что приведет к лучшему результату в плане безопасности — в краткосрочной перспективе робомобили лучше, чем их отсутствие. В долгосрочной хз, но норматив на долю ДТП можно и ввести, и проконтролировать.
100%х гарантий в реальном мире не бывает. Если возложить некоторый риск на водителя, это может быть приемлемо для него, если такой же риск, умноженный на 10к водителей, возложить на производителя, он не потянет.
Если руководствоваться принципом «автор изобретения виноват во всём, что сделало его изобретение, если обратное не сказано явно в инструкции», то мы не сдвинемся технически. Даже огонь бы не изобрели. Это слишком сильный отбор против изобретателей. Ведь нам же не важно, что огонь спас от голода 1000 человек и убил 1 — мы же можем лишь наказывать, а не отменять наказание в случае спасения кого-то другого спасение. Подход с такими наказаниями тупо убьёт промышленность.
Метрики на данный момент довольно однозначно показывают, что робомобили Тесла уже сейчас безопаснее рандомной простой машины с рандомным водителем. Аварий на км меньше. Так что если смотреть, что приведет к лучшему результату в плане безопасности — в краткосрочной перспективе робомобили лучше, чем их отсутствие. В долгосрочной хз, но норматив на долю ДТП можно и ввести, и проконтролировать.
робомобили Тесла уже сейчас безопаснее рандомной простой машины
Ага, зато если убивает, то диву даешься, как вообще можно было в аварию попасть, не то что со смертельным исходом.
У теслы нет автопилота (это называется помощник вождения, круиз-контроль). Водитель принимает решение. Он, в случае ошибки и ответственность понесет. И, я считаю, не в последнюю очередь именно водитель спасает теслу от аварий, которые мог бы допустить ИИ.
Как парктроник, который в разы сократил количество парковочных аварий. Это еще не значит, что при появлении бабушки и девочки в зоне видимости парктроника нужно выбирать кого давить.
Ага, зато если убивает, то диву даешься, как вообще можно было в аварию попасть, не то что со смертельным исходом.— у людей свои сильные стороны, у ИИ свои, важен результат. Если смотреть на результат, ИИ спасает больше, чем убивает, при применении в качестве автопилота. Действие «ввести его в качестве автопилота» приводит к меньшему числу жертв, чем действие «сохранить всё как есть».
Даже если я ошибаюсь с точной статистикой, суть не в этом. Задача «сделать ИИ более безопасным, чем человек» — решаемая. Задача «сделать ИИ безопасным на 100%» — нерешаемая. Если сажать разработчика за аварии автопилота, то, условно, разработчик сможет выпустить 10 машин, которые в 10 раз безопаснее человека, и тогда его риски сравняются с рисками водителя. А выпустить 10к машин он уже не может, потому что ваша модель ответственности учитывает только негативные последствия, а не суммарные. С такой моделью ответственности вообще нельзя сделать что-то масштабное без того, чтобы свалить ответственность на кого-нибудь другого, кто находился ближе к непосредственному событию. С такой моделью ответственности мы теряем возможность сменить опасную технологию на менее опасную лишь потому, что раньше наказание было размазано по огромному числу людей, а теперь сосредоточено на малом коллективе разработчиков.
Если в одной стране ввести модель ответственности «разработчик попадает в тюрьму, если его машина случайно кого-то задавила», а в другой «разработчик попадает в тюрьму, если аварийность выше, чем 10% от человеческой аварийности», то во второй стране робомобили всё-таки выйдут, и жертв на дорогах в итоге станет меньше. А в первой они не выйдут, потому что перфекционизм.
Введение выбора действий при аварии позволит сократить потери в тех случаях, когда аварии всё-таки будут.
Действие «ввести его в качестве автопилота»
Действие «ввести его в качестве круиз-контроля» без «вагонеточного» режима приносит почти такой же результат, но не приводит к появлению жертв на тратуаре, потому что ИИ посчитал что так выгоднее.
Но это не даст конкурентного преимущества разработчикам ИИ, а значит не принесет прибыли. И опять возвращаемся к формуле с 300%. Дело не в том, что они хотят уменьшить число жертв, а в том, что хотят получить сверхприбыль ценой наших жизней.
и жертв на дорогах в итоге станет меньше.
В ближайшей перспективе, да. А еще люди будут бояться подходить к дороге, не обнесенной 2-х метровым бетонным забором, но это мелочи.
Вопрос в том, что будет через 20 лет, когда новая технология будет в каждом авто? С кем тогда сравнивать аварийность? С водителями из 2000-х годов? А если разработчик выпустит апдейт, и перепутав веса машины начнут специально наезжать на пешеходов, то продолжать нести чушь про отказ от ответственности, потому что на 1000000 человек потери все равно меньше, чем в 2000-х (люди прячутся от авто за повсеместно появившимися бетонными заборами и те не найдя жертву с грустью ездят по правилам)?
Поймите, для реализации тех требований, о которых я говорю достаточно перестать мечтать о сверхскоростях для ИИ на первом этапе. При 30км/ч смертность (при наезде на пешехода) всего 10% и это если водитель-человек. Робот может тормозить минимум в 2 раза интенсивнее (практически нет задержки на осознание ситуации в 1-2 секунды и правильно нажать педаль не каждый водитель умеет).
Снизьте скорость (по крайней мере до тех пор, пока сенсоры не смогут однозначно распознавать реальность на максимальном тормозном пути), введите жесткое соблюдение ПДД и торможение в любой не однозначной ситуации и не будет вообще ДТП с участием роботов. Но это не продашь. И именно для этого нам втюхивают «вагонетку». Им нужна наша смерть, чтобы «заработать». Убийцы всегда хорошо «зарабатывают».
Медленные автомобили нельзя выпускать на дороги общего пользования — они создадут кучу пробок. Нужны динамические лимиты скорости: едешь в центре города — 30, на кольцевой — 60, на магистрали — 100.
Для скоростей в 60 и 100 необходимо, чтобы роботы гарантированно распознавали любые объекты на дороге, которые могут создать помехи движению автомобиля или быть потенциально опасными для любых участников движения/могут привести к созданию аварийной ситуации.
П.С. А как производители собираются решать следующие проблемы: поправить груз на дороге, протереть фары/сигнальные огни, номера и т.д. Всё то, что делает человек выходя из авто? Создадут сеть сервисменов?
П.С. А как производители собираются решать следующие проблемы: поправить груз на дороге, протереть фары/сигнальные огни, номера и т.д. Всё то, что делает человек выходя из авто? Создадут сеть сервисменов?
Действие «ввести его в качестве круиз-контроля» без «вагонеточного» режима приносит почти такой же результат, но не приводит к появлению жертв на тратуаре, потому что ИИ посчитал что так выгоднее.— если ввести ИИ в качестве круиз-контроля, то при аварийной ситуации у него будут варианты:
1) Передать контроль водителю, который, скорее всего, ничего не успеет, потому что иначе ИИ сам бы всё разрулил без потерь. Это может быть разумно только в том плане, что сваливает ответственность на водителя.
2) Оптимизировать потери — та самая вагонетка с поправкой на то, что во всех случаях вероятности жертв будут разными, вплоть до того, что ситуация «проехать вот там с 1%-ым риском удара» тоже может быть одним из вариантов.
3) Действовать по скрипту, предписанному ПДД. Этот вариант хорош тем, что позволяет свалить ответственность на составителей ПДД, но плох тем, что этот скрипт составляли для людей, и буквальное следование ему вовсе необязательно будет оптимизировать потери или какие-нибудь другие цели.
Потенциально «круиз-контроль» (то есть автопилот с возможностью отключения) может быть лучше в том, что человек, зная о каких-то слабостях ИИ, возьмёт управление на себя, когда въедет в опасную зону. Но это довольно слабая мера безопасности, насколько я понимаю. Если водитель знает о каких-то минусах ИИ, то разработчик об этом знает лучше и раньше него, и уже вовсю исправляет, чтобы не влететь на очередные штрафы.
Дело не в том, что они хотят уменьшить число жертв— число жертв хотят уменьшить люди в целом. При достаточно про-народном государстве этого хватит, чтобы законодатели ввели правила безопасности для робомобилей. Если цель — снизить число аварий/жертв, то можно решать проблему и штрафами за аварии. Это сложно, потому что тяжело штрафами задать конкретный уровень безопасности для разных компаний. Ну и вообще, правильные робомобили как раз соответствуют интересам большинства населения, даже если будут не идеальными, а просто лучше обычных.
Вопрос в том, что будет через 20 лет, когда новая технология будет в каждом авто? С кем тогда сравнивать аварийность? С водителями из 2000-х годов?— постепенно со временем можно задирать планку безопасности законодательно. Как сейчас с экологией поступают. Привязка к обычным водителям — это лишь отправная точка, ниже (то есть опаснее) которой вся затея теряет смысл.
А если разработчик выпустит апдейт, и перепутав веса машины начнут специально наезжать на пешеходов, то продолжать нести чушь про отказ от ответственности, потому что на 1000000 человек потери все равно меньше, чем в 2000-х— да, такое может быть, поэтому можно ввести помимо жёстких (тюрьма) наказаний за нарушение норматива ещё и мягкие (штраф) за вообще любое ЧП. Это не убьёт робомобили как вид транспорта, но создаст нужное давление на производителя.
Поймите, для реализации тех требований, о которых я говорю достаточно перестать мечтать о сверхскоростях для ИИ на первом этапе.— ничего не имею против, пусть на раннем этапе ИИ ездит с теми самыми 30 км/ч. Но судя по моим знаниям теории надёжности, это не приведёт к реализации требования «100% безаварийность». Возможно, это приведёт к ситуации «для 10к машин риск того, что хотя бы одна попадёт в аварию, достаточно мал, чтобы владелец компании мог отвечать за это головой» — а может, и не приведёт.
Снизьте скорость (по крайней мере до тех пор, пока сенсоры не смогут однозначно распознавать реальность на максимальном тормозном пути), введите жесткое соблюдение ПДД и торможение в любой не однозначной ситуации и не будет вообще ДТП с участием роботов— если бы… У вас был курс теории надёжности? «Надёжность в 4 девятки» — слышали такое выражение? Если мы сделаем необыкновенно надёжную машину, то с ростом числа этих машин будет повышаться количество всякой лажи, которая с ними может случиться. В условиях требований 100% надёжности будут рулить те компании, которые могут продать 10-100 машин и при этом окупиться. В идеале за каждую машину будет отвечать её продавец (не фирма, а один человек, нанятый только для того, чтобы было, кого сажать, если что), у него будет тот же юридический статус, что и у водителя… Но мне кажется, это очень костыльное решение.
А еще люди будут бояться подходить к дороге, не обнесенной 2-х метровым бетонным забором— это хороший аргумент. Но мне неочевидно, почему нельзя это занести в метрику качества той самой Moral Machine. Сказать, что жизнь пешехода на тротуаре ценнее, чем жизнь любого человека на дороге.
Ну а чтобы у бизнесменов не было соблазна где-то схитрить, задать норматив на потери среди пешеходов, например. И сажать руководство, если превысят долю потерь. Опять сложное государственное регулирование получается, но мы же хотим минимизировать жертвы?
Медленные автомобили нельзя выпускать на дороги общего пользования — они создадут кучу пробок.— для начала можно сделать автопилот доступным только на малых скоростях. Хочешь ездить под 60 — отключай автопилот, садись сам. Это на этапе тестирования опасной технологии. А там дальше обкатают и технологию и законодательство, и можно будет повысить ограничения.
Опять сложное государственное регулирование и динамическое законодательство =) Но кажется, это и даст возможность полевого тестирования, и сократит потери из-за «сырости», и не даст бизнесу загнуться из-за сверх-рисков
Прямо на статью объем.
Штатный лось на дороге. Он не уходит, обычно. В этот момент оттормозиться и попросить водителя взять руль.
Аналогично, если сенсоры начали нести чушь (например один закидало грязью и их показания резко отличаются).
И он будет методично подрезать пешеходов на «зебре», ведь «они так забавно отскакивают».
Они даже для ущербных «кровяных мешков» оптимизируют смертность. У ИИ практически отсутствует время на принятие решения, что уменьшает тормозной путь раза в 2. Они может и не сведут смертность в 0, но точно существенно сократят в содействии с ИИ и точно не вызовут общественного недовольства, как «вагонетка».
Речь не о тех моментах которые человек знает, а о тех о которых не знает ИИ.
Тот же лось на дороге. Сможете написать алгоритм 100% безопасного объезда? Мне на ум приходит только выдернуть ручник и ждать. А он там долго может стоять. Человек же, с высоким риском аварии может попытаться объехать на низкой скорости.
Ага, штраф за превышение скорости для меня и для небезызвестной Мары — несколько разный мотивирующий фактор. Это просто выдавит с рынка дешевые авто. Реальный же срок уравнивает в ответственности и меня и олигарха (если предположить, что его тоже посадят).
Ага, а потом фольцваген нахимичит с формулой или чье-то правительство скажет что средняя продолжительность жизни увеличилась… Ага, верьте дальше.
После серии аварий за дело берется ОБОП и сажает всю сеть, после чего схема прекращает свою жизнь.
Только вот на скорости 30 не нужна «вагонетка». Время полной остановки меньше секунды. А значит во всех ситуациях, когда робот видит препятствие он может остановиться. Осталось повесить нормальное количество органов чувств.
скорее всего, ничего не успеет,
Штатный лось на дороге. Он не уходит, обычно. В этот момент оттормозиться и попросить водителя взять руль.
Аналогично, если сенсоры начали нести чушь (например один закидало грязью и их показания резко отличаются).
проехать вот там с 1%-ым риском удара
И он будет методично подрезать пешеходов на «зебре», ведь «они так забавно отскакивают».
необязательно будет оптимизировать потери или какие-нибудь другие цели.
Они даже для ущербных «кровяных мешков» оптимизируют смертность. У ИИ практически отсутствует время на принятие решения, что уменьшает тормозной путь раза в 2. Они может и не сведут смертность в 0, но точно существенно сократят в содействии с ИИ и точно не вызовут общественного недовольства, как «вагонетка».
Если водитель знает о каких-то минусах ИИ
Речь не о тех моментах которые человек знает, а о тех о которых не знает ИИ.
Тот же лось на дороге. Сможете написать алгоритм 100% безопасного объезда? Мне на ум приходит только выдернуть ручник и ждать. А он там долго может стоять. Человек же, с высоким риском аварии может попытаться объехать на низкой скорости.
то можно решать проблему и штрафами за аварии.
Ага, штраф за превышение скорости для меня и для небезызвестной Мары — несколько разный мотивирующий фактор. Это просто выдавит с рынка дешевые авто. Реальный же срок уравнивает в ответственности и меня и олигарха (если предположить, что его тоже посадят).
Как сейчас с экологией поступают.
Ага, а потом фольцваген нахимичит с формулой или чье-то правительство скажет что средняя продолжительность жизни увеличилась… Ага, верьте дальше.
Но мне кажется, это очень костыльное решение.
После серии аварий за дело берется ОБОП и сажает всю сеть, после чего схема прекращает свою жизнь.
Но кажется, это и даст возможность полевого тестирования, и сократит потери из-за «сырости», и не даст бизнесу загнуться из-за сверх-рисков
Только вот на скорости 30 не нужна «вагонетка». Время полной остановки меньше секунды. А значит во всех ситуациях, когда робот видит препятствие он может остановиться. Осталось повесить нормальное количество органов чувств.
Лося на дороге можно и правда свалить на человека, и ничем особенно страшным это не грозит. В этом частном случае скоростного принятия решений не требуется.
Нет нигде такого требования — чтобы больший и сложный продукт массового производства был ещё и на 100% безаварийным, а иначе разработчика посадят. Это уничтожит то самое производство.
И он будет методично подрезать пешеходов на «зебре», ведь «они так забавно отскакивают».— если этот вариант приводит к минимальным жертвам, то в чём проблема? Это не штатная ситуация, это что-то на уровне «уводим падающий самолёт от города». А в случаях малых рисков ПДД будет приоритетнее.
Они даже для ущербных «кровяных мешков» оптимизируют смертность. У ИИ практически отсутствует время на принятие решения, что уменьшает тормозной путь раза в 2.— ПДД — это набор правил, составленных для достижения цели. Не единственный возможный, не наилучший, а компромиссный и заточенный под человека. ИИ может найти ситуацию, когда нарушение ПДД будет приводить к ощутимому уменьшению числа потерь. Просто потому, что никакая наперёд заданная система правил не достигает цели с лучшей надёжностью, чем правило «достигай цели».
Они может и не сведут смертность в 0, но точно существенно сократят в содействии с ИИ и точно не вызовут общественного недовольства, как «вагонетка».— в плане общественного недовольства ПДД вполне может быть лучше вагонетки. Недовольство сложнее оптимизировать, чем прямые потери. Только разработчика, по вашей логике, всё равно посадят. И чем больше будет таких машин, тем быстрее посадят, и неважно, насколько они надёжны — сработает закон больших чисел.
Только вот на скорости 30 не нужна «вагонетка». Время полной остановки меньше секунды. А значит во всех ситуациях, когда робот видит препятствие он может остановиться. Осталось повесить нормальное количество органов чувств.— в подавляющем большинстве случаев. Не в 100%, потому что 100% вероятностей в жизни не бывает. И неважно, как будет реализован ИИ — через ПДД или через прямую оптимизацию метрик. Разработчики это понимают, они теорию надёжности знают, и потому либо будут искать лазейки в законодательстве, чтобы «поделить» ответственность, чтобы один человек не отвечал более чем за 10 машин, либо вообще откажутся от проекта, либо выйдут на окупаемость на 10 машинах, а затем свернут бизнес.
Нет нигде такого требования — чтобы больший и сложный продукт массового производства был ещё и на 100% безаварийным, а иначе разработчика посадят. Это уничтожит то самое производство.
А в случаях малых рисков ПДД будет приоритетнее.
Так «вагонетка» говорит о равных рисках = 100%.
ИИ может найти ситуацию, когда нарушение ПДД будет приводить к ощутимому уменьшению числа потерь.
Например?
Только разработчика, по вашей логике, всё равно посадят.
За что, если он соблюдал ПДД?
был ещё и на 100% безаварийным
Не надо чтобы он был безаварийным. Надо чтобы он правила не нарушал.
ПДД сильно избыточны, даже для человека. Все аварии, о которых я знаю, происходили из-за значительного нарушения ПДД либо из-за технической неисправности авто.
В случае соблюдения ПДД просто не возникнет «вагонетка».
Конечно не возникнет. Потому что составители ПДД сняли с себя ответственность, введя правила типа «нужно соблюдать такую скорость и дистанцию, чтобы обеспечить безопасность вождения».
Вот так! Попал в ДТП — значит, нарушил ПДД просто потому что там есть пункт «нелья попадать в ДТП».
Вот так! Попал в ДТП — значит, нарушил ПДД просто потому что там есть пункт «нелья попадать в ДТП».
ИИ может найти ситуацию, когда нарушение ПДД будет приводить к ощутимому уменьшению числа потерь.— тот, кто сможет привести пример, сможет и улучшить систему =) Не могу привести примера. Просто личное наблюдение за огромным числом систем распознавания и принятия решений — они никогда не работают со 100% точностью. При этом они иногда работают точнее, чем человек.
Например?
А ещё наблюдение — если сделать максимально эффективную систему прогнозирования/управления для работы в условиях реальности, она будет дофига неинтуитивной. А если постараться сделать её понятной для человека, она резко теряет в точности/качестве управления. В общем, если систему может понять средний человек, и она заточена под работу со стохастической реальностью, значит, у неё обычно есть ещё простор для улучшения. Правда, она тогда станет непонятной для человека. Это наблюдение, вижу такое и в прогностической аналитике, и в распознавании картинок, и в задаче оптимального управления в более-менее сложном мире, и в задачах антифрода. Правила, заточенные под исполнение человеком и оптимальные правила — это разные вещи.
Только разработчика, по вашей логике, всё равно посадят.— за то, что допустил гибель людей. За неидеальность.
За что, если он соблюдал ПДД?
Не надо чтобы он был безаварийным. Надо чтобы он правила не нарушал.
В случае соблюдения ПДД просто не возникнет «вагонетка».— эти две вещи исключают друг друга. Либо в случае соблюдения ПДД не возникнет вагонетка — тогда ИИ ездит в математическом мире шахмат, где последствия каждого хода известны с бесконечной точностью и надёжностью, вместо колёс идеальные цилиндры, а вместо двигателя машина Карно.
Либо не надо, чтобы был безаварийным, а надо, чтобы не нарушал — и тогда ИИ будет изредка попадать в ситуацию вагонетки, потому что ездит в мире, где нет 100%-ых определённостей, а если очень много бросать монетку, то её всё-таки удастся поставить на ребро.
Скажем так, если соблюдать ПДД, то вагонетка не возникнет с очень высокой, но не 100% вероятностью.
Так «вагонетка» говорит о равных рисках = 100%.— насколько я понимаю, это упрощение для людей. ИИ будет выводить или распределение вероятностей (в лучшем случае), или матожидание потерь (в худшем). У правильно сделанного ИИ 100%-х вероятностей не бывает.
Просто это слишком сложные концепции для большинства людей, поэтому можно договориться, что жизнь одного пешехода стоит как 5 водителей, и допускать 2%-ый риск для пешехода для предотвращения 10% риска для водителя.
Не могу привести примера.
Так может и нет такой ситуации?
За неидеальность.
А еще за то, что буржуй! «Экспроприировать экспроприаторов!» ©
то вагонетка не возникнет с очень высокой, но не 100% вероятностью.
ПДД расчитаны на человека и ООООЧЕНЬ сильно избыточны
, и допускать 2%-ый риск для пешехода для предотвращения 10% риска для водителя.
В своих внутренних документах — что угодно. Но для общества машины-убийцы должны быть неприемлимы.
Так может и нет такой ситуации?не значит =) Вы утверждаете то, что сводится к формуле: если следовать правилам таким-то, то аварий не будет никогда. Это общее высказывание, доказывается математически, никакие примеры не могут его доказать. Как теоремы в геометрии. То, что нет конкретного контрпримера, ничего не значит. Кванторы «все» и «хотя бы один из» знаете? Ваше высказывание содержит квантор «все», оно необыкновенно сильное и обязывающее.
И Вы хотите сказать, что даже в таких тепличных условиях не осилит? Ну нафига он такой нужен?— теория надёжности, теория вероятности. Не бывает никаких 100%.
Нужен затем, что у человека доля аварий будет больше. А ещё он не признает свою небесконечную надёжность и будет считать, что какие-то там правила ему что-то гарантируют со 100% вероятностью. Да будь они хоть ещё десятикратно избыточны, теория надёжности ставит крест на идее добиться 100% гарантий.
Вы знаете, как реализуется надёжность на пилотируемом космическом аппарате? Там ставят, скажем, 3 бортовых компьютера в параллель. Потому что один может отказать. И 3 тоже могут отказать, но с меньшими шансами. И нет никакого конечного числа компов, которые не могли бы отказать (и согласованно выдать какую-нибудь явно вредную команду). Просто в какой-то момент останавливаются и говорят: «такой уровень риска нас устраивает».
Да. Но какого лешего ты ехал на такой скорости, что ребенок успел незаметно для тебя выбежать на дорогу ближе чем на тормозной путь?
А вот тут нет. Виноват либо водитель (если он из мяса), либо разработчик ИИ. Т.к. появление ребенка по курсу говорит о превышении скорости.
В идеальном математическом мире — все верно. В реальном физическом мире — не факт. Этот ребёнок мог там оказаться тысячей разных способов. Просто представьте, что это произошло и попробуйте догадаться, что могло привести к такому результату — ребёнок на дороге, водитель не успевает затормозить/уклониться, нарушения ПДД нет, всё остальное возможно.
Мы в физическом мире. У нас есть вертолёты, источники помех, ослепление сенсоров, дыры в заграждениях, аварии едущих впереди машин, ошибки тормозов, разлитое масло и ещё куча всякого разного, о чём мы не подумали, но могли бы придумать.
Sign up to leave a comment.
Почему не стоит ждать проявлений морали от робомобилей