Комментарии 25
Разработчики утверждают, что расовые характеристики при разработке не использовались. Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.
В переводе на простой язык: представители определённой социальной группы (назовём её условно "негры") по тем или иным причинам чаще совершают преступления. И система это считала безо всякого воздействия вроде расовых характеристик в коде. Значит, проблема не в системе, а в том, что негры чаще совершают преступления, и надо решать именно эту, реально существующую, проблему, а не вымышленную.
И ученые, и простые люди продолжают дискутировать о том, в чью пользу должен быть выбор машины, которую ведет искусственный интеллект, если перед ней возникает угроза сбить пешехода — в пользу человека, которого она везет, или в пользу пешехода?
100500-й раз этот вопрос упоминается на Хабре. Ложь, повторенная тысячу раз, становится правдой? Выбор машины должен быть в пользу соблюдения ПДД и ни в чью более. При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.
Пешеход же ни в чем не виноват, он просто мимо проходил.
Каким образом этот мимокрокодил оказывается на проезжей части, когда по ней едут машины? На красный перебегает? Из-за угла в неположенном месте выскакивает? Или, может, машина, алгоритмы которой полностью исключают нарушение ПДД, взяла и поехала по тротуару? Каким вообще образом может возникнуть угроза сбить пешехода, если и он и машина соблюдают ПДД? Это абсолютно невозможно.
И да, если пешеход почему-то внезапно оказывается посреди проезжей части, то на этот счёт в ПДД тоже есть чёткая инструкция: экстренно тормозить вплоть до полной остановки. Учитывая скорость реакции автопилота по сравнению с живым водителем и соответственное увеличение тормозного пути, у пешехода-нарушителя в любом случае больше шансов выжить при внедрении автопилотов.
Классические задачи на этику, использовавшиеся в экспериментах психологов
… оторваны от реальности и потому абсолютно бесполезны в практическом плане. (Ради мысленного эксперимента хотелось бы заслушать юрист-куна, будут ли судить по 105-й того, кто перевёл стрелку, или спишут на обоснованное причинение вреда).
Каким вообще образом может возникнуть угроза сбить пешехода, если и он и машина соблюдают ПДД? Это абсолютно невозможно.
Поскользнулся и упал. Толкнули. В рамках ПДД переходил дорогу в плохо освещённом месте с отвратной разметкой под снегом.
Минимум три варианта сразу видятся.
то на этот счёт в ПДД тоже есть чёткая инструкция: экстренно тормозить вплоть до полной остановки
Если не ошибаюсь — ещё и не меняя полосы. То есть именно тормозить ровно, чтоб не создавать аварийные ситуации в других полосах.
То есть в любом случае ситуация
1 — автопилот пытается спасти пешехода (и имеет на это больше шансов, чем водитель), но в первую очередь спасает пассажира — более выгодна, чем
2 — водитель пытается спасти пешехода, но в первую очередь спасает себя, и чем
3 — автопилот пытается спасти пешехода в первую очередь, но не имеет почти никаких шансов вообще оказаться на дороге с пассажирами внутри
Разница в желании водить обычный внедорожник и с кенгурятником невелика, в любом случае водитель несет ответственность за свою жизнь на дороге. Эта же разница в случае с автопилотами принимает совсем другие масштабы. Я не берусь предсказывать, какую популярность могли бы завоевать автопилоты с приоритетом для пешеходов, но причин запрещать приоритет для водителя явно меньше по сравнению с теми же кенгурятниками.
Если по каким-то причинам будут разрешены только автопилоты с приоритетом для пешехода, то водители-пассажиры будут искать разного рода уловки для повышения собственной безопасности. Так как доверие в целом к автопилотам у водителей будет невысоким, можно предположить, что эти уловки будут деструктивными. Возможно, будут использоваться системы имитации автопилота или другие способы, сводящие на нет усилия со стороны производителей и властей. Возможно, пассажиры просто будут бояться садиться в авто. В любом случае, это должно привести к более сильному конфликту.
автопилоты с приоритетом для пешеходов
А можете объяснить более предметно, что вы вкладываете в понятие «приоритет»? Откуда и в каких условиях этот приоритет берётся? На секунду, у нас в стране, да и в большинстве стран мира (за исключением тех, в отношении которых Трамп дал очень краткую и точную характеристику) действуют ПДД, которые непротиворечивы, т.е. не допускают возможности аварии при их соблюдении потенциальными её участниками. Если же авария произошла из-за нарушения правил, то виновен в ней именно нарушитель. Беспилотники ПДД не нарушают и с неисправными тормозами никуда не едут, это в них вшито как аксиома.
Итак, откуда же в таких условиях взяться разнообразным приоритетам? Надо просто соблюдать правила. Если впереди зебра — заранее чуть сбавляем скорость и внимательно следим за людьми по краям дороги, чтобы иметь возможность затормозить. Если пешеход вышел в неположенном месте — тормозим, чтобы не сбить. Если он внезапно появился прямо перед машиной — ПДД предписывают экстренно тормозить, а там уж как получится, ибо ССЗБ. Вертеть рулём и уходить на встречку/в столб при этом совершенно необязательно и не нужно. (Тем не менее, если беспилотник видит возможность безопасно увернуться — например, встречка совершенно свободна и сзади никто не подпирает — то он вполне может это сделать и сделает с большей безопасностью и реакцией, чем живой водитель, который при таком манёвре уж точно не оглянется на предмет обгоняющих).
Если же авария произошла из-за нарушения правил, то виновен в ней именно нарушитель
Все не так просто, к сожалению… ст. 1079 ГК РФ:
Юридические лица и граждане, деятельность которых связана с повышенной опасностью для окружающих (использование транспортных средств, механизмов, …, обязаны возместить вред, причиненный источником повышенной опасности, если не докажут, что вред возник вследствие непреодолимой силы или умысла потерпевшего. Владелец источника повышенной опасности может быть освобожден судом от ответственности полностью или частично также по основаниям, предусмотренным п. 2 и 3 ст. 1083 настоящего Кодекса… и т.д.
И еще:
Вина потерпевшего не влияет на размер взыскиваемых с причинителя вреда расходов, связанных с возмещением дополнительных затрат (пункт 1 статьи 1085 ГК РФ), с возмещением вреда в связи со смертью кормильца (статья 1089 ГК РФ), а также при компенсации расходов на погребение (статья 1094 ГК РФ).
Короче, если 100% виноват пешеход, а водитель нет — то в РФ ты все равно должен компенсировать стоимость лечения (
Но это именно надо доказать. А по умолчанию — надо платить. Во всех случаях, кроме злого умысла и форс-мажора, выплаты можно только уменьшить. Но не отменить полностью.
Вот и начнут пешеходы шугать автопилоты. А их шугать проще — они тупые и линейные. Проще просчитать их реакцию.
Такого приоритета, который предвзято делает выбор в пользу одного из участников событий, даже если он неправ, конечно, быть не должно. Речь идет о выборе, когда другие аргументы не дают возможности принять решение. Например, когда никто не нарушил ПДД. Несколько опрометчиво утверждение, что при неукоснительном соблюдении ПДД спорных ситуаций возникать не может. Кто-то здесь уже описывал вариант, когда автомобиль уже вытолкнут с трассы в результате аварии и движется в сторону остановки с людьми. Автопилот может скорректировать движение и вылететь с обрыва, сохранив жизни людям на остановке.
Конечно, главная задача разработчиков — сделать все, чтобы таких ситуаций не возникало вообще. Хотя в целом стремление избежать ситуаций с принятием сложных этических решений — верное направление мысли, вряд ли возможно сократить вероятность влияния третьих сил до нуля. И пока полной ответвенности ПДД за жизни людей нет, лучше подумать, как принимать такие решения.
Кто-то здесь уже описывал вариант, когда автомобиль уже вытолкнут с трассы в результате аварии и движется в сторону остановки с людьми. Автопилот может скорректировать движение и вылететь с обрыва, сохранив жизни людям на остановке.
Когда автомобиль был вытолкнут с трассы (т. е. находится в движении с ухудшенной управляемостью, предположительно вне асфальтового покрытия, да ещё и может иметь повреждения), единственное верное решение — экстренно тормозить, а не крутить рулём, потому что это может привести к заносу или другим непредсказуемым последствиям. Максимум скорректировать движение в сторону своей полосы движения, если она свободна. Если же автомобиль летит боком, то попытки куда-то вырулить в принципе не будут эффективны. Плюс довольно умным решением будет в момент аварии немедленно активировать клаксон на 5-10 секунд, чтобы привлечь внимание окружающих.
Вообще, экстренное торможение без маневрирования — это довольно универсальная стратегия действий в аварийной ситуации. Она не всегда идеальная, но всегда минимально приемлемая. Проще говоря: если точно знаешь, что делать — делай как знаешь; в любом ином случае тормози.
Короче, если 100% виноват пешеход, а водитель нет — то в РФ ты все равно должен компенсировать стоимость лечения (похорон) пешехода и его расходы
(это ответ не вам, а комменту выше) Уточнение: платить должны не лично вы, а ваша страховая компания. Ну или его страховая компания. В плане материальных расходов вообще всё просто: есть страховка, нет проблем.
платить должны не лично вы, а ваша страховая компания
Это в случае, если виноват водитель.
А если виноват пешеход, то он обращается с прямым иском к водителю. И платит водитель, а не страховая. Конечно, если это прописано в договоре со страховой — водитель может выставить счёт страховой (но я такого не встречал). Но в случае если виновный пешеход заявляет компенсацию на лечение — тяжба именно пешеход-водитель, а не пешеход-страховая.
Да, вот так это и работает. Страховая ОСАГО тут бесполезна. И вроде стандартная КАСКО тоже не работает.
И иск взыскании денег о потери кормильца, инвалидности, смерти тоже идёт напрямую водителю.
При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.
К сожалению, пешеходы и велосипедисты очень часто не соблюдают ПДД — и однозначно рассуждения на эту тему будут другими для ситуации, где и не-автомобиль всегда будет строго соблюдать ПДД. Плюс внедрение автопилотов явно не будет одномоментным и долгое время на одной дороге будут соседствовать несовершенные люди и строго соблюдающие ПДД машины под управлением автопилота.
Затормозить до полной остановки в случае внезапного появления пешехода перед машиной (например, перелезшего через заграждения магистрали человека, ребенка, который скатился с горки у оживленного шоссе) нередко невозможно просто по законам физики, повсеместное внедрение автопилотов тут не поможет, увы.
Ну и пункт 10.1 ПДД (который коротко можно пересказать как «правильно скорость выбирайте, а не правильно — не выбирайте») скорее сформулирован за всё хорошее и против всего плохого :) Он совершенно не поддается переносу в алгоритм, а набор обучающего набора данных с разными погодными условиями, разным освещением, разными типами дорожного покрытия и т.п. потребует очень большого времени. Возьмем, к примеру, выход лосей на трассу — разумной для автомобиля скорости, при которой удастся избежать столкновения в 100% случаев, просто не существует (да, существуют техники, позволяющие избежать столкновения, но для всех из них требуется обнаружение лося за некоторое время до, что не всегда возможно — они крайне любят выходить прямо под колеса). Должен ли автопилот в период миграции лосей всегда выбирать скорость пешехода как гарантирующую мгновенную остановку? Будет ли смысл в таком автомобиле? :) Можно было бы предположить, что в идеальном мире будущего все трассы перехода лосей через дорогу будут закрыты заборами, как сейчас делается на магистралях, — но скорее всего найдется какое-то более простое решение, чем огородить вообще все дороги.
При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.
Остаётся достаточно большая вероятность технического сбоя.
Например перегорел светофор, частично. Или украли (упал, повредился) знак приоритета (уступи дорогу). В этом случае возможны аварии где оба участника полностью соблюдают ПДД. К сожалению.
В зависимости от выбранной точки зрения можно спорить дальше: если машина должна прежде всего отвечать за безопасность тех, кто внутри машины, то почему? Пешеход же ни в чем не виноват, он просто мимо проходил. А если она должна совершать выбор в пользу пешехода против безопасности тех, кто сидит в машине, то почему? Они же в ней сидят, и, казалось бы, искусственный интеллект должен позаботиться о тех, кто ему доверился.
В литературе приведены случаи, когда человек в похожей неразрешимой ситуации самоуничтожался. Может ИИ научившись на такой литературе будет самоуничтожатся? В этом случае неуправляемая машина на большой скорости убьет пешехода и пассажира.
Это довольно интересный кейс
Но потом:
И ситуаций, куда нельзя применить что-то вроде «трех законов робототехники», немало.
Объясните: когда какое слово применять? ;)
Раньше шансы выйти за пределы своего информационного пузыря были невелики, его поддерживали наши привычки и круг общения. Сегодня эти шансы практически нулевые для всех, кто не делает для этого специальных усилий.
Да уж, "вы смотрели такое — вам может понравиться похожее" и резко упрощение ликвидации из ленты любых не нравящихся точек зрения/новостей/источников очень способствует "окукливанию".
(ps пардон, сперва коряво прочёл исходник, потом уже перечитал и исправился)
Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.
А ещё существует проблема что да, определённые категории населения(речь же про США и проблему что цветное население непропорционально много преступлений совершает, за что и попадает под проверку чаще же — но говорить об этом нельзя, потому что фу и расизм) статистически чаще совершают такие или такие правонарушения. А другие статистически чаще в других оказываются замешаны. Статистика, неполиткорректная ты с… наука.
Так что проблема не в "неполиткорректном ИИ", а в том, что связь и правда есть. И её настоящую первопричину никакой ИИ и программист/составитель датасетов не испавит. Потому что она в области социальной, экономической, культурной.
Носит бороду(истина для большой группы) = +0.0001223 к весу того что убийца. На выброс.
Мужчина = +1 к весу того что убийца. Это тоже выбросить.
Тогда должны остаться только значимые и специфичные корреляции.
определённые категории населения статистически чаще совершают такие или такие правонарушения
В целом всё так, но, скажем, для исправления ситуации с повторяющимися преступлениями — важно найти истинные причины (помня о том, что в статистике корреляция не означает причинность). В противном случае мы можем оказаться в ситуации, когда ИИ проанализировал поведение людей с диагностированным раком легких и посоветовал выбросить зажигалки, потому что наличие зажигалки в вещах пациента коррелирует в большим риском такого диагноза — а на деле человек, изучавший датасет, должен был сказать «постойте, но там может быть третий фактор!»
Для судебной системы, например, может быть ценно через анализ значимости признаков понять, почему одни совершают снова преступление, а другие точно такие же по своим характеристикам — нет (и на этот признак воздействовать или ввести дополнительные факторы, с ним связанные, в модель). Но в поведении людей столько влияния латентных переменных, что процесс может быть очень-очень длительным.
Тут нельзя не вспомнить историю Калеба Кейна, когда поднялся вопрос о радикализации пользователей потребителей контента ютуба.
Но выводы в NYT, по-моему сделаны не полные. Они либо не смогли, либо постеснялись сделать комплексные выводы. Ведь ютуб радикализирует не в одном направление, он радикализирует во всех направлениях. С той точки зрения, что радикализация пользователей начинает напоминать кластеризацию, которую строят алгоритмы машинного обучения.
Если человек попадается в какоую-то группу интересов, система формирует аттрактор смещения его интересов приводя его в какой-то устойчивой кластер потребителей контента.
Здесь вызывает умиление следующий тезис
Разумеется, смещения данных — не тайна, и крупные компании прекрасно об этом знают. Существуют разные методы борьбы ...
Кто сказал, что компаниям выгодно бороться со смещением данных, и в конечном счете смещением восприятия потребителей этих данных. Ведь это смещение формирует положительную обратную связь. А с точки зрения, больших компаний, пользователи интересы которых гипертрофируются, радикализируются, или перемещаются в центр какого-то выделенного кластера, более выгодны чем пограничные не устойчивые потребители контента.
Чем важнее контент, с точки зрения потребителя, тем больше в нем необходимость. Поэтому вполне выгодно слегка подвинуть восприятие потребителя.
Как bias может повлиять на мир вообще и людей-пользователей в частности?