Itelma 18 мар 2020 в 15:27

Папа римский: Этика для ИИ и беспилотных автомобилей

12 мин

Блог компании НПП ИТЭЛМАНаучно-популярноеИскусственный интеллектТранспортБудущее здесь

Перевод

Папа Римский опасается, что ИИ может принести людям вред вместо того, чтобы стать инструментом, который дополнит общество и улучшит его жизнь.

Согласно Ватикану, в недавно изданном документе, который называется «Римский призыв к этике ИИ» (“Rome Call For AI Ethics”), говорится о том, в каком направлении должен двигаться ИИ как технология, которая направлена на улучшение общества, а также о предотвращении перспектив нанесения вреда и гибели общества.

Иногда ученые склонны к внедрению инноваций, не изучив в явной форме возможные последствия. Таким образом возникает множество призывов к обращению внимания на этику ИИ в эпоху гонки разработок и внедрения интеллектуальных систем (особенно когда речь идет о системах на основе машинного и глубокого обучения).

Вот ключевая цитата из документа, изданного Папой:

«Сейчас, как никогда ранее, мы должны гарантировать перспективы, согласно которым ИИ будет развиваться с упором не на технологии, а на благо человечества, окружающей среды, нашего общего дома, и его обитателей, которые неразрывно связаны между собой»

Католическая церковь просит всех, кто занимается созданием ИИ помнить о потенциальных действиях этих систем. Сюда же входит призыв обращать внимание как на предполагаемые, так и на потенциально непреднамеренные последствия.

Некоторые разработчики ИИ закрывают глаза на то, что действия их разработок могут вызывать возникновение непредусмотренных неблагоприятных последствий.

Помните о следующих аспектах социальной динамики:

Некоторые инженеры и ученые считают, что до тех пор, пока система ИИ хотя бы делает то, на что они рассчитывали, все остальные последствия не находятся в их ведении, и поэтому они пытаются умывать руки от любых подобных невзгод.
Также многие разработчики ИИ даже не задумываются об отрицательных возможностях своих продуктов (речь о людях, которые, как правило, недостаточно осведомлены по этому вопросу, зачастую они по наивности этого даже не осознают).
В некоторых случаях создатели систем ИИ имеют полную экспертизу в технологиях, но не осведомлены об этических вопросах, которые могут возникать в процессе разработки. Эти люди слишком озабочены технологическими вопросами, при этом они не задумываются о том, как разбираться с потенциальными последствиями негативных действий своих систем.
Также бывают ситуации, когда разработчики слишком фокусируются на «доброте» своего ИИ, из-за чего они чрезмерно погрязают в чувстве принадлежности к благородной цели. В итоге эти люди отказываются обращать внимание на недостатки и полагают, что любые подводные камни оправдывают великую цель и ее преимущества.
Некоторые разработчики чрезмерно сосредоточены на том, чтобы всех опередить и быть первыми, кто достигнет определенного успеха в области ИИ. Эти люди думают, что с потенциальными этическими проблемами они разберутся постфактум и пренебрегают долгими и мучительными испытаниями своей системы, пытаясь вывести ее в свет как можно скорее (в итоге получается классический Троянский Конь – на улицы попадает нечто, что обязательно принесет проблемы – это лишь вопрос времени).

Этот документ – залог того, что ИИ будет адекватен для общества

Документ, опубликованный католической церковью, выступает в качестве некоего залога, и всех участвующих в создании систем ИИ вежливо попросят подписаться под этим залогом.

Действительно, этот документ уже подписали несколько игроков, среди них IBM и Microsoft.

О чем же этот документ просит подписавшихся?

Я кратко расскажу о некоторых деталях. Этот описывает три основных принципа. Итак, система ИИ должна:

"… быть инклюзивной для всех и никого не дискриминировать; в сердце этой системы должны быть доброта человеческого рода в целом и каждого человека в частности; наконец, эта система должна помнить о сложном устройстве нашей экосистемы и характеризоваться своим отношением к нашему общему дому. Интеллектуальная система должна подходить к этому вопросу с максимально рациональной стороны, причем ее подход должен включать в себя использование ИИ для обеспечения стабильных продовольственных систем в будущем".

Итак, вкратце:

ИИ не должен никого дискриминировать
ИИ должен иметь только добрые намерения
ИИ должен заботиться об экологической стабильности

Аспект, который следует иметь в виду, заключается в том, что ИИ не определяет свое будущее сам, как бы ни казалось, что эти системы уже автономны и сами творят свою судьбу.

Все это неверно, по крайней мере сейчас (так будет и в ближайшем будущем).

Иными словами, только мы, люди, создаем эти системы. Следовательно, только люди несут ответственность за то, что делают системы ИИ.

Я говорю об этом, потому что это простой выход из ситуации, в которой инженеры и разработчики ИИ делают вид, что в ошибках их продукта они не виноваты.

Вы, вероятно, знакомы с ситуацией, когда вы обращаетесь в управление автомобильным транспортом для продления водительских прав, а их информационная система падает. При этом агент управления только пожимает плечами и жалуется, что все это вечно происходит с техникой.

Если быть точным, то не вечно, и не со всей техникой.

Если не работает компьютерная система, то виноваты люди, которые настраивали компьютер и не смогли должным образом создать резервные копии, а также не обеспечили возможность получения доступа к системе при необходимости.

Не попадайтесь в логическую ловушку, не соглашайтесь с тем, что компьютерные системы (в том числе системы ИИ) имеют собственное мнение, а если они сходят с ума, то дело не в том, что это «вечно происходит с техникой».

Правда заключается в том, что люди, которые разработали и внедрили компьютерную систему несут полную ответственность, так как это они не предприняли достаточные меры и не уделили своей работе достаточно внимания.

В случае с призывом Папы Франциска принять участие в обсуждении жизненно важных этических принципов может показаться, что все эти тезисы очень просты и не поддаются критике (потому что они очевидны как утверждение, что небо голубое), но несмотря на это, появились стороны, которые отрицают предложения Ватикана.

Как так?

Во-первых, некоторые критики утверждают, что в этом залоге нет никакого обязательного аспекта. Если компания под него подпишется, то за несоблюдение принципов залога не последует никакого наказания. Таким образом, вы можете подписаться, не боясь ответственности. Залог без последствий многим кажется пустым.

Во-вторых, некоторых беспокоит тот факт, что с таким призывом к этике ИИ обратилась именно католическая церковь. Причина заключается в том, что присутствие церкви вводит в тему религию, хотя некоторые считают, что она не имеет никакого отношения к данной теме.

Возникает вопрос – будут ли другие религии издавать аналогичные призывы? И если будут, то какие будут преобладать? И что мы будем делать с фрагментированным и разрозненным набором деклараций этики ИИ?

В третьих, некоторые считают, что этот залог – очень мягкий и чрезмерно общий.

Вероятно, документ не содержит предметных директив, которые могли бы быть реализованы каким-либо практическим способом.

Более того, те разработчики, которые хотят увернуться от ответственности, могут утверждать, что они неправильно поняли общие положения, либо истолковали их не так, как предполагалось.

Итак, учитывая шквал осуждения, должны ли мы избавиться от этого призыва Ватикана в пользу алгоэтики ИИ?

Отходя от темы, отмечу, что алгоэтика – название, которое дают вопросам, связанным с алгоритмической этикой. Может это и хорошее название, но оно не очень звучно, и вряд ли станет общепринятым. Время покажет.

Возвращаясь к теме – должны ли мы уделять внимание этому призыву к этике ИИ или нет?

Да, мы должны.

Несмотря на то, что этот документ, по общему признанию, не предусматривает каких-либо финансовых санкций за несоблюдение принципов, существует и другой аспект, который также важно учитывать. Фирмы, которые подпишут этот призыв, могут быть привлечены к ответственности широкой общественностью. Если они нарушат свои обещания и на это укажет церковь, то плохая реклама может повредить этим компаниям – она приведет к потере бизнеса и репутации в этой отрасли.

Вы могли бы сказать, что за нарушение этих принципов подразумевается какая-то плата, либо предположить, что она скрыта.

Что касается появления религии в теме, где, как кажется, ей не место, то поймите, что это совсем другой вопрос. Этот вопрос стоит значительных дискуссий и дебатов, но также признайте, что сейчас существует множество этических систем и призывов к этике ИИ от самых разных источников.

Иначе говоря, этот призыв – не первый.

Если вы внимательно изучите этот документ, то увидите, что в нем нет тезисов, имеющих отношение к религиозной доктрине. Это значит, что вы не смогли бы отличить его от любого аналогичного, выполненного без какого-либо религиозного контекста.

Наконец, с точки зрения расплывчатости этого документа – да, вы могли бы легко проехать на грузовике Mack через многочисленные лазейки, ну а желающие схитрить все равно схитрят.

Я предполагаю, что в области ИИ будут предприняты дальнейшие шаги, и эти шаги дополнят документ Ватикана конкретными указаниями, которые помогут устранить пробелы и упущения.

Возможно также, что любой, кто будет пытаться схитрить, будет осужден всем миром, а ложные заявления о якобы неправильном понимании документа будут расценены как очевидные уловки, которые нужны лишь для того, чтобы избежать соблюдения разумно сформулированных и вполне очевидных этических норм ИИ, провозглашенных в документе.

Говоря об убежденности в том, что все понимают принципы этики ИИ, обдумайте бесчисленное множество применения ИИ.

Существует интересный пример в области прикладного ИИ, относящийся к теме этики: следует ли разрабатывать и выводить на дороги беспилотные автомобили в соответствии с призывом Ватикана?

Мой ответ – да, однозначно так.

На самом деле, я призываю всех автопроизводителей и производителей техники подписать этот документ.

В любом случае, давайте разберем этот вопрос и посмотрим, как этот призыв распространяется на настоящие беспилотные автомобили.

Уровни беспилотных автомобилей

Важно уточнить что я имею в виду, когда говорю о полностью беспилотных автомобилях с ИИ.

Настоящие беспилотные автомобили – это транспортные средства, в которых ИИ осуществляет управление самостоятельно, без какой-либо помощи со стороны человека.

Такие транспортные средства относят к 4 и 5 уровням, в то время как автомобили, которые требуют участия человека для совместного вождения обычно относят к 2 или 3 уровню. Автомобили, в которых вождение осуществляется с помощью человека называют полуавтономными, и обычно они содержат множество дополнительных функций, которые относят к ADAS (продвинутые системы помощи водителю).

Пока что не существует полностью беспилотного автомобиля 5 уровня. На сегодняшний день мы даже не знаем удастся ли этого достичь, и сколько на это потребуется времени.

Тем временем, в области 4 уровня ведутся работы. Проводятся очень узкие и выборочные тесты на дорогах общего пользования, хотя ведутся споры о допустимости таких испытаний (некоторые считают, что люди, участвующие в тестах на дорогах и шоссе, выступают как морские свинки, которые в каждом испытании могут как выжить, так и погибнуть).

Поскольку полуавтономным автомобилям необходим водитель-человек, принятие таких автомобилей широкими массами не будет сильно отличаться от вождения привычных машин, нет ничего нового, что можно было бы о них сказать в контексте нашей темы (хотя, как вы скоро увидите, пункты, которые будут рассмотрены далее, к ним применимы).

В случае с полуавтономными автомобилями важно, чтобы общественность была предупреждена о тревожном аспекте, который возник в последнее время – несмотря на людей, которые продолжают публиковать видео о том, как они засыпают за рулем автомобилей 2 или 3 уровня, все мы должны помнить, что водитель не может отвлекаться от управления полуавтономным автомобилем.

Вы несете ответственность за действия по управлению транспортного средства 2 или 3 уровня, независимо от уровня его автоматизации.

Беспилотные автомобили и этика ИИ

В транспортных средствах 4 и 5 уровня человек не принимает участия в управлении, все люди в этих машинах будут пассажирами, а вождением будет заниматься ИИ.

На первый взгляд, вы можете предположить, что нет необходимости рассматривать проблемы этики ИИ.

Беспилотный автомобиль – это автомобиль, который может перевозить вас без участия водителя.

Вы можете подумать, что в этом нет ничего такого, а в том, как ИИ-водитель будет справляться с управлением нет никаких этических соображений.

Извините, но тем, кто считает, что все это не имеет отношения к этике ИИ, нужно стучать по голове или обливать этих людей холодной водой (я против насилия, это всего лишь метафора).

Существует множество соображений, связанных с этикой ИИ (вы можете прочитать мой обзор по этой ссылке, статья о глобальных аспектах этики ИИ находится по этой ссылке, а статья о потенциале экспертных советов в этой области находится по этой ссылке).

Давайте кратко рассмотрим каждый шести основных принципов, изложенных в «Римском призыве к этике ИИ».

Я буду стремиться сохранить краткость этой статьи, а потому буду предлагать ссылки на другие мои публикации, которые содержат более подробную информацию по следующим важным темам:

Принцип 1: «Прозрачность: системы ИИ должны быть объяснимы по своей сути»

Вы садитесь в беспилотный автомобиль, а он отказывается ехать туда, куда вы сказали.

В наше время большинство систем беспилотного вождения разрабатываются без каких-либо объяснений касательно их поведения.

Причиной отказа может быть, например, торнадо, или запрос, который не может быть выполнен (например, поблизости нет проходимых дорог).

Однако, без XAI (аббревиатура, обозначающая ИИ, который работает с объяснениями) вы не поймете что происходит (подробнее об этом здесь).

Принцип 2: «Инклюзивность: необходимо учитывать потребности всех людей, чтобы польза была одинакова для всех, а также всем людям должны быть предложены наилучшие условия для самовыражения и развития»

Некоторые обеспокоены тем, что беспилотные автомобили будут доступны только богатым, а остальной части населения они не принесут никакой пользы (см. Ссылку здесь).

Что мы получим – мобильность для всех, или для немногих?

Принцип 3: «Ответственность: те, кто разрабатывает и внедряет системы ИИ, должны действовать с ответственностью, а их работа должна быть прозрачной»

Как ИИ поступит в ситуации, когда ему придется выбирать – сбить ребенка, выбежавшего на дорогу, или врезаться в дерево, что причинит вред пассажирам?

Эта дилемма также известна как проблема вагонетки (см. ссылку). Многие требуют, чтобы автопроизводители и технические фирмы, работающие с беспилотным транспортом, были прозрачны в отношении того, как их системы примут решения в пользу жизни или смерти.

Принцип 4: «Беспристрастность: создавайте системы ИИ и действуйте без предрассудков, тем самым гарантируя справедливость и человеческое достоинство»

Предположим, что автомобиль с автоматическим управлением реагирует на пешеходов в зависимости от их расовых характеристик.

Или предположим, что автопарк беспилотных автомобилей обучится избегать езды в определенных районах, что лишит жителей свободного доступа к машинам, которым не нужен водитель.

Предрассудки, связанные с системами машинного обучения и глубокого обучения, вызывают серьезную озабоченность

Принцип 5: «Надежность: системы ИИ должны работать надежно»

Вы едете на автомобиле с автоматическим управлением, и он внезапно смещается к обочине и останавливается. Почему? Вы можете и понятия не иметь.

Возможно, ИИ достиг пределов своей области действия.

Или, возможно, система ИИ дала сбой, произошла ошибка, или что-то еще в таком духе.

Принцип 6: «Безопасность и конфиденциальность: системы ИИ должны работать безопасно и уважать конфиденциальность пользователей»

Вы садитесь в беспилотный автомобиль после веселья в барах.

Оказывается, что у этой машины камеры находятся не только снаружи, но и внутри.

По сути, камеры в салоне нужны для того, чтобы можно было поймать пассажиров, которые будут рисовать граффити или портить интерьер автомобиля.

В любом случае, все эти камеры, снимают вас все время, пока вы едете в беспилотном автомобиле, и на это видео попадут и ваши бессвязные фразы, ведь вы находитесь в пьяном угаре.

Кому принадлежит это видео, и что он может с ним сделать?

Должен ли владелец беспилотного автомобиля предоставить вам видео, и есть ли что-то, что мешает ему залить это видео в интернет?

Существует множество вопросов, связанных с конфиденциальностью, которые еще предстоит решить.

С точки зрения безопасности, существует множество возможностей взлома интеллектуальных систем вождения.

Представьте себе злоумышленника, который может взломать ИИ беспилотного автомобиля. Он может взять управление на себя, или, по меньшей мере, приказать автомобилю отвезти вас в место, где вас будут ожидать похитители.

Существует множество жутких сценариев, связанных с дырами безопасности в системах беспилотных автомобилей или в их облачных системах. И автопроизводители вместе с технологическими компаниями обязаны задействовать необходимые защитные системы и меры предосторожности.

Заключение

Если вы сравните этот призыв к этике ИИ со многими другими, то вы обнаружите, что у них много общего.

Критика, утверждающая, что в итоге у нас будет безмерное множество таких призывов, в некоторой степени верна, но можно предположить, что охватить абсолютно все основы также не повредит.

Такое положение дел начинает немного сбивать с толку, и производители ИИ будут использовать оправдание, которое заключается в том, что поскольку нет ни одного принятого стандарта, они будут ждать, пока такой документ не появится.

Похоже на разумное оправдание, но я на это не куплюсь.

Все производители, которые говорят, что они собираются ждать, пока всемирно принятая версия, составленная какой-либо большой шишкой, не будет одобрена, на самом деле говорят, что они готовы отложить принятие любого свода этики ИИ, и их ожидание может быть таким же, как ожидание Годо.

Я призываю вас выбрать любое руководство по этике ИИ, в котором есть что-то важное, и которое предложено авторитетным источником, и приступить к реализации этой самой этики.

Лучше раньше, чем позже.

О компании ИТЭЛМА

Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Читать еще полезные статьи:

Теги:

Хабы: