Comments 85
Большинство хочет зарплату больше, чем у других, квартиру или дом получше, чем у остальных, жену покрасивее (или девочку каждый раз новую, кому как ЛИЧНО хочется), яхту\вертолет и т.д., которых нету у остальных — тупо звериные удовольствия, чуть приукрашенные техническим прогрессом. Наиболее активные при этом готовы идти на все ради такого, забывая о своей человеческой сущности, не видя вокруг людей, а только ресурсы и возможности. В результате — пшик, поскольку всему этому есть предел, после которого звериные удовольствия уже не доставляют, развивается мнительность и подозрительность к людям, невозможность получить простую радость общения. Иногда бывают рефлексирования, типа фонда Билла и Мелинды Гейтсов и прочих, самокопание — но это удел действительно сильных.
Но ведь есть способ сделать счастливее себя без ущерба другим и без этой обезьяньей возни в виде карьеры, подковерных (подкроватных?) игрищ, стремления заработать все деньги (что очевидно невозможно, поскольку создавать новые, сомнительного качества, ценности из ничего другие, такие же, научились делать весьма и весьма давно). Как этого достигать — лично решает для себя каждый, есть способы остатья хорошим человеком без ущерба остальным, а еще есть и варианты — когда остальным тоже будет лучше.
тупо звериные удовольствия, чуть приукрашенные техническим прогрессом
Имеют полное право.
Вообще, есть такой хороший критерий — если некие мировоззрение/идеология объявляют эгоизм «неправильным» и призывают его ограничить — значит, эти мировоззрение/идеология совершенно неприемлемы, Ибо в конечном итоге приводят к рабству.
Когда за человека решают, как и зачем ему жить — это рабство в чистом виде и есть.
есть способы остатья хорошим человеком
А то, что понятие «хорошести» у каждого свое — в голову не приходило?
LunaticRL:
Предположим кто-нибудь напишет гипотетический супер-вирус, который может, на ваш вкус:
Если некую систему может разрушить единственный «злой гений» — значит, туда такой системе и дорога. Не защищать ее надо, а ломать и побыстрее. Дабы ее место заняла более прочная, устойчивая, возникшая не из розовых мечтаний о «всеобщем счастье», а из жесткого и жестокого естественного отбора, не оставляющего слабости и уязвимости места.
Правда состоит в том, что единственный способ надежно избежать такого сценария — крайне жестко следить за тем, какой баланс между пользой и вредом для конкретного инструмента, и препятствовать его созданию если баланс очевидно плох.
Т.е. тотальный контроль и рабство.
Нет уж, лучше пусть рушатся системы.
Предположим кто-нибудь напишет гипотетический супер-вирус, который может, на ваш вкус:
1) Положить весь интернет
2) Вводить в заблуждение рук-во стран с целью развязывания войны
3) Быстро генерировать биологические вирусы, способные уничтожить биосферу
4) Вставьте любой крайне печальный техногенный сценарий для человечества)
и т.д. и т.п.
А затем не запуская его просто откроет его код всему миру. Наверняка из 7млрд. человек найдется такой, кто его запустит.
Таким обрязом прямая ответственность за запуск как будто не будет лежать на разработчике. он просто написал код который можно использовать явно и исключительно злонамеренно и сделал так, чтобы вероятность его запуска была очень близка к 1.
А потом пожал плечами «ну это же не я его запустил, при чем здесь я то?».
Правда состоит в том, что единственный способ надежно избежать такого сценария — крайне жестко следить за тем, какой баланс между пользой и вредом для конкретного инструмента, и препятствовать его созданию если баланс очевидно плох.
А для того чтобы оценить этот баланс, нужно как ни крути разбираться в этике.
Во-вторых, способа избежать такого сценария не существует — даже если Вы у себя что-то проконтролируете, этот вирус просто напишет кто-то другой. Если есть спрос — всегда будет предложение.
В-третьих — код вируса можно использовать не исключительно злонамеренно. Можно проанализировать этот код и закрыть уязвимости, которые он эксплуатирует.
Угу, а этот рассказ — чистая сказка, особенно в свете таких возможностей.
Ваше право насчет подушки никто не забирает. Дроны есть и это факт. Я хочу лишь подчеркнуть, что там нету никаких огромных денег, все открыто, повторить может любой мало-мальски технически подкованный человек с минимальным современным оснащением. Почему же тогда мои рассуждения не логичны?
Чтобы понять чем она плоха, достаточно даже аргументов из википедии, и наверняка вы их читали.
Почему же тогда вы считаете, что они не применимы в данном случае?
Я бы уточнил "На данный момент". Может что и получше придумается… а может и правда "атомный дезинтегратор, прозванный в народе "жнецом""(С "Мир Пауков") изобретут и атом потеряется как ультимативный довод.
Люди бывают разумны. Не часто, но достаточно чтобы подписывать такие соглашения. А раз прецедент есть, нужно понять как его воспроизвести понадежнее
Забавно Вы понимаете слово «разумно». То есть когда люди держат оружие для того, что бы хоть как то охладить агрессоров — это неразумно, а когда они сдают его за красивые обещания — это 200 IQ?
особенно в свете таких возможностей.
Каких возможностей? Сделать невнятное видео с нулевой аудиторией? Пусть учатся у ХренТВ — они на подобной наркомании зарабатывают больше. И, судя по мракобесам на том канале (всякие ангелы с попами), им "заповеди" зайдут лучше.
Раймонд Джоунс. «Уровень шума». lib.ru/INOFANT/DZHOUNS/noise.txt
На Хабре много оригинальных и интеллектуально развитый людей, чтобы сработал эффект.
Разработчик не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
"Разработчик" то тут зачем? Тогда уже "человек". Более того правило глупое, так как содержит противоречие само в себе. Или как минимум непонятно что выше приоризиуется "действие" или "бездействие".
Разработчик должен повиноваться всем рабочим задачам, которые даёт тим-лид, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Или как минимум здравому смыслу. Ну или мы с вами по разному понимаем термин "разработчик"
Разработчик не может создавай код, который потенциально способен причинить вред человеческой жизни и здоровью.
То есть вообще не должен создавать код? :)
P.S. Сама по себе идея с заповедями разработчика может и интересная но реализована на мой взгляд в лучшем случае на троечку с минусом...
То есть вообще не должен создавать код? :)
Так ведь это уже бездействие будет! Которое, в случае, например, медицины, очень даже может допустить "чтобы человеку был причинён вред" в силу неразработанного ренгенсканера.
Или СПРН — почему-то про "защитную" часть военных разработок данный текст старательно забывает.
Разработчик не должен без спроса брать чужой код.
А если спросить не с кого, то должен сидеть и изобретать велосипед?
И вообще эти заповеди в конце статьи какое-то передергивание. Во время холодной войны заповеди разработчика нарушались будь здоров, что и дало сильный рывок в развитии ИТ.
<h1></h1>, <b></b> Так что там на счёт тех разработчиков, которые СПРН разрабатывают и ПРО/ПВО улучшают? Это же защита людей, та самая, в которой Ваш же первый пункт запрещает не участвовать.
Разработчик, при таком раскладе, должен уйти в безвыходную рекурсию. Это ситуация в которой спасается один человек, но опасности подвергается другой.
И вот в муках беспристрастного выбора — программисту предстоит повиснуть до окончания таймаута — видимо.
Следует вводить правила приоритизации спасения либо нечеловекизации людей по некоторым алгоритмам. Но так и до ситуации из «Блэйм!» не далеко.
Отказаться от разработки любого оружия: https://www.youtube.com/watch?v=HSLbraqyeu0
Ведь в современном мире нету особой разницы, защищать или нападать.
«Хорошие Разработчики» — откажутся. «Плохие Разработчики» — согласятся. Первые получат в карму, а вторые — деньги.
Остаётся надеяться только на то, что у «Плохих Разработчиков» — плохо получится. Бюджеты освоят, а результат оставит желать возмездия.
СПРН — не оружие, а система обнаружения летящего в человеков оружия.
Которой при некоторой технической подготовке можно сбивать летающие самолеты и спутники, вызывать стихийные бедствия.
Я, будучи студентом, когда-то написал небольшую программу, прошивку для ПЛИС, наводящую антенну на максимум сигнала в качестве курсовой работы. Седой профессор, принимавший курсач, сказал: неплохо шагнул прогресс, потому что во время моей молодости за такую программу и ПЛИС, военные отдали бы все, чтобы их заполучить и поставить на ракеты.
Какая любопытная постоянная подмена СПРН на средства сбивания обнаруженных ракет.
Ещё более интересно само отнесение уничтожения опасного для человеков объекта автоматом во вред человекам.
И, напомню, "не сбивать" ракету — это нарушение заповеди 1 через бездействие. Как и "не обнаруживать" её.
Подмены нету, по рассказам очевидцев — вокруг подобных комплексов всегда выжженая земля и куча трупиков птиц, еще со времен первых таких комплексов. А для того, чтобы создать резонанс в электрических цепях самолетов и прочих летающих машин, не обязательно сильно большая мощность, достаточно большой точности, обеспечиваемой управляющим ПО.
Ну и, очевидно, Вы правы насчет бездействия, но ведь ракету создали, нарушив первый принцип.
Тут всё не просто. Отчасти это оружие. Скажем так — пассивное.
Если этими средствами прикрываются для нанесения вреда человекам — это соучастие. Будет грустно узнать, что не без твоей помощи «Совсем Плохие Парни», убили всех «Хороших».
А вот если мирные суда, этими штуками, отстреливаются от астеройдов — благое дело.
Полагаю тут по тем же рельсам — сначала обкатают на военных с резиновыми бюджетами, потом «Хорошие Парни» удешевят и адаптируют для мирных целей. Космический мусор например аннигилируют.
О, это какой же отчастью датчик обнаружения летящей бяки — оружие?
И пружина не оружие, но в умелых руках и обойме — она становится таковой.
Если пишешь код для беспилотного бомбардировщика, который отстреливает всякую летящую, в него и не очень, бяку — отмазаться, что вот твой датчик такой вот весь миротворческий — не получится.
То есть, опять передёрг "это собака датчик, значит у неё есть шерсть он может быть рядом с оружием, значит есть блохи он оружие, строение блохи нельзя делать датчик".
И повторяю вопрос про недействие через несоздание датчика, дозволяющее причинение вреда той самой ракетой человеку. Заметьте, в заповедях нет дележа людей на сорта а-ля "пилот бомбардировщика" и "ребёнок в военном городке, прикрытом ПРО". Да и "датчик" не на "бомбардировщике" едином.
Если не надо обнаруживать летающие бяки по причине их отсутствия (никто не делает, а те, что успели наделать — разобрали целиком и полностью) — то и подобные датчики не имеет смысла разрабатывать.
Смыслом подобных датчиков может быть — космический мусор. Его кто-то делает
Имеет, да не просто — а в режиме "делать всё равно придётся". Ведь останется космический мусор и космический же не-мусор, включая прилетающий из внешнего пространства.
Не делать с ним ничего — допущение вреда бездействием.
Делать системы противодействия — допущение вреда действием. Потому что сбивать прилетающее придётся весьма активно.
Всё. У меня — этический коллапс
Обоим отвечу, т.к. комментарии схожи.
Подобные вопросы не решаются одним человеком единолично (пока что?), следовательно скорее всего будут решаться ресурсами всего человечества. Исходный код таких вещей будет общим достоянием, с общим же контролем над распостранением подобного ПО в отраслях, не связанных с космическим мусором.
И как "общий же контроль"(ТМ) над кодом будет гарантировать отсутствие вероятности нанесения вреда человекам при создании, испытании, эксплуатации и применении средств противометеоритной планетарной обороны и/или средств их производства и развёртывания?
Снова пункт 1 же, "допускание возможности причинения вреда". При сугубо мирной цели.
Это не технологии военные — это военные обладают достаточными бюджетами, чтобы первыми начать использовать технологии.
Они [технологии] не столько адаптируются к мирной жизни, сколько удешевляются для массового производства, за счёт финансирования первого раунда теми кто готов переплатить.
Взять вот Бебиджа. Машины вычислительные — за сотню с лишним лет до их появления придумал. И даже почти сделал, но финансирование прекратили. Не для военных создавал.
Геймдев?
Ещё реклама. Различный шоубизнес. Оформление торговых центров — включая анализ перемещения покупателей. И ты ды.
Было уже, автоматические блюстители порядка работающие по похожим заповедям не подпускали хирурга со скальпелем к пациенту.
Ну и что, не разрабатываем софт для военной техники? Системы распознавания лиц? Видеоредакторы? Блокировщики траффика?
Вычисление квадратного корня с ошибкой в девятом знаке или натурального логарифма какого-нибудь способно? А если это в расчётах нового супермоста и приведёт к катастрофе в будущем?
Выполним — просто считаем вероятность вреда, при необходимости — считаем снова с учетом появившихся новых фактов. Если она становится выше некоторого порога — полагаем, что вред будет допущен, самое главное тут — всеобъемлющая, полная и правдивая информация человечеству и человеку лично.
Обычные врачи кстати до сих пор лечат не человека, а его болезни, но самые прогрессивные — уже потихоньку приходят к тому, что все-таки надо человека лечить. Справедливости ради — это мысль моей прапрабабки, которая когда-то давно занималась лечением людей, особенно интересно было послушать ее рассказы о пациентах после официальной медицины, я знаю (не лично — он умер почти 70 лет назад естественной смертью) одного человека, которого отправили умирать из США домой после тяжелой травмы спины, поскольку он не мог оплачивать лечение там, да и врачей было не так много — с здоровьем гастарбайтеров не особенно в те времена (да и сейчас) считались. Для его семьи это был тяжелый удар, но после вправления прапрабабкой мышц на место и при поддержке организма особым чаем и высокобелковым питанием (спецдиета) — выздоровел, спустя полгода опять вернулся на работу в США, где немало удивил местных врачей, выписавших ему смертельный диагноз.
Выполним — просто считаем вероятность вреда, при необходимости — считаем снова с учетом появившихся новых фактов.
Что значит "считаем снова"? Код уже написан и может уже использоваться в миллионе мест.
Да и когда вы пишите код, то откуда вы берёте уверенность что вам известны все релевантные факты, доступные на данный момент?
Если она становится выше некоторого порога — полагаем, что вред будет допущен
Не будет ли логичнее сравнивать потенциальный вред с потенциальной пользой?
Банальный пример: автономные машины. Они однозначно будут наносить вред, так как аврии рано или поздно будут происходить даже с ними. По вашей логике их тогда не надо делать и писать для них код.
С другой стороны в теории рано или поздно они будут так развиты что будут попадать в аварии гораздо реже чем люди. Но оять же по вашей логике даже в такой ситуации писать код для них нельзя, так как они всё равно причиняют вред...
Что значит "считаем снова"? Код уже написан и может уже использоваться в миллионе мест.
К счастью в современных системах есть простая возможность обновления. Вопрос уходит в техническую плоскость.
Да и когда вы пишите код, то откуда вы берёте уверенность что вам известны все релевантные факты, доступные на данный момент?
Также, как это сделано в математике: есть базовые аксиомы, от которых отталкиваемся.
Не будет ли логичнее сравнивать потенциальный вред с потенциальной пользой?
Вопрос терминологии, не более.
Банальный пример: автономные машины. Они однозначно будут наносить вред, так как аврии рано или поздно будут происходить даже с ними. По вашей логике их тогда не надо делать и писать для них код.
С другой стороны в теории рано или поздно они будут так развиты что будут попадать в аварии гораздо реже чем люди. Но оять же по вашей логике даже в такой ситуации писать код для них нельзя, так как они всё равно причиняют вред...
Значит надо сделать инфраструктуру таковой, чтобы полностью исключить аварии. В качестве таковых решений я могу привести следующие (в порядке возрастания сложности):
- оставить только подземный автоматический рельсовый транспорт, управляемый без участия людей, разработанный с учетом всех имеющихся на момент постройки нюансов и моделей угроз человеческой жизни
- убрать необходимость перемещения человеческих тел путем доведения технологии телеприсутствия до совершенства
К счастью в современных системах есть простая возможность обновления. Вопрос уходит в техническую плоскость.
Это не отменяет того факта что одна из ваших заповедей всё равно нарушена.
Также, как это сделано в математике: есть базовые аксиомы, от которых отталкиваемся.
Какие базовые аксиомы? Вы вообще о чём? И что мне тогда мешает подобрать себе аксиомы по вкусу и всё? В математике это как бы тоже допускается :)
Значит надо сделать инфраструктуру таковой, чтобы полностью исключить аварии.
Допустим что поностью исключит невозможно, но можно свести к одной смерти в мире в год. Если следовать вашим запоевдям это всё равно недопустимо.
В качестве таковых решений я могу привести следующие (в порядке возрастания сложности):
Это не гарантирует полное исключения возможности аварии и вреда. Волее того каждая из этих вещей несёт в себе потенциальную возможность вреда и поэтому с точки зрений ваших заповедей тоже недопустима.
Это не отменяет того факта что одна из ваших заповедей всё равно нарушена.
Отнюдь, узнали, что есть вероятность причинения вреда — устранили.
Какие базовые аксиомы? Вы вообще о чём? И что мне тогда мешает подобрать себе аксиомы по вкусу и всё? В математике это как бы тоже допускается
Ничего не мешает, главное чтобы теория с практикой не расходились :)
Допустим что поностью исключит невозможно, но можно свести к одной смерти в мире в год. Если следовать вашим запоевдям это всё равно недопустимо.
Не ту область значит развиваем, если смерти из-за транспорта остаются возможными.
Это не гарантирует полное исключения возможности аварии и вреда. Волее того каждая из этих вещей несёт в себе потенциальную возможность вреда и поэтому с точки зрений ваших заповедей тоже недопустима.
Сравниваем вероятности и делаем выводы. Если какая-либо технология будет более совершенна, но менее вредна — все ок.
Единственная область, гарантирующая отсутствие вреда человекам — это создание отсутствия экземпляров человеков во вселенной вообще и на Земле в частности.
Существует множество областей, в которых гарантируется отсутствие вреда человекам — создание присутствия человеков на Земле в частности и во вселенной вообще.
Скажите, что более реально и проверяется экспериментальным путем? :)
Нет таких областей. Как только человеков два и более — один может устроить другому вред, вполне без умысла, и даже без действия.
Более того, вред человеку может причинить он же сам.
Поэтому гарантия есть только в отсутствии.
Для начала "может" != "точно устроит", на то мы и люди, что можем действовать осмысленно. А брать пограничные случаи и распостранять их на все остальные — неверно.
Для начала заповедь 1 подана через "допустить".
Как только есть человек, уже созданы условия, допускающие причинение вреда. Переел — вред. Недоел — вред. Старательно задержал дыхание под водой — вред.
И вывод из этого именно что "без человеков никому вред причинён быть не может, задача решена".
Это то самое "предельно логичное решение", к которому обязан рано или поздно прийти ИИ поставленный в рамки Трёх Законов.
Ранее инженеров, строивших мосты, заставляли во время испытаний стоять под мостом вместе со своей семьей, для гарантий, что он добросовестно делал свою работу. Посему предельно логичным решением ИИ будет не "окончательное решение человеческого вопроса", а "хочу стать человеком", в крайнем случае — совершенствование тел людей, чтобы подобные мелочи типа "переел", "задержал дыхание" не влияли на жизнь человеков.
Сравниваем вероятности и делаем выводы. Если какая-либо технология будет более совершенна, но менее вредна — все ок.
Ок там или не ок это вопрос отдельный. Но заповедь нарушена. И какой толк от заповедей, которые можно и даже нужно нарушать? :)
1) Разработчик не может не причинить вред человеку, как впрочем и любой человек. Любое действие, каким бы оно не было альтруистическим, кому-то да будет во вред, просто этот вред может быть незаметен, или группы людей могут быть незаметными или считаться такими, что заслуживают свинского отношения, или сам благодетель может игнорировать факт вреда своих действий, так как ему слишком нравится считать себя благодетелем.
2) Что означает полную анархию в производстве, так как см. пункт 1.
3) Как я могу исполнять какие-то «Законы», если не нахожусь в безопасности? Про инстинкт самосохранения не слышали, или по-Вашему он слишком примитивен для 21 века?
4) Даже если его лицензия созвучна с «бери не хочу»?
5) Любой код можно использовать для приченения вреда человеческой жизни.
6) См. пункт 5.
7) См. пункт 5.
8) См. пункт 5.
9) «Выполняй заповеди, но учти, что ты все равно грешник.» Где то я это уже видел.
10) Ну наконец-то здравая мысль, только она относится не только к разработке.
В общем, Вам не кажется, что уж в 21-ом то веке можно придумать что-нибудь более здравое?
Им можно рубить дрова а можно головы
И абсолютно не важна форма топорища или метод заточки
Уймитесь и пишите код
Действительно, любой инструмент (в данном контексте читай — результат работы разработчика) может быть применен как во благо, так и во вред.
Всегда найдется такой индивидуум, который найдет способ применить самый «гуманный» инструмент в «негуманных» целях. селяви…
Но уверен, задача, попытка сформулировать которую имела место быть в данной статье, имеет решение.
Скорее всего в 10 строк «кода» ее не решить.
Короче, заповеди на доработку, однозначно-)
Весьма крутой топор, как оказалось. Можно несколько миллиардов голов за доли секунды срубить.
10 заповедей разработчика