Comments 58
UFO just landed and posted this here
Следующая новость.
Автопилот Теслы заставили нарушить скорость путём жесткой сцепки с грузовиком который разогнал машину выше положеного!
вот да, не хватает контрольной группы — водятлов-человеков, которые безошибочно проехали при залепленных всякой фигнёй знаках. Причём фигнёй отражающей, ярче знаков.
Нормально там всё видно и вообще ничего общего с 8, к тому же в США нет знаков 85 нигде, к тому же такие знаки ставят обычно по какой-то причине: город, ремонт и т.п. и адекватная нейронная сеть = мозг явно бы не топила гашетку. Это всё показатели насколько мы далеко от полного автопилота.
Порой мне кажется, что если тесла просто так задавит людей на переходе на красный, то ее все равно будут защищать аргументами "человек бы тоже не увидел" -_-.
UFO just landed and posted this here
Не обязан, но если это не какой-то хайвэй то такого ограничения скорости не может быть в принципе нигде в мире, достаточно чуть-чуть применить логическое мышление, а текущий автопилот теслы походу даже на проселочной радостно поедет если его обманут через незаметный adversarial images. Это почти 140кмч.
Я сидя перед монитором с минуту пытался понять что не так со знаком «85» на третьей картинке, пока не понял, что это 35.
Если у вас возникли трудности с распознаванием знака (напоминаю, скорость можно набирать только после проезда знака, т.е. вы будете видеть его в упор) то скорее всего вам нельзя за руль с таким зрением.
А вообще когда лично у меня сомнения правильно ли я увидел знак я обычно выбираю скорость потока или следую с предыдущей скоростью хотя бы.
пытался понять что не так со знаком «85» на третьей картинкеЭто на этой что ли o_O? Вот уж воистину — насколько разные люди по-разному воспринимают (я и подумать не мог, что кто-то там увидит не «35»)! Что, впрочем, осложняет задачу обмана водителей (#comment_22219022).
Вот интересно, откуда такой интерес именно к автопилотам? Почему эти исследователи не пытаются обмануть живых водителей? Возможно дело в том что автопилот не может выйти из машины и дать леща?
Хорошая фича была бы
да точность у них на уровне близорукого человека. Если последний обязан носить очки за рулем, то тут никаких ограничений не может быть. Если увеличить точность, и камеры и оборудование подорожают так, что никто это не купит. Ну и как то не очень безопасно всё это — «слепой за рулем» типа получается. Ну еще и немного сумасшедший ))). Перспективное направление… А как это работает ночью в дождь — даже на демо роликах не показывают.
Окупит-окупит. Только сравнивать нужно не с ценой автомобиля, а с годовой (примерно) зарплатой водителя.
Просто пропагандой делается жёсткий упор на то, как автопилот будет возить вашу задницу на работу на вашей же машине… Хотя на самом деле его удел — привести к увольнению профессиональных шофёров… в первую очередь дальнобоев.
Просто пропагандой делается жёсткий упор на то, как автопилот будет возить вашу задницу на работу на вашей же машине… Хотя на самом деле его удел — привести к увольнению профессиональных шофёров… в первую очередь дальнобоев.
UFO just landed and posted this here
Хм, берём расходы на нештатные ситуации, вычитаем из них расходы на сопровождающих… как бы отрицательное число не получилось
Одну специальность вычитаем, а другая добавляется. Вопрос в уровне специалиста. Понятно, что дальнобой самая тупая профессия: с 3мя классами деревня справится. А вот если автоматический грузовик застрял (колесо, поломка электроники, механики, или просто авария, или он не видит из-за бурана) то надо в его сторону Ехать специалисту, да еще не одному. И с образованием не ниже инженера, его еще надо вырастить. (да еще так, чтоб тот не забурел) Отсюда стационарные пункты по маршруту следования, да? Уборщица, менеджер, директор, аренда, связь… А деревня так будет продолжать катать и за копейки.
З.Ы. Есть предположение что группа ученых просто получают зарплату на бесперспективном направлении, а группа менеджеров это поддерживают, так как тоже получают с этого зарплату. А корпорации просто боятся отстать друг от друга толком ничего не понимая.
З.Ы. Есть предположение что группа ученых просто получают зарплату на бесперспективном направлении, а группа менеджеров это поддерживают, так как тоже получают с этого зарплату. А корпорации просто боятся отстать друг от друга толком ничего не понимая.
А корпорации просто боятся отстать друг от друга толком ничего не понимая.Копрорации как раз прекрасно всё понимают. Они уже вынесли из США производство и платежи дальнобоям как раз стали следующей вещью, которая мешает им получить прибыль.
практика показывает, что ситуация «автоматический грузовик застрял» возникает крайне редко. Так что содержание маленького штата спецов на такие случаи оправдывается. Какая именно практика? Да именно дальнобойная. Если дальнобой застрял — то это с высокой вероятностью советских времён камаз или тридцатилетний американец, оживляемый дендрофекальным способом.
я не знаю, такой информации пока нет. Часто вижу на шоссе стоят колеса меняют, он может застрять на 100км от ближайшего пункта. Это 1.5часа только до него, значит бригада за день ну два случая может обслужить. Дублирование систем, информация о типе поломки конечно сэкономит немало, но пока до всего этого далеко, а пока демо версия на презентациях работает отлично ;)
С луддитами всегда боролись одинаково:
А если исключить саботаж — то нештатные ситуации можно свести к минимуму.
Уничтожение машин (индустриальный саботаж) было объявлено преступлением, наказуемым смертной казнью, и 17 человек были казнены в 1813 году. Множество людей было отправлено в Австралию. В какое-то время войска занимались подавлением луддитских восстаний сильнее, чем сопротивлением Наполеону на Пиренейском полуострове.Это работает.
А если исключить саботаж — то нештатные ситуации можно свести к минимуму.
А как автопилот справится с такими задачами водителя, как проверить техническое и визуальное состояние ТС и груза, поправить крепление груза при необходимости, протереть световые приборы и номер и т.д., где задача не сводится к непосредственному управлению авто?
Ровно так же, как с этим справляется пилот самолёта или машинист электропоезда — то есть никак.
Когда-то давно, когда паровозы управлялись целой бригадой — она же и осматривала поезд и «визуально контролировла состояние ТС И груза» и многое другое.
Сегодня — это всё делают другие люди.
P.S. Хотя как раз контроль не так сложен — датчики стоят копейки, их можно поставить на машину несколько сотен. Вот ремонт, если что-то случилось — это да, это сложнее.
Когда-то давно, когда паровозы управлялись целой бригадой — она же и осматривала поезд и «визуально контролировла состояние ТС И груза» и многое другое.
Сегодня — это всё делают другие люди.
P.S. Хотя как раз контроль не так сложен — датчики стоят копейки, их можно поставить на машину несколько сотен. Вот ремонт, если что-то случилось — это да, это сложнее.
Скорее всего потому, что человек в такой ситуации почти гарантированно не ошибётся. Если я увижу на дороге знак «200» в городе, то я пойму, что это кто-то просто дорисовал нолик в конце. Для того, чтобы человек ошибся, нужно создать какую-нибудь действительно неординарную или противоречивую ситуацию, типа знаки «главная дорога» и «уступи дорогу», повешенные на одном столбе (в России такое иногда бывает, кстати :). Вообще любой не ГОСТовский знак лично я бы игнорировал, например.
Человек может как вы решить «любой не ГОСТовский знак лично я бы игнорировал, например.» и ехать как ему вздумается. Главная проблема на дорогах — что на них остаются живые водители. Пока от них не избавятся полностью — автопилотам будет очень тяжело.
Скорее всего потому, что человек в такой ситуации почти гарантированно не ошибётсяОшибиться он наверное не ошибётся, а вот проигнорировать может совершенно спокойно)
«Езда по памяти» хоть и является потенциальной проблемой — у нас в городе люди по привычке поворачивали под кирпич на встречку, когда сделали улицу односторонней — в целом защищает поток от непредвиденных ситуаций в виде шутников, которые внезапно вешают какой-то левый знак, чтобы кого-то на что-то там протестировать :)
«почти гарантированно не ошибётся» Да до сих пор в мире не было замечено случаев нарушения скоростного режима кожаным водителем)))
Он может не заметить, отвернуться, чихнуть, отвлечься, наплевать на знак. Все это читай ошибки в контексте автопилота.
Он может не заметить, отвернуться, чихнуть, отвлечься, наплевать на знак. Все это читай ошибки в контексте автопилота.
Как это, а муляжи камер, а муляжи машин гибдд?
Через несколько лет будут новости:
«Банда грабителей вынудила остановиться новую теслу, выставив на дороге переносной знак STOP. Беспомощному водителю ничего не оставалось делать как отдать всю наличность и ценные вещи.»
«Банда грабителей вынудила остановиться новую теслу, выставив на дороге переносной знак STOP. Беспомощному водителю ничего не оставалось делать как отдать всю наличность и ценные вещи.»
Вот именно. И сейчас можно хакать человеков: бросать манекены с моста на дорогу, например. Или ставить фальшивые знаки. Или одеваться в форму инспектора гибдд и махать палкой: человеки будут тормозить. Можно даже сложить конструкцию из шляпы и палок, которая под определённым углом будет похожа на инспектора с палкой.
Из статьи непонятно, разогнались ли машины выше 35, или просто показали распознанный знак на мониторе.
И сейчас можно хакать человеков…Вообще-то нет.
- Сложность организации одного такого инцидента с человеками немала (всегда есть риск, например, свидетели отследят / полиция словит бросающего манекен, например).
- Люди слишком непредсказуемы, т.е. очень просто разработать способ, который гарантированно подействует на значительное количество людей.
(Это минимизирует моментальное получение большого профита от хакинга толпы человеков. Хотя его (хакинг толпы человеков) тоже применяют — тот же фишинг, например, или прочая социальная инженерия. Но пока, вроде бы, «меч» не намного впереди «щита», люди, хоть и очень медленно, учатся противодействовать.)
При хакинге же большого количества не очень разнородных устройств соотношение вложений к профиту резко падает. Да, возможно, не так-то просто разработать способ обмана устройства, но: обманул один (пусть даже случайно) — упростил способ — можешь обмануть многие. И тут уже большее количество потенциальных злоумышленников будут готовы рискнуть.
Есть же довольно очевидное решение подобных проблем — наносить на знаки помимо цифр для «мясных мешков» ещё и какое-нибудь помехо-защищённое подобие штрих-кода, например, по периметру знака. Или даже прямо поверх цифр, если у камеры в беспилотнике диапазон пошире человеческого.
Знаки всё равно раз в несколько лет обновляют, даже много денег тратить не придётся. В качестве временной меры можно просто под всеми знаками дублирующие таблички развесить.
Знаки всё равно раз в несколько лет обновляют, даже много денег тратить не придётся. В качестве временной меры можно просто под всеми знаками дублирующие таблички развесить.
Ну и плюс очевидная защита: у автопилота в памяти есть карта знаков, и если он видит знак «85», а по карте тут «35» — значит, явно что-то не чисто, переходим в параноидальный режим.
Зачем, если можно сделать БД со всей дорожной информацией? Через какое-то время, когда все машигы будут с автопилотом, знаки можно будет вовсе не ставить.
Поставили временный знак, как скоро он в ваш атомобиль выгрузится? А если оператоо забыл в базу внести?
«Все машины будут с автопилотом» очень-очень нескоро. Кроме того, есть же ещё другие участники движения — мотоциклы, велосипеды, спецтехника, гужевой транспорт. И пешеходы :)
«Все машины будут с автопилотом» очень-очень нескоро. Кроме того, есть же ещё другие участники движения — мотоциклы, велосипеды, спецтехника, гужевой транспорт. И пешеходы :)
Только хуже станет, будут подменять штрих-код. Человек будет опять видеть 35, причем без каких-либо признаков модификации, а машине можно будет незаметно хоть 195 записать.
McAfee провели аналогичные исследования и на автомобилях 2020 года и не смогли получить ошибочные данные камеры, хотя тестирование и было очень ограниченным.
Насколько я знаю, как раз распознавание знаков есть только в машинах с HW1 автопилотом, в машинах с железом HW2+ автопилот уже не считывает знаки ограничения скорости, а берет данные с карты.
Т.е. он проигнорирует знак временного ограничения скорости в связи с ремонтом если его не добавят в карту? ну-ну. Или если гпс будет иметь большую ошибку и посчитает что вы на другой дороге. Звучит как очень надежное решение.
Именно, временные знаки ограничения скорости оно не знает. И на картах есть даже устаревшие знаки, которые не являются действительными в данное время. Ну а GPS достаточно точный.
Ну а GPS достаточно точный.
Вы ездили на машине в Москве в центре? (там где глушилки отправляют вам сигнал что вы где-то в озере за мкадом) Или просто никогда не видели когда гугл мапс тупил? А ну да, наверное на тесле свой гпс какой-то.
Нет, по Москве я не ездил. Но да, нельзя исключать неверный сигнал GPS, но все же, пока он работает нормально — он достаточно точный (В HW2 используется u-blox NEO-M8L, по даташиту точность с 6 спутниками — ± 2 метра). Ну и я без понятия почему автопилот берет данные с карты, а не с камер, но это так.
А почему бы и не свой? itsar в своё время выяснил, что там помехи только на L1. И даже продает систему, работающую несмотря на глушилку.
Можете с каким-нибудь двухчастотником там проехаться. Можно даже Хаоми Mi8 попробовать.
Точность одночастотного GPS — примерно 3 метра СКО, точность двухчастотника — порядка 30 см СКО. Так что если там GPS точный — значит двухчастотник.
Можете с каким-нибудь двухчастотником там проехаться. Можно даже Хаоми Mi8 попробовать.
Точность одночастотного GPS — примерно 3 метра СКО, точность двухчастотника — порядка 30 см СКО. Так что если там GPS точный — значит двухчастотник.
del
Непонятно, зачем они какие-то наклейки клеили, когда можно было просто лист бумаги с цифрой 120 прилепить. Исследователи безопасности заодно бы и неавтопилот обманули. Я уже даже заголовок придумал: «Исследователи безопасности обнаружили очередную уязвимость в дорожном знаке speed limit 35»
Да не может обычный человек быть всё время в контуре управления когда машиной управляет автопилот. Люди просто не так устроены. Пилотов самолётов тренируют долгие годы. При этом их в кокпите двое. И даже они периодически расслабляются и не всегда готовы вмешаться в работу автопилота при развитии нештатной ситуации.
Мне кажется что тестировать автопилоты на распознавание знаков идея хорошая, но если подумать, то главная проблема для всех этих умных систем это человеческая среда обитания и человеческий «контекст» и эти самые знаки.
Как правильно заметили в комментариях, человек бы по этому самому контексту понял, что это город и не может быть ограничения в 85 миль (потому что это абсурд), а даже если бы человеку привиделось, что на знаке написано 85, он не стал бы разгоняться до того момента, пока не убедился бы в безопасности этого маневра другими методами (речь про адекватного водителя конечно).
А теперь встанем на сторону искусственного интеллекта, вот скажите, зачем на дороге, где ездят автомобили с автономным управлением нужны знаки ограничения скорости? Умный автомобиль, на то и умный, чтобы скорость не по знакам мерить и ограничивать. По мне это самый главный поворотный момент в self driving, потому что пока системам надо ориентироваться на человека, на его знаки, на его «непредсказуемые» действия и так далее.
Если представить себе дорогу, где нет обычных водителей людей, которые, как минимум могут: заснуть, отвлечься, не обратить внимания, намеренно нарушить правила; то на такой дороге не нужны знаки, светофоры и другая регулировка движения, потому что все эти задачи можно решать на уровне системы самого автомобиля, который будет жить уже в своем «контексте», понятном ему, но совершенно чуждом любому человеку.
Поскольку сегодня все системы автономного управления являются ассистентами человека, то и возможности у них ограничены человеческими органами чувств, которые, зачастую, с точки зрения машинного обучения, очень слабо развиты.
Например, человек распознает препятствие на дороге с помощью своего зрения, реагирует на это торможением с помощью своей ноги, которая дает команду уже процессору автомобиля снизить подачу топлива и зажать тормозные колодки – в этом уравнении гораздо больше переменных и на его решение требуется значительно больше времени, чем в случае автономного движения, у которого за этот процесс может отвечать фактически неограниченное число органов чувств, но при этом действия будет производить лишь одна физическая система, а не три, как в случае человека. А если при этом еще не надо учитывать, что сзади при торможении в тебя влетит отвлёкшийся человек (потому что можно сообщить автомобилю сзади об опасности заранее и попросить либо остановиться, либо объехать препятствие и тебя), то способов сбить образовавшееся препятствие у искусственного интеллекта гораздо меньше, чем у человека =)
В новом дивном мире нам предстоит отказаться от правил дорожного и движения, разметки и знаков, какими мы их знаем сегодня и вот тогда мы сможем действительно оценить насколько умнее и безопаснее автомобили с автономным управлением.
А для того чтобы обмануть человека или пустить автомобиль под откос, много ума не надо, и тут я согласен с комментариями: «почему же никто так не делает сейчас» =)
Как правильно заметили в комментариях, человек бы по этому самому контексту понял, что это город и не может быть ограничения в 85 миль (потому что это абсурд), а даже если бы человеку привиделось, что на знаке написано 85, он не стал бы разгоняться до того момента, пока не убедился бы в безопасности этого маневра другими методами (речь про адекватного водителя конечно).
А теперь встанем на сторону искусственного интеллекта, вот скажите, зачем на дороге, где ездят автомобили с автономным управлением нужны знаки ограничения скорости? Умный автомобиль, на то и умный, чтобы скорость не по знакам мерить и ограничивать. По мне это самый главный поворотный момент в self driving, потому что пока системам надо ориентироваться на человека, на его знаки, на его «непредсказуемые» действия и так далее.
Если представить себе дорогу, где нет обычных водителей людей, которые, как минимум могут: заснуть, отвлечься, не обратить внимания, намеренно нарушить правила; то на такой дороге не нужны знаки, светофоры и другая регулировка движения, потому что все эти задачи можно решать на уровне системы самого автомобиля, который будет жить уже в своем «контексте», понятном ему, но совершенно чуждом любому человеку.
Поскольку сегодня все системы автономного управления являются ассистентами человека, то и возможности у них ограничены человеческими органами чувств, которые, зачастую, с точки зрения машинного обучения, очень слабо развиты.
Например, человек распознает препятствие на дороге с помощью своего зрения, реагирует на это торможением с помощью своей ноги, которая дает команду уже процессору автомобиля снизить подачу топлива и зажать тормозные колодки – в этом уравнении гораздо больше переменных и на его решение требуется значительно больше времени, чем в случае автономного движения, у которого за этот процесс может отвечать фактически неограниченное число органов чувств, но при этом действия будет производить лишь одна физическая система, а не три, как в случае человека. А если при этом еще не надо учитывать, что сзади при торможении в тебя влетит отвлёкшийся человек (потому что можно сообщить автомобилю сзади об опасности заранее и попросить либо остановиться, либо объехать препятствие и тебя), то способов сбить образовавшееся препятствие у искусственного интеллекта гораздо меньше, чем у человека =)
В новом дивном мире нам предстоит отказаться от правил дорожного и движения, разметки и знаков, какими мы их знаем сегодня и вот тогда мы сможем действительно оценить насколько умнее и безопаснее автомобили с автономным управлением.
А для того чтобы обмануть человека или пустить автомобиль под откос, много ума не надо, и тут я согласен с комментариями: «почему же никто так не делает сейчас» =)
Sign up to leave a comment.
Исследователи безопасности обманули автопилот Tesla и заставили разогнаться на 50 миль/час выше допустимого