Комментарии 103

Я правильно понимаю заголовок, что в каждом айфоне сегодня автолидары по 75к?


Кручу в руках свой аппарат (и это не 12про) — нет, не появился!

Слово «стоили» вас не смущает? И то, что 75к стоили лидары для автомобилей, а в айфонах будут абстрактные лидары, без уточнения, что такие же?
А вас не смущает, что заголовок изменился с момента моего комментария? В оригинале было «Лидары для автомобилей стоили $75.000, а теперь они в каждом iPhone» — и ваш коммент отлично уходит автору такого «шикарного» заголовка перевода.

Кеш гугла



Тем более, если посмотреть на заголовок переводимого оригинала: «Lidar used to cost $75,000—here’s how Apple brought it to the iPhone».

Так вы бы и написали мне?


Считаю, что неудачный перевод (как и слабый пост, если это пост в корпблоге), стоит обсуждать вслух: это и другим поможет писать лучшие материалы, и автору дает возможность как-то участвовать в обсуждении. Личка хороша для опечаток, а здесь далеко не тот случай, здесь просто перевод «по мотивам» с осознанным отходом от оригинала.

Уже не первый раз на Хабре пишут про проблему желтизны заголовков.
Это же не какая-то интернет газетенка, а около-технический блог.
Редакторы Хабра задают тон, а компании его подхватывают.
Может хватит это терпеть и затыкать всем рот?
Как в борьбе с желтизной заголовков поможет первый комментарий? Он достоин около-технического блога?
Как давно мне пояснил один медиа-товарищ, мнение которого мне тогда не понравилось, но — он же прав, черт побери! — «Пипл хавает».

Это же не какая-то интернет газетенка, а около-технический блог.

Хабр, как кажется нам с вами — это мы. Но: и вы, и я ходим на Хабр, и читаем, и не ставим минусы «редакторам», а втягиваемся в обсуждение всякого и каждого желтого заголовка, создавая этим постам просмотры, а кто-то и плюсы ставит. Получается, про газетенку зря вы отпираетесь, мы все «играем короля» именно так.

Ну а владельцам — бабло капает, чего там.
Может хватит это терпеть и затыкать всем рот?


Как же тогда повесточку продвигать?

Без анонимных минусов тема 666 гендеров не взлетит.
Скорее не лидар, а модифицированная ToF камера.
Как в FaceID, только с большим разрешением.
Это совсем разные вещи как по цене, так и по назначению. Ничего кардинально нового Apple тут не ввела.

Как это не ввели?
А как же новый тренд в мобильных устройствах?
sarcasm
Теперь смартфон без лидара и не смартфон вовсе.

Лазерный дальномер точно был в HTC 10 4 года назад, и, возможно, в более ранних моделях.
Да вообще не понятно чем занимаются, 10 лет штаны просиживают, вот другое дело %brandname%! Вот там настоящие инновации)
Там именно Direct ToF, на матрице из SPAD-ов. Все вариации на тему Face ID делаются или через Structured Light или Continious Wave ToF, и то и другое ощутимо дешевле и проще.

ToF это способ измерения, а не технология, любой несканирующий лидар использует ToF по определению, так что это не могут быть "разные вещи".

Вот интересно: насколько этот лазерный свет безопасен для сетчатки глаз?

Лазерный свет ничем не опасней света солнца, лучины или света от ночных светлячков.
Опасность может представлять мощность излучения, но она естественно на безопасном уровне.
Лазеры работают в безопасном инфракрасном диапазоне который не проходит через хрусталик и роговицу.
По ссылке
Cameras are up to 1000x more sensitive to lasers than eyeballs

Хм, из опыта с лазерами, помню, что хрусталик и роговица неплохо задерживают УФ, а ИК вроде бы проходит без проблем. И опасность ИК лазеров как раз в том, что излучение не видно глазу, то есть не срабатывает моргательный рефлекс, из-за чего возможны серьезные повреждения

Не знаю насчёт ИК, но получить повреждения сетчатки от УФ — проще простого. Снежная слепота, "зайчики", которые ловят сварщики без маски — это именно УФ.

Это да, при достаточной мощности что угодно навредит

Лазер способен повредить сетчатку за наносекундное время, поэтому неважно, успеете вы моргнуть или нет. Знакомый в лаборатории поймал отражённого от наручных часов зайчика, и теперь у него тёмная полоса на картинке в глазу.

При не слишком большой мощности (класс опасности 3) моргание поможет. От мощных лазеров и их бликов спасут только специальные очки, да.

От реально мощных лазеров спасет только глухой шлем из сантиметрового металла ;)
Всегда вопрос в мощности. Если очки помогают — они забирают на себя тепло луча.
Повторюсь, ИК излучение может быть с очень разной длиной волны, для безопасности выбрана именно та длина волны которая не доходит до сетчатки.
Это где-то 1500 и выше, диапазон IR-B.
Лазерный свет ничем не опасней света солнца, лучины или света от ночных светлячков.

Не совсем. Лазерный луч когерентный, а значит создает интерференционную картину сам с собой. Обычный свет дает просто светлое пятно на сетчатке, а лазер — множество интерференционных минимумов и максимумов. И вот эти максимумы могут быть опасны при такой яркости, при которой обычный свет еще остается безобидным.

А как они планируют решать следующие проблемы:


  1. Работа в туман.
  2. Работа в снег и дождь
  3. Работа сотен лидаров в одном месте (в пробке)
Можно использовать несколько лазеров с разными длинами волн (проходящих сквозь туман, дождь и т.п.). Плюс дополнительный радар (на случай пылевой бури).
Ближнее ИК, доступное для лазеров неплохо поможет в случае смога, мелкой пыли и умеренного дыма (поглощение, небольшое рассеивание). Но вот туман и особенно дождь/снег по прозрачности для этого ИК не лучше, чем для видимого света (переотражение и рассеивание). Да, вот тут потребуется уже не лазер, а мазер.

Проблему множества лидаров частично можно решить: разными длинами волн (но выбор все-таки не велик, специфические лазеры дóроги); разной поляризаций (но поляризация порой может вращаться); и отловом коллизий импульсного сканирования (чтобы не принимать чужие импульсы за собственные с возникновением ошибки мнимого уменьшения дистанции — ложные данные опаснее отсутствующих).

Допустим, будет протокол, согласно которому предваряя сканирующий лидарный импульс излучается не используемый для сканирования, более длинный импульс-метка с данными (скорее всего мы не сможем передавать идентификационные данные в составе сканирующего импульса). Если система фиксирует чужой импульс-метку в пределах временного окна выполнения собственного сканирования, то данные отбрасываются, операция повторяется.
А есть ли проблема с чужими импульсами? Ежели свет пролетает 500 метров менее чем за пару микросекунд, 250 метров туда и обратно. Мне видится очень маловероятным чужому авто попасть в такой временной интервал. Нужны будут сотни лидаров, излучающих каждый в своё уникальное время, чтобы попасть в такое окно. Ну и, к тому же, это будет дефект размером в одну точку, банально отсекающийся при обработке данных. Ну и можно каждому лидару задать немного различную частоту опроса, чтобы не возникло синхронизации, так что, опять же, дополнительно подобные дефекты можно легко отсеивать временнЫм сглаживанием.
Рано или поздно возникнет ситуация, когда попадет. Да, это маловероятно при тестировании. Но машин будет много в одном месте не в каком-то разовом тесте, а на улице. То есть повторно огромное количество раз.

Причем, учитывая идентичность систем и хорошую стабильность частоты, время синхронного совпадения может быть продолжительное. Ошибка станет не просто дефектом, а ложным досрочным срабатыванием. Получим полноценную информацию о внезапно возникшем близком препятствии.

Различная частота опроса устранит синхронность совпадения, но резко повысит шанс разовых коллизий. Впрочем, наверное это хорошее решение.
Такая ситуация именно в dToF обрабатывается достаточно легко и все на нее расчитывают последние несколько лет. И разовые коллизии воспринимаются просто как увеличенный уровень шума.
Даже для устройств смотрящих на >500м время «экспозиции» после одного пульса — меньше 2 микросекунд. Достаточно добавить произвольную задержку перед началом каждого пульса с максимальной величиной больше оной «экспозиции» полностью уберет вероятность систематических помех от одиночными однотипными устройствами. Для расстояний ближе 100м, где это действительно критично, время экспозиции и вовсе меньше 500нс, кроме легкой просадки фреймрейта особого негатива не будет.
Во-вторых на обработке обычное отражение очень сильно отличается от «ослепления» чужим источником и легко выфильтровывается. Получается некоторая «слепая зона» на расстоянии до чужого источника, но из-за динамического характера сцены это тоже быстро устраняется и фильтруется.
1. «К сожалению, погода не позволяет включить ваше авто, воспользуйтесь ближайшей остановкой общественного транспорта»
2. п.1
3. «Маршрут перестроен, вы будете ехать вот этими зигзагами и поворотами, с периодической остановкой на несколько минут, что бы не создать пробку на развязке»
Производительность лидаров от Apple намного ниже, чем у топовых датчиков, производимых компаниями, специализирующимися на лидарах. Velodyne, компания выпустившая первый трехмерный лидар, утверждает, что их датчик может работать с дальностью в 200 метров, в то время как датчик от Apple работает с дальностью 5 метров.
Такое впечатление, что автор пытается занизить достижение Apple. А по мне, исходя из физики, всё наоборот. Тот, кто оперирует дальностью порядка сотен метров, должен измерять запаздывание порядка наносекунд, что в общем-то не так уж сложно. А для измерителей единиц метров придётся точно измерять запаздывание в пикосекунды. Верно ли моё почерпнутое из курса вузовской физики представление, что второе гораздо сложнее? Я даже не понимаю, как в цифровом аппарате, работающем на предельно достижимых нынче частотах в гигагерцы (т.е. с характерными временами в наносекунды) удаётся точно измерять время на три порядка короче. Это какая-то технологическая магия, не иначе.
Верно ли моё почерпнутое из курса вузовской физики представление, что второе гораздо сложнее?

Скорее всего, там просто другой способ. Если отражаемый объект относительно недалеко и неподвижен, можно сделать так: лазер модулируется какой-то определённой длиной волны, и сравнивается фаза сигнала на лазерном диоде и на фотоприёмнике. Зная длину волны и разницу фаз, можно высчитать и расстояние.

Именно так. В лидарах малой дальности используется модуляция сигнала

Никто такие задержки не меряет программно, так что частота процессора не играет роли. Для этого есть аналоговые схемы, они уже выдают готовый результат для процессора. А по поводу 200м / 5м — важна не общая задержка сигнала, а точность измерения, чтобы получить точное расстояние, точность 10м на расстоянии 200м легче достичь, чем 10 см на расстоянии 5м.
Это делается аппаратно, специальной микросборкой — а потом уже данные передаются в ЦП.
В позиционировании внутри зданий по схеме TDoA (разница времени прибытия сигнала) приходится решать еще более сложные задачи — вроде синхронизации времени до пикосекунды на разнесенных в пространстве приемниках — и ничего, те же BLE и UWB-системы вполне работают.
Это отнюдь не достижение Эпла, лазерные дальномеры есть на каждой стройке и стоят от 14 долларов за готовое изделие с дисплеем и кнопками. Разрешение 2 мм, расстояние до сотен метров.
Там еще и скорость измерений — 1 Гц, и довольно крупная оптика с большим фокусным расстоянием — в телефон такую не встроить.
Если кому интересно, у меня есть статья про такие лазерные рулетки: habr.com/ru/post/327642
Для измерения расстояния достаточно одной ячейки, массив нужен для трёхмерной картинки. Но трёхмерную картинку невозможно построить без рассеивающе-собирающей оптики (или изготовления выпуклого кристалла массива лазеров и вогнутого — массива датчиков), поэтому в телефоне с его миллиметровыми размерами фактически получится всё то же одноточечное измерение, но массивом датчиков…
Для разных задач будут разными ограничивающие факторы, как в любой инжинерии.
Для коротких расстояний основной упор приходится делать на точность измерения времени( отклонение «часов») и подавление шума от своих собственных триггеров и начала эмиссии. Зато объекты близко и обычно дают достаточно интенсивный сигнал, потому можно намного меньше загоняться с SNR. И мерять такие системы должны обычно от 5 — 10см с точностью не ниже сантиметра.
При работе на сотни метров допустимая абсолютная точность может быть на уровне 15 — 20 см, близкое расстояние часто тоже обрезается. Зато в общем сигнале приходится выискивать те несколько фотонов, что вернулись вот от того куска угля за 200 метров от нас. Не самое тривиальное занятие.
Вообще же, для достижения нужных параметров приходится измерять сигнал на частотах от 1 до 5 ГГц. Строить хорошую PLL на такое дорого и сложно, поэтому, например, могут использоватся множественные сэмплеры, где разница во времени срабатывания достигается задержкой прохождения сигнала от оного источника.

Если использовать синхронный усилитель на приемнике, то на SNR можно вообще не смотреть (использование такой схемы позволяет провести измерения в условиях, когда на входе шум на порядки сильнее полезного сигнала)

Я не гуру обработки сигнала, но в меру моего понимания для такого метода нужна регулярность значимого сигнала и хотя б некоторая регулярность уровня шума. У лидаров все плохо с обеими компонентами. Шум очень варьируется от температуры и освещенности окружающей среды. Сигнал, который мы ищем тоже принимает достаточно разнообразные формы. Скажем профиль возврата от дорожного знака-ретрорефлектора в 50м будет очень сильно отличатся от темного цилиндрического матового столба на том же расстоянии.

для метода измерения с синхронным усилителем достаточно стабильности частоты, а в измерении лидаром частота модуляции светового потока излучаемого сигнала стабильна и известна, но неизвестна фаза отраженного сигнала, которая по сути и есть задержка сигнала, и, чтобы найти ее, двумя ключами (работающими с задержкой pi/2, за это время отраженный сигнал гарантированно придет хотя бы на один из ключей) и двумя интеграторами ищем амплитуды U_0 и U_pi/2, арктангенс отношения которых и даст сдвиг фазы принятого сигнала относительно излученного.

Такой подход замечательно работает для iToF систем, где мы как раз ищем смещение фазы сигнала. Описанная в данной статье штука это direct ToF, когда измеряется непосредственно время между исходящим пульсом и возвратом отраженного излучения. Исходящий пульс один, не повторяющийся, возврат сэмплится с определенной частотой. Такой цикл может многократно повторятся, чтоб SNR улучшить, но технику для определения смещения фазы применить не получается.

Я могу ошибаться, но кажется именно лазерные "дальномеры" стояли в телефонах LG лет десять назад.
Например.

Я так понимаю, там был один «пиксель», в то время, как у лидара это целый массив. Грубо говоря, вы этим пикселем мимо лица промахнулись и всё, фокус будет на фоне, а не на человеке.
Термин LiDar появился в 1953 году и Apple нигде (насколько мне известно) не заявляет, что она изобрела эту технологию, но она действительно первая среди прочих, кто реализовала форм-фактор, позволяющий компактно разместить матрицу на обычном, по своим размерам, смартфоне)

Да бог с ней, с Apple. Пусть пиписьками меряются с кем хотят. Но это не отменяет факта того, что лидар был уже давным-давно установлен на телефон. И это не "прорыв", а просто "установка лидара".

А Apple никогда и ни в чём не была первой. Ни сканер отпечатка, ни распознавание лица, ни голосовой ассистент не появились впервые в их смартах. Что они предлагали — так это удобную реализацию оных фич. И это были не гиммики, а то, чем реально начинали пользоваться и что затем повторяли остальные. Что-то лучше (Siri, когда ты уже станешь не такой тупой?), что-то хуже.
Я работал с несколькими ToF-лидарами одновременно и могу сказать, что они могут начинать давать помехи друг на друга, в этом один из их главных недостатков по сравнению с «пассивными» камерами.
Облако точек объекта, освещённого несколькими ToF-лидарами, начнёт серьёзно «расплываться».
Для телефона такое ещё может прокатить (особой опасности нет, если картинка получится не особо чёткой), а вот для автомобилей — там уже нужны дублирующие решения
Обзор LG G4: камера с лазерным прицелом

А это не то же самое но 5 лет назад?

Вы ещё скажите, что до айфонов были сенсорные коммуникаторы, ориентированные на управление без стилуса...

получится ли модулировать частотой чтобы решить проблему взаимных помех если измеряется фаза? мне кажется нет, хотя я не физик

Блин, ну во-первых понятие LIDAR включает как обычные лазерные дальномеры, так и их 2D и 3D варианты. Лидар на 250 метров должен работать от 0 до 250 метров, поэтому электроника там не хуже, чем в айфон-лидарах 0-5 метров.
Промышленные лидары очень точные: riftek.com/ru/products/~show/sensors/2D-scanners (мэйд ин Белоруссия)
Для автомобилей миллиметры точности неважны, важна скорость измерения, расстояние и цена.

А для айфонов лидар вообще нужен???

Для AR может помочь в экономии ресурсов на обработку плоской картинки с камеры. Хотя, как я понял, это надо чтобы строить более честное боке и иметь более точный фокус на объекте. Но уверен что найдутся умельцы которые сделают приложение для сканирование объектов для последующей 3D печати :)

Теперь обладатели айфонов с лидарами легко смогут найти чёрную кошку в темной комнате.

А не приведёт ли повсеместное внедрение лазеров (я надеюсь, что не приведёт) к проблемам со зрением у людей?
Мне кажется, сначала оно приведёт к проблемам со зрением у самих лидаров.
не переживайте, всего лишь достаточно эпидемии вируса, передающегося фотонами, и население заставят носить защитные очки на улице, что решит столь деликатную проблему

“ Поскольку свет движется с постоянной скоростью” Как так то, т.е. теперь можно закрыть весь раздел физики касающийся оптики?

Нет, только подраздел, касающийся скорости света или в общем электромагнитных волн в прозрачных для рассматриваемых длин волны средах. Хотя, подождите...

А там действительно нужен лидар? Для ускорения фокусировки профессиональные навесные вспышки давным обладают функцией подсветки автофокуса.
Телефону сложно осветить своими махонькими светодиодиками объект на расстоянии десятка метров. А лазеру для этого достаточно 10 мВт.

Цитата из прошлого: "мы говорим партия — подразумеваем Ленин. Мы говорим Ленин — подразумеваем партия".
И так было 70 лет. Говорили одно — подразумевали другое.
По теме: "Лида́р (транслитерация LIDAR англ. Light Detection and Ranging «обнаружение и определение дальности с помощью света») "
В телефоне — дальномер (лазерный). В машине — построитель окружения (почти объёмнный).
Божий дар и яичница. Найдите десять отличий.....

А чем лидар отличается от радара?
По поводу аварий Тесла. Это связано с тем, что они в основном используют камеры с машинным обучением для координации в пространстве?
А чем лидар отличается от радара?

Да всем, в общем-то, только назначение частично пересекается. Радар — средство для обнаружения объектов с помощью отражённых/излучённых ими радиоволн (посему объекты должны уметь эти волны отражать или излучать), и могут находиться на любом доступном для радиоволн удалении, лидар — лазерный дальномер, или в более продвинутом варианте, сканирующий лазерный дальномер. Предназначен для определения расстояния до объектов в пределах прямой видимости.
Да всем, в общем-то, только назначение частично пересекается.

А я то, дурак, всю жизнь думал, что только частотой используемого электромагнитного излучения.
И все таки не совсем понятно как работает этот массив лазеров. Если одновременно, то как избежать кросс помех, например если луч отразится в соседнюю ячейку. Особенно учитывая расстояние между излучателями на кристалле.
Или все же там используется некая развертка, когда одновременно работает один (или несколько) лазер. Тогда не ясно к чему «тысячи однофотонных диодов» ведь тогда по идее хватит одного (нескольких).

Один нужно как‐то перенацеливать. Перед массивом можно поставить оптику так, чтобы разные лазеры в результате стреляли в разные стороны. Второе работает намного быстрее и меньше изнашивается.

Это особенности машинного перевода статьи, без обьяснения достаточно специфических понятий. Например излучатель и приемник это два разных чипа, отстоящих друг от друга и, обычно, неплохо изолированных чтоб прямых утечек света.
VCSEL состоит из большого количества вертикальных «каналов», через которые уходят фотоны. Каждый канал дает не полностью колимированный луч, но очень узкий пучек. Чтобы этим набором «точек» покрыть целевой сектор обзора перед диодом ставится оптика, проецирующая лучи как надо.
На стороне приемника почти обычная матрица, как в любой камере. Чем больше «пикселей» — тем выше разрешение с которым мы воспримем окружение.

Спасибо, то есть если более по простому. Лазер у на как-бы один, но проэцирующий некое облако точек (если сильно утрировать, это как фонариком через дуршлаг посветить). Так что можно считать что все лучи стартуют одновременно. А диоды типа как камера, но ловят не просто картинку, а время прибытия каждой точки облака.
Действительно элегантное решение.

Сильно утрируя, да, Ваше понимание корректно. Решение очень элегантное, но очень сложное на уровне микроэлектроники. Там и допуски по таймингу в десятки пикосекунд и сказочная чувствительность к шуму и просто архитектура и процессы сложные.
а еще почти в каждом пылесосе сейчас стоит полноценный вращающийся лидар (просто они имеют более низкое разрешение и скорость, чем те что по $75к)
В пылесосах намного проще устройство. Там по сути однопиксельный лазерный дальномер, который моторчиком вращают вокруг своей оси.
там многопиксельный дальномер. лазер и матрица от камеры, разнесенные по краям вращающегося диска. в зависимости от того, в какой пиксель камеры проецируется точка от лазера, вычисляетя расстояние.
О, это интересно, спасибо! Не подскажете кто из производителей выпустил многопиксельный LDS? Когда я смотрел последний раз, примерно с год назад, такого еще ни у кого не было и многие флиртовали с iToF.
Наверное я не особенно понятно выразился. В пылесосах «моногопиксельный» не собственно лидар, а дешевая матрица-приемник. Никакого tof или модуляции там нет. Просто по положению пятна лазера на матрице вычисляется «однопиксельный» результат, дальше все скармливается в алгоритм SLAM для построения карты и позиционирования. У меня пылесос с таким лидаром уже лет восемь катается по квартире. Производитель пылесоса Neato конкурс на супер-дешевый лидар делали в свое время, вот, до сих пор все результатами того конкурса наслаждаются в пылесосах.
А, понял, спасибо. С тех пор прогресс чуть подвинулся, сейчас от крутилок с триангуляцией перешли к крутилкам с однопиксельным dToF, они точнее. Но поскольку всем хочется углового разрешения лучше, чем пол-градуса: часть производителей смотрит чтоб поставить на крутилку многопиксельный dToF, часть смотрит чтоб приспособить iToF(или от телефонов или дешевые китайские варианты). Ну и есть идущие особым путем, типа Электролюкса.

А solid state LiDAR и ToF-камеры — это одно и то же или там разные принципы?
Пока пытался найти информацию, нашел это видео:



Выглядит похоже на structured light (aka первый Kinect и подобные).

«Еще больше усложняет ситуацию тот факт, что технология ToF теперь представлена в двух вариантах: iToF и dToF. iToF измеряет фазовый сдвиг, а dToF – непосредственное время полета.»

Ковыряемся в лидаре iPad 11 Pro

image

image

«Внутрипиксельное соединение» — важное свойство. Компания Sony впервые интегрировала CMOS-датчик, используя 3D-стекинг для ToF-датчиков. Внутрипиксельное соединение позволило разместить CMOS-датчик изображения вместе с логической подложкой. Благодаря интегрированной логической матрице, датчик может производить простые вычисления расстояния между iPad и объектами, объяснил Халлеро.


Ковыряемся в лидаре iPad 11 Pro
А они снаружи и должны быть похоже — светят инфракрасным светом по сетке.
Весь вопрос в том, как принимается отраженный сигнал и как ведется обработка, в зависимости от этого получатся очень разные технологии с очень разными результатами с точки зрения точности и дальности.
лидары будут в каждом iPhone

Что-то я совсем не доверяю безопасности для глаз нонейм лидаров в китайских клонах айфона. :(
image
пример поражения глаз лазером
А при чём тут поражение СО2 лазером?
Да и прямо скажем по глупости повреждения глаз в разы больше, поэтому предлагаю запретить глупости.
А почему все интересуются потенциальными проблемами со зрением только у людей? А как на счёт других живых существ? Вот решил сфоткать какую-нибудь зверушку и оставил её без зрения. Я не очень силён в устройстве и работе глаза, но сдаётся мне, что диапазоны воспринимаемых волн отличаются от одного вида к другому. Проясните, пожалуйста, кто в теме.

Сравнение странное, в iPhone ведь принципиально другое устройство камеры.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.