Интересно, что первая модель дрона skydio R1 использовала классические математические методы построения модель 3д пространства из бинокулярной картинки. Но вторая модель skydio 2 использовала нейросетевой метод решения той же задачи. Об этом основатель говорит на 45-й минуте видео:
Но всё же основным прикладным применением технологии стереозрения является дроностроение. Потому что для дрона очень важно определять расстояние до препятствия, ибо любое столкновение с препятствием приведит к уничтожению или серьёзному повреждению дрона.
Это дрон skydio r1. У него 12 камер (6 стереопар) для ориентации в пространстве и одна для записи видео.
Интересно, что запись определения карт глубин сохраняется в памяти дрона. Это значит, что можно восстановить 3д карту всех мест, где когда-либо летали дроны.
Непонятно зачем здесь эта ссылка. Там нет ничего про стерео зрение.
Общий вывод такой: Тесла или Маск никогда не заявляли, что у любой из их машин есть стерео зрение.
Белые/чёрные хакеры, копающиеся в теслах тоже никогда такого не заявляли.
Специалисты в области машинного зрения тоже никогда не говорили, что у Теслы есть стерео зрение.
Человеку се стороны может показаться, что если Тесла строит 3д карты местности, то у неё есть стерео зрение. Это ошибка. 3д карты местности можно строить с любого одно камерного смартфона используя принцип фотограмметрии и методы SLAM (англ.simultaneous localization and mapping — одновременная локализация и построение карты)
Я давно увлекаюсь стереозрением, но никогда не разрабатывал дроны. Думал, что какой-нибудь разработчик дронов скинет в комменты самый быстрый и качественный способ преобразования моих стереовидео в карту глубины сцены. Когда разработчики дронов преобразуют стереовидео в карту глубины, они наверняка натыкаются на кучу подводных камней, чего мне не хочется.
Подожду пока... должны быть разработчики дронов на хабре...
В боковых зонах у теслы точно нет стереозрения, поскольку туда смотрят по одной камере:
В прередней зоне стереозрение тоже вряд ли есть. там стоят три камеры с очень малым baseline ( расстоянием между камерами). То есть, даже если тесла определяет с помощью этих камер расстояние до обьекта, рабочее расстояние этих камер примерно 10-100см( то есть тесла видит глубину не далее своего капота)
Тесла и никто другой не может получить карту глубины из монокулярного зрения
Но тесла может строить 3д карту обьектов с помощью своего монокулярного зрения. Вот тут с любого смартфона можно строить 3д карту местности (это называется фотограмметрия):
Наверное со стороны может показаться, что это одно и то же, но это не так.
В некоторых случаях действительно фотограмметрия и стереозрение дают похожий результат.
Важная разница в том, что фотограмметрия подходит только для построения 3д модели неподвижных обьектов. ( в вашей ссылки видно, что там 3д карта неподвижных обьектов) Поэтому у теслы и всех, ктоиспользует монокулярное зрение есть проблемы с определением расстояния до подвижных обьектов. У бинокулярных дронов такой проблемы нет
у теслы много камер, но это не стереозрение ( у курицы тоже два глаза, но нет стереозрения). Тесла не получает карту глубины с камер (это невозможно теоретически). У них продвинутая система предсказаний расстояний до обьектов.
В целом зрение у теслы такое же как у лошади или курицы (монокулярное). Передвигаться в пространстве можно, но до качества бинокулярных систем им далеко.
«Нейросетевые методы» это когда берем стереопару+данные лидара и никакой математики и триангуляции.
В ссылке про теслу. тесла не использует стереокамеры.
Составить карту глубины по стереопаре можно и с помощью математических методов и с помощью нейросетей. Какой подход окажется лучше мы не знаем. Я за нейросетевой подход.
С цветокоррекцией да, есть косяк. Но это вроде бы никак не влияет на 3д-эффект
Согласен, что для оценки методов машинного зрения лучше рассматривать их результаты.
Несколько постов выше я выложил видео сравнение автопилота теслы и банокулярного дрона. По-моему бинокулярный дрон ориентируется в пространстве лучше теслы, исползующей для обучения всю мощь суперкомпьютера Dojo
1.Ок, вот мой канал. Но для просмотра нужен смартфон в плотностью точек экрана не менее 560ppi, иначе 3д эффекта не будет.
Я не слышал ни про одних разработчиков беспилотных авто, кто использует стереопару.
про астрономов: для вычисления расстояния до далеких обьектов они делают две фотки одного и того же участка неба с разницей в полгода, когда Земля находится в противоположных точках своей орбиты. Из этих двух фотографий получается стереопара для вычисления расстояния до обьекта. Но там чистая математика, без нейросетей.
Основная мысль статьи была в том, что в противостоянии подходов тесла и гугл к машинному зрению, неожиданно может выйграть подход dji (бинокулярное зрение), про который в России мало кто слышал и никто никогда не занимался.
Есть интересное видео, где сравнивается автопилот теслы модел3 и дрона с бинокулярным зрением. Важно знать, что на этом видео и теслой и дроном никто не управляет. Тесла едет в заданную точку, а дрон летит за теслой в режиме преследования.
На этом видео дрон летает более увереннно, не совершая ошибок, а тесла плохо выбирает траекторию и один раз даже проезжает на красный свет.
Есть еще дроны с тринокулярным зрением. Казалось бы третья камера абсолютно лишняя. Но у бинокулярных дронов есть серьезная проблема с облетом электрических проводов. Проблема в том, что провода расположены горизонтально и стереокамера их не замечает. Если провода висят вертикально, то такой проблемы не возникает.
Интересно, что первая модель дрона skydio R1 использовала классические математические методы построения модель 3д пространства из бинокулярной картинки. Но вторая модель skydio 2 использовала нейросетевой метод решения той же задачи. Об этом основатель говорит на 45-й минуте видео:
В отрасли производства дронов со стереозрением очень большие деньги крутятся оказывается.
Тут есть примеры использования стереозрения: https://habr.com/ru/post/665808/
Ученые из МФТИ разработали систему стереозрения для роботов-футболистов
Но всё же основным прикладным применением технологии стереозрения является дроностроение. Потому что для дрона очень важно определять расстояние до препятствия, ибо любое столкновение с препятствием приведит к уничтожению или серьёзному повреждению дрона.
Российская компания из Зеленограда применяет машинное стереозрение для производства роботов-охранников.
Вот самое крутое видео о том, как видят дроны:
Это дрон skydio r1. У него 12 камер (6 стереопар) для ориентации в пространстве и одна для записи видео.
Интересно, что запись определения карт глубин сохраняется в памяти дрона. Это значит, что можно восстановить 3д карту всех мест, где когда-либо летали дроны.
Непонятно зачем здесь эта ссылка. Там нет ничего про стерео зрение.
Общий вывод такой: Тесла или Маск никогда не заявляли, что у любой из их машин есть стерео зрение.
Белые/чёрные хакеры, копающиеся в теслах тоже никогда такого не заявляли.
Специалисты в области машинного зрения тоже никогда не говорили, что у Теслы есть стерео зрение.
Человеку се стороны может показаться, что если Тесла строит 3д карты местности, то у неё есть стерео зрение. Это ошибка. 3д карты местности можно строить с любого одно камерного смартфона используя принцип фотограмметрии и методы SLAM (англ. simultaneous localization and mapping — одновременная локализация и построение карты)
Я давно увлекаюсь стереозрением, но никогда не разрабатывал дроны. Думал, что какой-нибудь разработчик дронов скинет в комменты самый быстрый и качественный способ преобразования моих стереовидео в карту глубины сцены. Когда разработчики дронов преобразуют стереовидео в карту глубины, они наверняка натыкаются на кучу подводных камней, чего мне не хочется.
Подожду пока... должны быть разработчики дронов на хабре...
Надо было назвать статью: "Как дроны видят мир?"
и прикрепить это фото:
фото взято отсюда:
Понятно, мало кого интересуют технологии ориентации дронов в пространстве, но многим владельцам дронов думаю была бы полезна такая информация.
Российские разработчики дронов наверое могли бы добавить что-то интересное в комментах, но видимо таких мало на хабре.
Много камер не гарантируют наличия стереозрения.
В боковых зонах у теслы точно нет стереозрения, поскольку туда смотрят по одной камере:
В прередней зоне стереозрение тоже вряд ли есть. там стоят три камеры с очень малым baseline ( расстоянием между камерами). То есть, даже если тесла определяет с помощью этих камер расстояние до обьекта, рабочее расстояние этих камер примерно 10-100см( то есть тесла видит глубину не далее своего капота)
Вы путаете
Тесла и никто другой не может получить карту глубины из монокулярного зрения
Но тесла может строить 3д карту обьектов с помощью своего монокулярного зрения. Вот тут с любого смартфона можно строить 3д карту местности (это называется фотограмметрия):
Наверное со стороны может показаться, что это одно и то же, но это не так.
В некоторых случаях действительно фотограмметрия и стереозрение дают похожий результат.
Важная разница в том, что фотограмметрия подходит только для построения 3д модели неподвижных обьектов. ( в вашей ссылки видно, что там 3д карта неподвижных обьектов) Поэтому у теслы и всех, ктоиспользует монокулярное зрение есть проблемы с определением расстояния до подвижных обьектов. У бинокулярных дронов такой проблемы нет
у теслы много камер, но это не стереозрение ( у курицы тоже два глаза, но нет стереозрения). Тесла не получает карту глубины с камер (это невозможно теоретически). У них продвинутая система предсказаний расстояний до обьектов.
В целом зрение у теслы такое же как у лошади или курицы (монокулярное). Передвигаться в пространстве можно, но до качества бинокулярных систем им далеко.
«Нейросетевые методы» это когда берем стереопару+данные лидара и никакой математики и триангуляции.
не, метаданных нет
В ссылке про теслу. тесла не использует стереокамеры.
Составить карту глубины по стереопаре можно и с помощью математических методов и с помощью нейросетей. Какой подход окажется лучше мы не знаем. Я за нейросетевой подход.
С цветокоррекцией да, есть косяк. Но это вроде бы никак не влияет на 3д-эффект
Согласен, что для оценки методов машинного зрения лучше рассматривать их результаты.
Несколько постов выше я выложил видео сравнение автопилота теслы и банокулярного дрона. По-моему бинокулярный дрон ориентируется в пространстве лучше теслы, исползующей для обучения всю мощь суперкомпьютера Dojo
Я не понял из ролика как это работает. Стереопара встроена в паркинг? Это странно
1.Ок, вот мой канал. Но для просмотра нужен смартфон в плотностью точек экрана не менее 560ppi, иначе 3д эффекта не будет.
Я не слышал ни про одних разработчиков беспилотных авто, кто использует стереопару.
про астрономов: для вычисления расстояния до далеких обьектов они делают две фотки одного и того же участка неба с разницей в полгода, когда Земля находится в противоположных точках своей орбиты. Из этих двух фотографий получается стереопара для вычисления расстояния до обьекта. Но там чистая математика, без нейросетей.
Основная мысль статьи была в том, что в противостоянии подходов тесла и гугл к машинному зрению, неожиданно может выйграть подход dji (бинокулярное зрение), про который в России мало кто слышал и никто никогда не занимался.
Есть интересное видео, где сравнивается автопилот теслы модел3 и дрона с бинокулярным зрением. Важно знать, что на этом видео и теслой и дроном никто не управляет. Тесла едет в заданную точку, а дрон летит за теслой в режиме преследования.
На этом видео дрон летает более увереннно, не совершая ошибок, а тесла плохо выбирает траекторию и один раз даже проезжает на красный свет.
Есть еще дроны с тринокулярным зрением. Казалось бы третья камера абсолютно лишняя. Но у бинокулярных дронов есть серьезная проблема с облетом электрических проводов. Проблема в том, что провода расположены горизонтально и стереокамера их не замечает. Если провода висят вертикально, то такой проблемы не возникает.
Третья камера решает эту проблему