Tarson 19 сен 2019 в 17:35

Android Camera2 API от чайника

32 мин

52K

Программирование*Разработка под Android*Google API*Смартфоны

Туториал

+14

Комментарии 21

agent10 19 сен 2019 в 18:34

В сторону CameraX не смотрели? Хоть и в бете, но для задачи просто фоточки сойдёт уже.

Tarson 19 сен 2019 в 20:34

Да оно все похоже ныне в ту сторону и идет.

SergeiY 20 сен 2019 в 00:17

В камере 1 есть метод onFrame, можно каждый кадр из камеры анализировать.
В camera2 такого решения не нашел, как можно обрабатывать кадры, кто знает?

agent10 20 сен 2019 в 01:47

CaptureRequest.Builder может принимать разные таргеты(surface'ы). Одна surface обычная(SurfaceView/TextureView) для отображения превью, другая для анализа(эту surface можно сделать из ImageReader например.

SergeiY 20 сен 2019 в 02:31

Этот вариант не подходит, потому что:

Он вызывает зависание preview
Fps никак не 30 кадров в секунду. Очень медленно они приходят
Кадр который приходит расходится с тем, что на preview.

svistkovr 20 сен 2019 в 06:20

ImageReader действильно тормозит и подходит больше для снятие фоток, а не видео-стрима.
Есть небольшой хак чтоб брать текстуру из самой превьюшки. Главное, после получения текстуры, обрабатывать её в другом потоке.

Вырезка из рабочего кода для видео-потока + превью:

все как обычно по статье создаём TextureView и надо добавить callback

mTextureView.setSurfaceTextureListener(mSurfaceTextureListener);

дальше в самом callback

@Override
        public void onSurfaceTextureUpdated(SurfaceTexture texture) {
            long time = System.currentTimeMillis();
            Bitmap b = Bitmap.createBitmap(1920,1080,Bitmap.Config.ARGB_8888)
            b = mTextureView.getBitmap(b);
            int[] pixels = new int[b.getByteCount()];
            b.getPixels(pixels,0,1920,0,0,1920,1080);
            imageProcessStream.pushImage(pixels,time/1000L);
        }

Tarson 20 сен 2019 в 10:51

А почемуГугловцы тогда пишут
You normally cannot access the raw video data when using a Surface, but you can use the ImageReader class to access unsecured decoded (raw) video frames
Мне то как раз видео надо

SergeiY 20 сен 2019 в 12:22

этот пример как раз-таки и вызовет подвисание preview.

agent10 20 сен 2019 в 15:56

Дык, не совсем корректный способ вроде.
Как раз вот mTextureView.getBitmap(b) на разных девайсах занимает от 20 до 100мс.
А onSurfaceTextureUpdated срабатываем вообще на main потоке.
Если и getBitmap() выносить на другой поток — то тут я не уверен насчёт thread safe такого действия…

alexander_fokin 20 сен 2019 в 07:59

Просто для интереса, зачем вам каждый кадр анализировать? Мое мнение, что для такого больше подойдет не API камеры, а ARCore. Получаете фрейм + информацию об окружающем пространстве (сцене), запихиваете в очередь и асинхронно обрабатываете.

SergeiY 20 сен 2019 в 09:40

Как написали ниже, для считывания bar/qr кодов в реальном времени.
Но и не только их.

agent10 20 сен 2019 в 09:11

Опишите что нужно вам именно, я так делаю для считывания bar/qr кодов, превью не тормозит если сам анализ после imagereader уносить на другой поток. Опять же, посмотрите исходники CameraX, там тот же imagereader, ну и может, что то для своего кейса найдёте…

SergeiY 20 сен 2019 в 09:42

Именно это и нужно. Использую для распознавания bar/qr кодов и OCR.
Почему-то не удалось нормально подрубить Camera2, чтобы получать фреймы.

agent10 20 сен 2019 в 09:51

А какой размер surface устанавливаете для анализа? На поток отдельный выносите?

SergeiY 20 сен 2019 в 12:20

размер как раз full hd, попробовал ваш способ. Но есть проблемы с подвисанием превью. если уменьшить размер, то, возможно подвисание будет меньше. Но для моих целей full hd желательно использовать.

также, на сколько я понял, значение iso из каждого фрейма получить не получится.

peacemakerv 20 сен 2019 в 13:06

Слежу за этой вашей веткой, т.к. уперся в теже проблемы с подвисанием.
Старое API позволяет искать qr-коды на моем железе 4 раза в секунду, а с Camera2 только получение каждого preview FullHD кадра занимает у меня ~0.45 секунды, без учета дальнейшего распознавания еще :(
Не говоря о том, что подвисает интерфейс, т.е. вообще неюзабельно.
Как же с Camera2 распознавать qr-коды «почти realtime», но и имея возможность крутить настройки камеры?

agent10 20 сен 2019 в 13:10

Есть предположение, что процессинг нужно выносить на отдельный тред, в Camera2 API и в самом ImageReader есть всё для этого(передача handler). При этом в примере для CameraX походу так и делают…

Alexufo 8 июл 2020 в 03:58

не разобрались с подходящей реализацией?

mmMike 20 сен 2019 в 06:53

Странно, когда я делал свой 3D сканер https://habr.com/ru/post/412479/
то работа с камерой не показалась слишком сложной. Все логично и дает почти полный доступ. Да и примеров и документации просто масса.

Наверное, не хватает простой "кнопки счастье" "записать видео" в API. Но для этого проще поискать обертку вокруг фактически низкоуровневого (скорее средне..) управления камерой от Android.

Хотя, если честно, не понял зачем 2019 году очередная статья "как я разбирался с Camera2 API".

А теперь, если вам всё ещё интересно зачем мне потребовалось пилить свой пост на эту тему уже в 2019, то добро пожаловать под кат.

Аплодирую! Эта фраза заставила меня заглянуть внутрь.

agent10 20 сен 2019 в 09:14

Я согласен с автором, апи Гугл сделал, но для простых случаев использования слишком много гемора, хорошо хоть CameraX в процессе

agent10 20 сен 2019 в 15:49

А никто не сталкивался с тем, что на некоторых телефонах превью отображается с инвертированными цветами(как негатив)?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Показать лучшие за всё время

Android Camera2 API от чайника

Комментарии 21

Публикации

Истории