Здравствуйте, Хабравчане!
В прошлой статье я рассказал о том, как создать удобный Qt-видоискатель для камеры на Symbian устройствах. Теперь пришло время сделать наш код более универсальным и добавить совместимость с Meego 1.2, что, как оказалось, является задачей не самой тривиальной.
Вкратце напомню, что мы получили в прошлой части:
Решение это состоит в конвертации UYVY в более привычный и, что самое главное, понятный для Qt формат RGB. Как ни странно, код, который мы будем в дальнейшем использовать, входит в QtMobility и найти его можно в исходниках (ссылка в подвале статьи). План действий по внедрению UYVY->RGB16 конвертора таков:
>>myvideosurface.cpp
Далее самая главная часть, из-за которой вся эта статья и появилась — UYVY->RGB16 конвертация. Для этого используется функция построчного преобразования, оптимизированная под ARM\Neon графический процессор. Как я писал выше, найти ее можно и в исходниках QtMobility (\src\multimedia\qgraphicsvideoitem_maemo5.cpp). Однако, у людей случаются проблемы с переносом этой функции в свой уютный код (признаться, у меня самого получилось только со второго раза), так что приведу код полностью. Вникать в смысл этого ASM-снипетта совершенно необязательно (в рамках решаемой задачи). Я и сам не имею представления о том, что в нем происходит (не считая строк с комментариями), так что достаточно просто скопипастить этот кусок к себе. Добавить его можно в myvideosurface.cpp перед реализацией методов класса myVideoSurface.
Вот таким нехитрым способом можно сделать одну строку UYVY шестнадцатиразрядной RGB. Теперь осталось внедрить это преобразование в наш обработчик фреймов. Всю конвертацию я вынес в отдельный метод myVideoSurface::convertFrame(). Выглядит это следующим образом:
>>myvideosurface.cpp
Финальных штрих — модифицируем метод myVideoSurface::present() с учетом нововведений:
>>myvideosurface.cpp
Вот и все, теперь в наш колбэк вернется изображение в RGB16, работать с которым можно точно также как и с RGB24 (этот формат используется в Symbian). А так как пробразование у нас оптимизированное — происходит это без потери скорости работы приложения. В конечном итоге виджет видоискателя можно использовать точно также, как и в версии для Symbian.
В целом, такой принцип обработки изображений испольуется в том же QtMobility, для которого мы и реализуем его самостоятельно, вопрос только в платформе (как видно из исходников, внутри mobility этот метод используется в Maemo 5). Так что остается надеятся, что в будущем такая конвертация будет внедрена и в код mobility для Meego.
P.S. К слову, на момент написания этого кода, в Qt (4.7.2) до сих пор не было поддержки сохранения RGB16 в JPEG (хотя на багтрекере и было указано, что баг исправлен). Поэтому в колбэке перед таким сохранением пришлось применять еще один шаг конвертации — RGB16->RGB888. Делается это в одну строку:
Удачной конвертации!
Ссылки:
В прошлой статье я рассказал о том, как создать удобный Qt-видоискатель для камеры на Symbian устройствах. Теперь пришло время сделать наш код более универсальным и добавить совместимость с Meego 1.2, что, как оказалось, является задачей не самой тривиальной.
Вкратце напомню, что мы получили в прошлой части:
- Класс позволяющий получить и обработать каждый фрейм видеопотока в отдельности
- Виджет видоискателя, перерисовываемый на каждом новом фрейме, что позволяет делать с входящим изображением все, что угодно
Решение это состоит в конвертации UYVY в более привычный и, что самое главное, понятный для Qt формат RGB. Как ни странно, код, который мы будем в дальнейшем использовать, входит в QtMobility и найти его можно в исходниках (ссылка в подвале статьи). План действий по внедрению UYVY->RGB16 конвертора таков:
- Добавляем мнимую подддержку UYVY к нашему видоискателю, чтобы получить доступ к изображению, а не впустую читать логи
- Реализуем в классе обработчика фреймов функцию конвертации
- Модифицируем метод QAbstractVideoSurface::present() с добавлением нашей новой функции
>>myvideosurface.cpp
QList<QVideoFrame::PixelFormat> myVideoSurface::supportedPixelFormats(
QAbstractVideoBuffer::HandleType handleType) const
{
if (handleType == QAbstractVideoBuffer::NoHandle) {
return QList<QVideoFrame::PixelFormat>()
<< QVideoFrame::Format_RGB32
<< QVideoFrame::Format_ARGB32
<< QVideoFrame::Format_ARGB32_Premultiplied
<< QVideoFrame::Format_RGB565
<< QVideoFrame::Format_RGB555
<< QVideoFrame::Format_UYVY; //новая строка
} else {
return QList<QVideoFrame::PixelFormat>();
}
}
Далее самая главная часть, из-за которой вся эта статья и появилась — UYVY->RGB16 конвертация. Для этого используется функция построчного преобразования, оптимизированная под ARM\Neon графический процессор. Как я писал выше, найти ее можно и в исходниках QtMobility (\src\multimedia\qgraphicsvideoitem_maemo5.cpp). Однако, у людей случаются проблемы с переносом этой функции в свой уютный код (признаться, у меня самого получилось только со второго раза), так что приведу код полностью. Вникать в смысл этого ASM-снипетта совершенно необязательно (в рамках решаемой задачи). Я и сам не имею представления о том, что в нем происходит (не считая строк с комментариями), так что достаточно просто скопипастить этот кусок к себе. Добавить его можно в myvideosurface.cpp перед реализацией методов класса myVideoSurface.
#include <stdint.h>
#ifdef __ARM_NEON__
/*
* ARM NEON optimized implementation of UYVY -> RGB16 convertor
*/
static void uyvy422_to_rgb16_line_neon (uint8_t * dst, const uint8_t * src, int n)
{
/* and this is the NEON code itself */
static __attribute__ ((aligned (16))) uint16_t acc_r[8] = {
22840, 22840, 22840, 22840, 22840, 22840, 22840, 22840,
};
static __attribute__ ((aligned (16))) uint16_t acc_g[8] = {
17312, 17312, 17312, 17312, 17312, 17312, 17312, 17312,
};
static __attribute__ ((aligned (16))) uint16_t acc_b[8] = {
28832, 28832, 28832, 28832, 28832, 28832, 28832, 28832,
};
/*
* Registers:
* q0, q1 : d0, d1, d2, d3 - are used for initial loading of YUV data
* q2 : d4, d5 - are used for storing converted RGB data
* q3 : d6, d7 - are used for temporary storage
*
* q6 : d12, d13 - are used for converting to RGB16
* q7 : d14, d15 - are used for storing RGB16 data
* q4-q5 - reserved
*
* q8, q9 : d16, d17, d18, d19 - are used for expanded Y data
* q10 : d20, d21
* q11 : d22, d23
* q12 : d24, d25
* q13 : d26, d27
* q13, q14, q15 - various constants (#16, #149, #204, #50, #104, #154)
*/
asm volatile (".macro convert_macroblock size\n"
/* load up to 16 source pixels in UYVY format */
".if \\size == 16\n"
"pld [%[src], #128]\n"
"vld1.32 {d0, d1, d2, d3}, [%[src]]!\n"
".elseif \\size == 8\n"
"vld1.32 {d0, d1}, [%[src]]!\n"
".elseif \\size == 4\n"
"vld1.32 {d0}, [%[src]]!\n"
".elseif \\size == 2\n"
"vld1.32 {d0[0]}, [%[src]]!\n"
".else\n" ".error \"unsupported macroblock size\"\n" ".endif\n"
/* convert from 'packed' to 'planar' representation */
"vuzp.8 d0, d1\n" /* d1 - separated Y data (first 8 bytes) */
"vuzp.8 d2, d3\n" /* d3 - separated Y data (next 8 bytes) */
"vuzp.8 d0, d2\n" /* d0 - separated U data, d2 - separated V data */
/* split even and odd Y color components */
"vuzp.8 d1, d3\n" /* d1 - evenY, d3 - oddY */
/* clip upper and lower boundaries */
"vqadd.u8 q0, q0, q4\n"
"vqadd.u8 q1, q1, q4\n"
"vqsub.u8 q0, q0, q5\n"
"vqsub.u8 q1, q1, q5\n"
"vshr.u8 d4, d2, #1\n" /* d4 = V >> 1 */
"vmull.u8 q8, d1, d27\n" /* q8 = evenY * 149 */
"vmull.u8 q9, d3, d27\n" /* q9 = oddY * 149 */
"vld1.16 {d20, d21}, [%[acc_r], :128]\n" /* q10 - initialize accumulator for red */
"vsubw.u8 q10, q10, d4\n" /* red acc -= (V >> 1) */
"vmlsl.u8 q10, d2, d28\n" /* red acc -= V * 204 */
"vld1.16 {d22, d23}, [%[acc_g], :128]\n" /* q11 - initialize accumulator for green */
"vmlsl.u8 q11, d2, d30\n" /* green acc -= V * 104 */
"vmlsl.u8 q11, d0, d29\n" /* green acc -= U * 50 */
"vld1.16 {d24, d25}, [%[acc_b], :128]\n" /* q12 - initialize accumulator for blue */
"vmlsl.u8 q12, d0, d30\n" /* blue acc -= U * 104 */
"vmlsl.u8 q12, d0, d31\n" /* blue acc -= U * 154 */
"vhsub.s16 q3, q8, q10\n" /* calculate even red components */
"vhsub.s16 q10, q9, q10\n" /* calculate odd red components */
"vqshrun.s16 d0, q3, #6\n" /* right shift, narrow and saturate even red components */
"vqshrun.s16 d3, q10, #6\n" /* right shift, narrow and saturate odd red components */
"vhadd.s16 q3, q8, q11\n" /* calculate even green components */
"vhadd.s16 q11, q9, q11\n" /* calculate odd green components */
"vqshrun.s16 d1, q3, #6\n" /* right shift, narrow and saturate even green components */
"vqshrun.s16 d4, q11, #6\n" /* right shift, narrow and saturate odd green components */
"vhsub.s16 q3, q8, q12\n" /* calculate even blue components */
"vhsub.s16 q12, q9, q12\n" /* calculate odd blue components */
"vqshrun.s16 d2, q3, #6\n" /* right shift, narrow and saturate even blue components */
"vqshrun.s16 d5, q12, #6\n" /* right shift, narrow and saturate odd blue components */
"vzip.8 d0, d3\n" /* join even and odd red components */
"vzip.8 d1, d4\n" /* join even and odd green components */
"vzip.8 d2, d5\n" /* join even and odd blue components */
"vshll.u8 q7, d0, #8\n" //red
"vshll.u8 q6, d1, #8\n" //greed
"vsri.u16 q7, q6, #5\n"
"vshll.u8 q6, d2, #8\n" //blue
"vsri.u16 q7, q6, #11\n" //now there is rgb16 in q7
".if \\size == 16\n"
"vst1.16 {d14, d15}, [%[dst]]!\n"
//"vst3.8 {d0, d1, d2}, [%[dst]]!\n"
"vshll.u8 q7, d3, #8\n" //red
"vshll.u8 q6, d4, #8\n" //greed
"vsri.u16 q7, q6, #5\n"
"vshll.u8 q6, d5, #8\n" //blue
"vsri.u16 q7, q6, #11\n" //now there is rgb16 in q7
//"vst3.8 {d3, d4, d5}, [%[dst]]!\n"
"vst1.16 {d14, d15}, [%[dst]]!\n"
".elseif \\size == 8\n"
"vst1.16 {d14, d15}, [%[dst]]!\n"
//"vst3.8 {d0, d1, d2}, [%[dst]]!\n"
".elseif \\size == 4\n"
"vst1.8 {d14}, [%[dst]]!\n"
".elseif \\size == 2\n"
"vst1.8 {d14[0]}, [%[dst]]!\n"
"vst1.8 {d14[1]}, [%[dst]]!\n"
".else\n"
".error \"unsupported macroblock size\"\n"
".endif\n"
".endm\n"
"vmov.u8 d8, #15\n" /* add this to U/V to saturate upper boundary */
"vmov.u8 d9, #20\n" /* add this to Y to saturate upper boundary */
"vmov.u8 d10, #31\n" /* sub this from U/V to saturate lower boundary */
"vmov.u8 d11, #36\n" /* sub this from Y to saturate lower boundary */
"vmov.u8 d26, #16\n"
"vmov.u8 d27, #149\n"
"vmov.u8 d28, #204\n"
"vmov.u8 d29, #50\n"
"vmov.u8 d30, #104\n"
"vmov.u8 d31, #154\n"
"subs %[n], %[n], #16\n"
"blt 2f\n"
"1:\n"
"convert_macroblock 16\n"
"subs %[n], %[n], #16\n"
"bge 1b\n"
"2:\n"
"tst %[n], #8\n"
"beq 3f\n"
"convert_macroblock 8\n"
"3:\n"
"tst %[n], #4\n"
"beq 4f\n"
"convert_macroblock 4\n"
"4:\n"
"tst %[n], #2\n"
"beq 5f\n"
"convert_macroblock 2\n"
"5:\n"
".purgem convert_macroblock\n":[src] "+&r" (src),[dst] "+&r" (dst),
[n] "+&r" (n)
:[acc_r] "r" (&acc_r[0]),[acc_g] "r" (&acc_g[0]),[acc_b] "r" (&acc_b[0])
:"cc", "memory", "d0", "d1", "d2", "d3", "d4", "d5", "d6", "d7", "d8", "d9", "d10", "d11", "d12", "d13", "d14", "d15",
"d16", "d17", "d18", "d19", "d20", "d21", "d22", "d23",
"d24", "d25", "d26", "d27", "d28", "d29", "d30", "d31");
}
#endif
Вот таким нехитрым способом можно сделать одну строку UYVY шестнадцатиразрядной RGB. Теперь осталось внедрить это преобразование в наш обработчик фреймов. Всю конвертацию я вынес в отдельный метод myVideoSurface::convertFrame(). Выглядит это следующим образом:
>>myvideosurface.cpp
QPixmap myVideoSurface::convertFrame(QVideoFrame lastVideoFrame)
{
QPixmap lastFrame = QPixmap();
if (!lastVideoFrame.isValid()){
return QPixmap();
}
if (lastVideoFrame.map(QAbstractVideoBuffer::ReadOnly)) {
#ifdef __ARM_NEON__
if (lastVideoFrame.pixelFormat() == QVideoFrame::Format_UYVY) {
QImage lastImage(lastVideoFrame.size(), QImage::Format_RGB16);
const uchar *src = lastVideoFrame.bits();
uchar *dst = lastImage.bits();
const int srcLineStep = lastVideoFrame.bytesPerLine();
const int dstLineStep = lastImage.bytesPerLine();
const int h = lastVideoFrame.height();
const int w = lastVideoFrame.width();
/**
* Построчная конвертация itself
*/
for (int y=0; y<h; y++) {
uyvy422_to_rgb16_line_neon(dst, src, w);
src += srcLineStep;
dst += dstLineStep;
}
lastFrame = QPixmap::fromImage(
lastImage.scaled(lastVideoFrame.size(), Qt::IgnoreAspectRatio, Qt::FastTransformation));
} else
#endif
{
QImage::Format imgFormat = QVideoFrame::imageFormatFromPixelFormat(lastVideoFrame.pixelFormat());
if (imgFormat != QImage::Format_Invalid) {
QImage lastImage(lastVideoFrame.bits(),
lastVideoFrame.width(),
lastVideoFrame.height(),
lastVideoFrame.bytesPerLine(),
imgFormat);
lastFrame = QPixmap::fromImage(
lastImage.scaled(lastVideoFrame.size(), Qt::IgnoreAspectRatio, Qt::FastTransformation));
}
}
lastVideoFrame.unmap();
return lastFrame;
}
}
Финальных штрих — модифицируем метод myVideoSurface::present() с учетом нововведений:
>>myvideosurface.cpp
bool myVideoSurface::present(const QVideoFrame &frame){
m_frame = frame;
if(surfaceFormat().pixelFormat() != m_frame.pixelFormat() ||
surfaceFormat().frameSize() != m_frame.size()) {
stop();
return false;
} else {
observer->newImage(convertFrame(frame));
return true;
}
}
Вот и все, теперь в наш колбэк вернется изображение в RGB16, работать с которым можно точно также как и с RGB24 (этот формат используется в Symbian). А так как пробразование у нас оптимизированное — происходит это без потери скорости работы приложения. В конечном итоге виджет видоискателя можно использовать точно также, как и в версии для Symbian.
В целом, такой принцип обработки изображений испольуется в том же QtMobility, для которого мы и реализуем его самостоятельно, вопрос только в платформе (как видно из исходников, внутри mobility этот метод используется в Maemo 5). Так что остается надеятся, что в будущем такая конвертация будет внедрена и в код mobility для Meego.
P.S. К слову, на момент написания этого кода, в Qt (4.7.2) до сих пор не было поддержки сохранения RGB16 в JPEG (хотя на багтрекере и было указано, что баг исправлен). Поэтому в колбэке перед таким сохранением пришлось применять еще один шаг конвертации — RGB16->RGB888. Делается это в одну строку:
image = image.convertToFormat(QImage::Format_RGB888);
Удачной конвертации!
Ссылки:
- Иисходники QtMobility — git