Повышение качества склейки панорамы с помощью согласования графа проективных преобразований

[honor8]

Далее, имея два набора особых точек, следует найти проективное преобразование, которое переводило бы точки одного кадра в соответствующие точки другого наилучшим образом.

Вначале как трансформировать опорный кадр? (камера может снимать под углом)

[SmartEngines]

В предложенном подходе первый (опорный) кадр проективно не выпрямлялся.

[ryzhikovas]

Представляется, что в большинстве сценариев использования было бы здорово на выходе получать ортотрансформированные изображения. В этом случае логичнее использовать ортотрансформированные опорные растровые данные (если нет доступа к Google Maps, то хотя бы снимки от Landsat-8) и проецировать кадры в систему координат опорного изображения. Да, на разновременных снимках связующие точки искать сложнее, но ведь для привязки снимков к опоре точек нужно не так много. А потом уже выполнять межкадровую сшивку.

[AndrewSu]

Интересный метод. Ещё я вам рекомендовал бы посмотреть в сторону Bill Triggs «Bundle Adjustment – A Modern Synthesis»

На сегодняшний день не существует универсального метода оценки качества склейки изображений. Как правило качество склейки оценивается экспертами органолептически

В большинстве фотограмметрических пакетов в качестве этой меры используют ошибку проецирования связующих точек (что есть мера согласования геометрии снимков). Меру оценки согласования яркостей изображений имеет смысл рассматривать только после оценки геометрии.

[NeoPhix]

Плюсую: Bundle adjustment должен положительно сказаться на результате. Более того, с его помощью «подогнать» изображения друг к другу даже при наличии циклических связей в графе.

Вообще статья навела на мысли об известной реализации склейки изображений:

docs.opencv.org/2.4/modules/stitching/doc/stitching.html

В этой реализации (ссылки на статьи в основе там же), кажется, решается даже более сложная задача склейки изображений близких сцен (там правда больше «красивости», чем точности). Насколько я помню, в opencv тоже строится некий граф изображений с ребрами-преобразованиями, из которого потом выкидываются лишние по критерию количества inlier'ов между парой изображений.