Разработчики из Канады создали алгоритм, который позволяет масштабировать аниме в реальном времени. По заявлению авторов, Anime4K — это современный высококачественный алгоритм масштабирования с открытым исходным кодом, который может быть реализован на любом языке программирования в любом проекте.
«Наша основная цель — масштабировать аниме-контент до 1080p для экранов 4K. Современные алгоритмы масштабирования не подходят для работы в реальном времени из-за множества факторов. Результаты работы таких алгоритмов, как Bicubic или xBR, неудовлетворительны. Эти алгоритмы были созданы для другого контента и смягчают границы рисунка, что недопустимо для аниме. Подходы, основанные на машинном обучении (такие как waifu2x, VDSR, EDSR и т.д), слишком медленные для работы в реальном времени, особенно с разрешением UHD», — сообщается в препринте разработки.
Авторы алгоритма отмечают, что, как правило, кадры аниме не содержат много текстур. В основном, они состоят из плоских заштрихованных объектов и линий. Таким образом, зритель может быстро заметить низкокачественную картинку, поскольку заметна даже небольшая размытость.
«Поэтому мы решили найти хороший алгоритм уточнения границ. Четкие края важнее для масштабирования аниме, чем восстановление мелких деталей, таких как текстура. Как правило, чем менее размыто изображение, тем тоньше линии границ рисунка. Наш алгоритм пытается минимизировать толщину линии. Цель состоит в том, чтобы модифицировать LR_U (размытое изображение), пока его границы не станут самыми тонкими, что даст нам HR (чёткое) изображение».
Преимущество алгоритма, поясняют авторы, заключается в том, что он не зависит от исходного масштаба. Изображение может быть неправильно масштабировано изначально, и Anime4K алгоритм все равно обнаружит размытые края и уточнит их.
«Таким образом, изображение может быть заранее увеличено с помощью любого алгоритма, который предпочитает пользователь (Bilinear, Jinc, xBR или даже waifu2x), и [разработанный нами] алгоритм будет корректировать края и удалять размытие. Запуск этого алгоритма в аниме с разрешением 900p создаёт результат, похожий [по качеству] на 1080p. Если размытие сильнее, мы просто запускаем алгоритм снова».
Авторы уверены, что некоторые уточнения к Anime4K (например, более аккуратное обнаружение границ рисунка) улучшат качество изображения, но для доработки алгоритма необходимо время.
«Если читатель заинтересован, он может попробовать улучшить наш алгоритм», — заявляют авторы.
