Комментарии 125
Это щас серьёзно новость на Хабре? ИИ, который подменяет луну на фотографиях, давно есть уже, кажется, во всех смартфонах. Эту фишку Huawei начал использовать года эдак три назад, все подхватили. Если "пользователь Reddit" это "обнаружил" только сейчас, то штош, доброе утро, блин.
Ну серьёзно, Хабр, фильтруйте хоть немного инфоповоды.
Ну что ты, я вот не знал. А известные соборы и прочие памятники он вот то же так дорисует?
Я бы не отказался, если бы ИИ дорисовал часть памятника или пейзажа, которая закрыта попавшим в кадр нежелательным прохожим. То есть, я тыкаю пальцем и говорю "вот тут мы с девушкой в обнимку на красивом фоне, а в кадр попал какой-то перец, который тут нафиг лишний, убери его".
Ведь у меня какая цель? Сделать красивое фото собора/Луны/с девушкой.
А какая цель иметь красивое фото?
(Экзистенциальный вопрос)
Ведь у меня какая цель? Сделать красивое фото собора/Луны/с девушкой.
Лично у меня цель - сделать своё фото. Пусть не профессиональное (я не профессиональный фотограф), но своё, без помощи какого-то там ИИ. Я же не на продажу фото делаю, а на память.
да и сам процесс доставляет много довольствия: подобрать время и место, подобрать экспозицию, сделать десяток брекетинга, а еще и успеть пока луна не ушла из композиции (или за тучи). После склеить hdr, вытянуть побольше деталей. После смотришь на фото и вспоминаешь весь проделанный труд.
Философский вопрос: какие инструменты можно использовать для "своих" фото, какие нет, и самое главное почему? Автофокус, автоэкспозиция, автобаланс белого...
Подобная фича есть в Pixel'ях, вроде относительно недавно представили редактор фотографий с ИИ
Какой смысл тогда во всех этих многочисленных фото, если можно дорисовать то, это, перерисовать то и сё. И вообще потом прогнать через ИИ-подобный сервис "чтобы лучше стало" и поменять, например, непонравившийся фон.
Изюминка что именно ты лично сделал фото в такое-то время при таком подходе начисто теряется.
Смысл может быть разным. Кому-то хочется похвастаться в какой-нибудь социальной сети или просто друзьям-знакомым. Кому-то хочется запечатлеть воспоминания на будущее. Кому-то хочется поднять своё самомнение фоткой "не хуже чем у звёзд". И так далее и тому подобное.
Смысл может быть разным.
А где тогда грань между собственно фотографией и генерацией картинок нейросетью? Я так рассуждаю, что если на выходе у нас фотография, где уже и детали нарисованы компьютером в автоматическом режиме, или наоборот, ненужные удалены — то зачем в процессе получения сего рисунка нужен сам этап съемки? Пусть оно уже и всю сцену полностью генерирует :)
Можно в фотоателье выбрать фон
Я его лично и сделал, но зачем мне вон тот мимокрокодиливший незнакомец в кадре?
Вот пример. Это фото точно станет хуже, если убрать шланг? Это какая-то чрезвычайно ценная и важная для потомков информация, что там лежал шланг? Нет, это просто шланг, который не заметили до создания фото. Нет совершенно ничего плохого в том, чтобы потом приказать нейросети его убрать.
И вообще потом прогнать через ИИ-подобный сервис
А можно сделать это прямо в телефоне, без внешних серисов, как я в исходном комментарии и предложил. Именно поэтому я был бы не против таких улучшайзеров. Да, они лгут (дорисуют вместо шланга не в точности ту землю, которая находилась под шлангом, а сгенерируют по окружающей текстуре). Но фото от этого хуже не станет, а станет лучше.
Тут штука чисто психологическая. Когда я начинал заниматься фотографированием у меня порой была одна кассета на 36 кадров. И я эти кадры думал куда тратить. Какая дальность, освещённость и выдержка. Какая композиция. Что снимать и как. Сейчас можно сделать за поездку 100500 снимков. Но вот нюанс — смотреть эти несколько десяток старых фоток гораздо интереснее чем современные вылизанные и чёткие тысячи картинок. Даже "лишний" шланг в кадре внезапно обретает свою ценность, вызывая воспоминания.
Разумеется у вас может быть иное своё и "правильное" мнение. Спорить не буду) В конце концов заранее убрать руками шланг из кадра или стереть его потом на фото — практически равнозначные действия изменения реальности, которую передаёт картинка.
Смысл точно такой же, как и сейчас. Ведь и сейчас можно спокойно в любой фотографии дорисовать и перерисовать все, что угодно. Только займет больше времени. С кнопкой, которая это делает сама, просто проще. В самсунгах есть удалялка объектов, иногда пользуюсь, очень удобно.
Ведь у меня какая цель? Сделать красивое фото собора/Луны/с девушкой.
Нет. Основная цель большинства пользователей при использовании камеры смартфона - запечатлеть фотофакт. За "красивым" - это, как минимум, не к смартфонам.
А вот ИИ, по своему разумению "дорисовывающий" на фотофактах (например, фото лунного затмения) детали на своё усмотрение - кхм...
Я бы не был столь уверен в целях пользователей, потому что многим не просто хочется запечатлеть факт, а ещё и изрядно приукрасить его ради получения более сильного положительного отклика. Аутентичность, "нетронутость" изображения их, при этом, абсолютно не интересует.
Вопрос не в том, какая цель, а в том, что из наличия одной цели у каких-то людей делается вывод, что это можно превратить в фичу by default.
для "приукрашивания" есть целый ряд специализированных приложений. но с вашим посылом я согласен - не стоит смешивать эти две концепции (фотофакта и приукрашивания).
Нет ничего плохого в том, что условный Вася сделает что угодно со своими фотографиями. Куда хуже - ситуация, когда, например, подобному подвергаются исторические изображения, а благодаря чьему-то вкусу, оригинал оказывается утерян, как "испорченный".
только вы заранее не можете прованговать - а вдруг именно фотки условного Васи окажутся единственным источником, запечатлевшим какой-то исторический факт, но "благодаря умным алгоритмам" этот фотофакт окажется "скомпрометирован"...
поэтому и говорю - надо разделять две эти концепции. нужно Васе "улучшить" фотку - пускай жмякает на ещё одну кнопку "автоматически улучшить"...
я после путешествия просто выгребаю из интернета фото памятников/пейзажей те что мне нравятся и всё. Мол я бы тоже так снял бы, но лень , т.к. все снято до нас
То есть, я тыкаю пальцем и говорю "вот тут мы с девушкой в обнимку на красивом фоне, а в кадр попал какой-то перец, который тут нафиг лишний, убери его".
Эта функция доступна в телефоне "Vito Corleone edition"
Памятники и здания тяжелее, их много и надо под всеми углами снять. А луна одна и все время одной стороной повернута.
А вот траву и листву на фотографиях некоторые смартфоны "улучшают" уже не первый год.
Ну, Луна не совсем одной стороной повёрнута, а немного шатается. Извините.
Пусть дорисует законченную Саграду де Фамилию
Дорисует соборы и памятники на Луне)
камон, тут на днях была новость про айфон в новом цвете - и ничего, даже не заминусовали.
Так что на том фоне эта новость и это маленькое расследование ещё вполне себе
Все подхватили? У меня айфон так не делает.
А я вот не знал и успел выставить себя некомпетентным среди друзей. Так как я не вникал в тему, я думал что одной из составляющих высокой цены этих флагманов является умение делать вот такие четкие фото, а не заменять картинкой фотографии и готов был переплачивать за качественные фотографии
Ждем интеграции Samsung c JWT, чтобы жмешь кнопку на любой участок неба - сразу получаешь детальный снимок соседних галактик. Можно и не только в видимом диапазоне :)
На самом деле, это было бы круто — по направлению «взгляда» получать не схематичную карту звёздного неба, а фото с разных телескопов, кто туда снимал. Ну, как слои на картах.
Поднимаешь телефон со стола, а тебе сообщение: Вы израсходовали 50 ТБ.
Если делать это с умом (подбирать разрешение в соответствии с увеличением, как на картах), то расход будет не больше, чем при просмотре видео, то есть до 5 Mbps. Это гуманно даже для лимитных тарифов. Другой вопрос, что это надо где-то кому-то хостить и как-то отбивать деньги за хранение снимков и траффик.
Для этого есть целый ряд программ, по типу Stellarium, были даже псевдо-vr очки, где изображение с телефона проецировалось в поле зрения на полупрозрачное зеркало.
Кстати, учитывая световое, пылевое, а в последнее время и спутниковое загрязнение - вполне рабочая идея. Фотография на фоне смога в гало от рекламных вывесок превращается в фотографию на фоне красивого звёздного неба без единого старлинка. А ещё фильтры вместо усталого стареющего лица рисуют бодрое и свежее. Кому ещё нужна эта скучная реальность?
Для начала можно добавить интеграцию с https://www.itelescope.net… правда оно в реальном времени не умеют.
- надо заявку писать (железа — конечное количество)
- снимок совсем не мгновенно (потому что астрокамеры вполне себе могут работать с большими выдержками)
:)
Но это все можно решить ж чисто масштабированием (и архивом кто что снимал общим)
Ну если заявлено, что функция улучшает любое космическое фото, то зачем пробовать на луне? Для теста отлично подойдёт какое-нибудь вымышленное небесное тело, нарисованное нейросетью, например.
А вдруг произойдёт какое-то эпическое событие и на луну высадится гигантский корабль пришельцев или упадёт метеорит и внешний вид Луны сильно изменится. И ты достаёшь телефон, чтобы заснять этот момент, который происходит один раз 5 млрд лет. Но нейросеть не была натренирована на такие моменты, поэтому она удаляет всё лишнее и рисует обычную Луну.
"улучшает".... У меня китайский тепловизор таким образом "улучшал" изображение, чтобы разрешение казалось более высоким. Это сводило пользу от него к нулю.
Это не улучшение. Это вредительство.
И мошенничество даже в некотором смысле, если пользователя об этом не предупреждают. Если предупреждают - нормально.
Тем не менее, даже тут, на Хабре, есть статьи и комментарии, где жулики от ИИ-индустрии готовы агрессивно доказывать, что это именно "улучшение" и "восстановление", а не художественное додумывание деталей.
Простите, не удержался. А зачем "додумывать детали?" - есть ИИ, который определяет - что это Луна, ищем похожие снимки по базе, дальше- подретушировать - яркость, контраст, (расположение "морей" ), цветовой баланс, и отправить пользователю - пусть радуется! много людей смещение диска на заблуреном своем снимке распознают? скорее вопрос- доступна ли функция оффлайн
Проблема в том, что это не очередная кнопка "сделайте красиво" в настройках обработки фото, а функционал, который автоматически превращает изображение в фактоид (в смысле - "правдоподобная имитация возможного, но не реального"), который невозможно отключить и о существовании которого можно узнать только экспериментально.
Впрочем, по нейтральному и положительному отношению к этому можно практически безошибочно определить принадлежность индивидуума к культуре рождённых после 1981-го года.
который невозможно отключить
нужно отключить в смартфоне Samsung опцию в настройках камеры под названием «Оптимизация сцены», чтобы Луна получалась в реальном видео, без доработки деталей с помощью ИИ.
Крутая нейросетка, определяющая возраст по мнению... ;)
Почему именно 1981?)) Просто взгляд зацепился за год моего рождения.
На самом деле отключить все эти "улучшайзеры" можно - достаточно в настройках выбрать "формат снимков RAW" (не знаю уж как там в современных флагманах Самсунга, но обычно флагманские модели позволяют снимать в raw).
И да, это мой (как фотографа с 20-летним стажем) совет всем пользователям смартфонов - всегда снимать в RAW. Память отжирать будет активнее, спору нет. Но при нынешних объёмах дискового пространства - не особая проблема. А вот тот момент, что автоматика может накосячить и испортить снимок - куда более вероятный. Меня вот категорически не устраивает работа шумодава (это как минимум и на любом снимке) современных смартфонов - такое адское мыло на внутрикамерных жпегах, что только raw!
Ну и плюс ещё один момент - когда у вас "исходник" только в жпеге, это очень печально. При пересохранении (даже элементарный ресайз) этот "формат сжатия с потерями" начинает артефакты компрессии плодить в геометрической прогрессии (ну такая вот особенность у jpeg).
ну такая вот особенность у jpeg
С heic не работали? Как с ним дела обстоят?
А как с ним работать? Мы же не можем выбирать - в какие форматы производитель решил упаковывать, с теми и приходится работать. Хорошо если какой-нибудь DNG будет, а частенько только один жпег (изредка встречал ещё "raw в формате png").
Ну и с последующим просмотром проблемы будут - даже webp сейчас далеко не все умеют показывать.
Он может быть станет распространенным, если в дело пойдут какие-нибудь технологии "брекетинга фокуса на уже зафиксированном изображении"...
Во многих смартфонах есть возможность выбора формата сохранения (что-то типа "Most Compatible" (jpeg) или "High efficiency", или прямо явно предлагают формат выбрать).
Ну и с последующим просмотром проблемы будут — даже webp сейчас далеко не все умеют показывать.
А кто не умеет то?
А кто не умеет то?
У меня Imagine (wlx-плагин для TotalCommander) не умеет - приходится "Проводник" юзать. Сафари относительно недавно научился...
Да что там, AdobePhotoshop в webp "из коробки" не умеет...
Гугл говорит, что сафари в 2020 научился, ff в 2019, хром аж в 2014.
Да что там, AdobePhotoshop в webp "из коробки" не умеет...
https://helpx.adobe.com/photoshop/kb/support-webp-image-format.html
With Photoshop 23.2, Photoshop provides full support to the WebP file format.
Что? Зачем вы меня цитируете? Я всё это прекрасно знаю на личном опыте использования.
Пишу же - "Сафари относительно недавно научился". ФШ v.21 не умеет - надо кодек отдельно устанавливать.
Т.е. профессиональный софт (можно даже сказать "лидер отрасли и имя нарицательное") научился в этот формат год назад, и вы считаете что после такого не будет никаких проблем с совместимостью?))
Так в видосике сказано, что у них постобработка AI, которая улучшает качество фото. Под капотом какая-нибудь Super-Resolution моделька. Полюбас в датасете для обучения модельки были изображения луны, поэтому она хорошо запомнила как луна выглядит и с хорошим качеством ее улучшила. Не понимаю, что в этом такого удивительного и необычного?
Я прекрасно понимаю, что где-то в глубине маркетинговых брошюрок на слове "сделать снимок" стоит пятнадцать звёздочек с очень мелким шрифтом, говорящем "на самом деле если вы предврательно не залезете глубоко в меню и не выключите пятнадцать галочек, вместо получения снимка вы будете получать рисунок".
А где-то в глубине инструкции, которую в бумажном виде вместе со смартфоном, скорее всего, даже не поставляют, а предлагают скачать, тоже есть много-много чего мелким шрифтом.
Но когда я нажимаю "сделать снимок", я ожидаю получение снимка, а не творческую перерисовку чего-то с похожим силуэтому. Если я фотографирую график работы врача (или абсолютно любое другое объявление/текст), я всегда без исключения предпочту, чтобы снимок, оставался снимком, цифры не перерисовывались нейросеткой на другие и всё в таком духе.
Я допускаю, что кому-то такое нужно (например, людям, использующим инстаграмы), я допускаю, что маркетологи, пытающиеся извлечь пару дополнительных копеечек выгоды через обман потребителя могут быть ОЧЕНЬ заинтересованы в таком подходе.
Но, собственно, почему мне как потребителю стоит сочувствовать маркетологам в этом вопросе?
Помню, как один известный любитель самсунгов когда-то похвастался фотками луны, сделанными в столице на какой-то новый тогда смартфон от этой корпорации. И так получилось, что в тот же день и в том же месте я снимал луну на обычную беззеркалку с длиннофокусником. Наложив потом ради интереса своё изображение на самсунговое, было видно, что около линии терминатора самсунг отчётливо рисовал некоторые кратеры которых там не было. Так что ничего удивительного)))
Не знаю связано ли с нейронками, но пробовал делать одинаковые фотографии на телефон и фотоаппарат.
Телефонные фотки почти никаких эмоций не вызывают. Вроде и фотография, но какая-то обычная, скучная, редактированию почти не поддаётся. На 4к мониторе выглядит так себе, хоть фотка и тоже в 4к.
Фото с фотоаппарата выглядят как живые. С бликами, оттенками, мелкими деталями, "настоящей" глубиной резкости.
Более всё это связано с микроскопическими линейными размерами сенсора, агрессивным умножением считываемых с него значений, применением агрессивного шумоподавления и очень сильного сжатия.
Это тоже. Но "улучшения" создают иллюзию что фотки вроде норм и с чёткими краями, хотя на самом деле "настоящей" информации там очень мало.
Больше всего масштаб бедствия был заметен, когда я попробовал из кучи фотографий с разных ракурсов воссоздать 3д модель. Алгоритмам все всякие шероховатости на поверхности нужны в качестве опорных точек, а их просто не было.
Без нейронок там бы еще печальнее все смотрелось, ибо камеры смартфонов довольно ограничены, понятно что качество с какой-нибудь DSLR камеры будет намного лучше. Те же super resolution нейронки, которые вставляют в смартфоны обычно как раз тренят с таргетом на DSLR камеры. Тут еще сказывается то, что по SR сеткам тоже особо не разгуляешься, ибо на них есть жесткие таргеты по времени и вычислительным ресурсам, поэтому вставляют обычно легковесные сетки, поэтому страдает детализация.
смартфон ( правда дикие настройки резкости, контраста..
Э, не, господа, переснять с экрана планшета это такой себе эксперимент. Нужно было так: пойти ночью в местность с малым количеством света. Снять Луну на этот ваш самсунг. Снять Луну на какой-нибудь фотоаппарат типа "мыльница" с аналогичным фокусным расстоянием. Обе фотки естественно с одинаковой экспозицией. Вот тогда можно было сравнивать результаты.
Пользователь обнаружил, что смартфоны Samsung S20 Ultra и новее улучшают детализацию Луны на любых фото с помощью ИИ
На основании чего пользователь сделал такой вывод? ИИ - тема интересная, но тут абсолютно не нужная - луна всегда повёрнута к земле одной стороной, все сделанные с земли фотки луны выглядят абсолютно одинаково - бери и натягивай текстуру на белые светящиеся кружки на чёрном фоне.
Хотя ИИ можно использовать для определения "Это фотка луны или нет" - а дальше уже обычными алгоритмами луну находить и натягивать текстуру.
На основании чего пользователь сделал такой вывод?
На основании того, что сами маркетологи Самсунга называют свои улучшайзеры искусственным интеллектом, как впрочем и маркетологи других производителей телефонов. Потому что это куда лучше продаётся чем "фильтр для автоматической ретуши изображения".
Ну нейронки уже давно все кому не лень называют ИИ. Мне кажется у Nick_Shl была претензия не к этому, а к тому что конкретно "улучшать" Луну можно без всяких нейронок в большинстве случаев.
Ну нейронки уже давно все кому не лень называют ИИ.
Нейронки в общем-то и есть самый настоящий ИИ, я имел в виду то, что маркетологи называют ИИ то, что не то, что "интеллектом", но даже и в общепринятом понимании "искусственным интеллектом" не является. Как например тут, вряд ли там прям уж нейронка обрабатывает изображения с камеры.
вряд ли там прям уж нейронка обрабатывает изображения с камеры.
Во многих современных смартах есть NPU, оно как раз используется для обработки голоса, анализа изображений и т.п.
Ну тот же super resolution на большинстве смартфонов (Apple, Huawei, Samsung, etc.) делают нейронки, обычной интерполяцией (даже бикубической или Ланцошем) такого эффекта не добьешься. Учитывая что Space Zoom видимо не только для Луны нужен, то скорее всего там тоже легкая нейронка сидит, которая натренена на конкретно SR Луны и прочих подобных объектов.
этак скоро научатся натягивать фото любой совы на глобус любой луны, так, стоп, какая то рекурсия
Возможно дальнейшее развитие технологии — например:
- пользователь снимает Статую Свободы но изображение корректирутся с учетом решений суда (например меняется прическа на типичную для негров и дорисовываются сброшенные цепи)
- пользователь снимает обнаженную натуру — дорисовывается одежда (или размыливается что не надо)
- пользователь снимает Московский Кремль — разрешение снижается потому что санкции
- пользователь снимает например Киев (или Мариопуль)- если система видит разрушения — поднимаются данные как эти же здания выглядели до начала СВО (а потом это функционал убирают из-за жалоб)
- пользователь снимает расчлененку например на территории СВО — система удаляет расчлененку если система (на основании в том числе использования данных онлайн сервисов) решает что пользователь хочет сделать фейк потому что не могла же конкретная сторона творить такое (обновления баз выпускаются каждые сутки)
.... - все лица на снимках (даже случайно попавшие в кадр) отсылаются в КудаСледует (причем заявлено что сервис зависит от страны), c геокоординатами. Это ж помощь правопорядку.
Если Samsung S21 Ultra может улучшить детализацию Луны без использования оптических систем и сенсоров смартфона, то это явно демонстрирует преимущества использования искусственного интеллекта в сфере фотографии.
Это не фотография, это додумывание. Если повезёт - система угадает, и кадр будет соответствовать реальности. Не повезет ,- не угадает, и получится фантазия на тему.
Тогда и шумодав - додумывание, и хдр итд... На мобилах "додумывание" уже давно норма.
Шумодав и HDR используют объединение нескольких кадров. Здесь же пошли дальше и вклеивают в картинку прям целый кусок изображения, снятый в другое врем на другую камеру.
Да нет там вклеивания, это спекуляция. До этого проводили уже тесты, когда на размытой фотке луны рисовали кратер, например, и он из "улучшенной" версии никуда не исчезал, а становился чётче, с текстурой итд, как настоящий. Был бы там кусок изображения, не получалась бы Луна норм среди облаков на фоне зданий итд.
До этого проводили уже тесты, когда на размытой фотке луны рисовали
кратер, например, и он из "улучшенной" версии никуда не исчезал, а
становился чётче, с текстурой итд, как настоящий.
Но ведь это прямо определения додумывания. Сфотографирован выдуманный объект, очертание несуществующего кратера, у которого нет и не может быть никакой текстуры и нейронка эту самую текстуру "додумала".
Был бы там кусок изображения, не получалась бы Луна норм среди облаков на фоне зданий итд.
Хоспади, ну понятно, что и super resolution и impainting работают не "накладывая прямоугольный кусок скопированный из другой картинки". Что это меняет-то?
Да примерно всё меняет ) вы вообще видели, на что похожи raw с любой даже самой крутой мобилки? На это же без слёз не взглянешь, там алгоритм на алгоритме. Моя цель, как простого обывателя, использующего телефон для фото, сфоткать себе на память примерно то, что я вижу. Т.е. если я вижу красивую луну, я хочу на выходе получить красивую луну, но такую, какую увидел я именно в тот момент. Поэтому текстурка не мешает, а наложенная целиком луна, о которой говорят, Но которой нет - мешает.
ну все таки фоткал непонятную ерунду, и видел и фоткал , хотелось увидеть такую, а "не додуманую такую"
бюджетный ксями лайт 2 он, пытался марс поймать, смартфон держал на подоконнике руками - иначе расплывается
Не знаю, что так людей удивляет, честно) Везде написано, что зум выше 10х - цифровой, со всеми весёлыми последствиями. То, что там есть всякие улучшайзеры, ИИ или не ИИ, тоже очевидно. Причем они есть и во всех остальных режимах и не только в Самсунгах. Если скажем сфоткать с 100х зумом текст, он будет перед снимком мылом ужасным, потом его "алгоритмы" делают четким и читаемым, т.е. на оригинальном шумном мыле четких букв не было, после обработки они есть, Но не случайные, а те, что в оригинале. Также и с Луной, алгоритм её именно улучшает, и если вы поймали хорошую композицию, с облачками там, суперлуну, Луну в отражении или восходящую из-за домов, вы делаете хороший кадр себе на память или в инсту, и это хорошо, кмк.
текст, он будет перед снимком мылом ужасным, потом его "алгоритмы"
делают четким и читаемым, т.е. на оригинальном шумном мыле четких букв
не было, после обработки они есть, Но не случайные, а те, что в
оригинале.
Дык, в том-то и проблема.
Если мы используем один класс алгоритмов - мы получим те же буквы, что и в оригинале.
Если мы используем другой класс алгоритмов - мы получим дофантазирование деталей.
Вы говорите "существует и активно используется первый класс алгоритмов".
Статья говорит "Ага, а ещё обратите внимание, алгоритм из второго класса (занимающийся додумыванием), используется там, где вы бы ожидали увидеть алгоритм из первого, вот, собственно, пруф с луной, показывающий, что алгоритм занимается дорисовыванием".
Дык, как раз нет тут никакого деления на классы. В моем примере с буквами, они тоже додуманы, мы не знаем, какой там был шрифт например. Но суть сохранилась. Вот это главное для того устройства, коим является фотоаппарат в телефоне. Касательно стены - ну это просто косой алгоритм, очевидно же, сделал бы он норм кладку, ну скажем придал бы шероховатость кирпичу существующему, а не накладывал бы текстуру нового, было бы как раз примерно то, чем камера этого самса занимается
Но суть сохранилась.
Или не сохранилась. Так же, как дорисовывается кирпичная кладка, которая выглядит соверешнно по-другому и кратеры с рельефом, которого гарантировано нет на исходном изображении, у вас может дорисоваться другая буква или цифра на месте размытой.
сделал бы он норм кладку, ну скажем придал бы шероховатость кирпичу
существующему, а не накладывал бы текстуру нового, было бы как раз
примерно то, чем камера этого самса занимается
Эксперимент из поста как раз показывает, что "камера этого самса" берёт изображение, на котором гарантировано нет рельефа и кратеров (они оттуда были убраны ручками) и дорисовывает то, чего там нет.
Или не сохранилась
Что значит "не сохранилась", если там на выходе не беспорядочный набор букв, а исходный читаемый текст?
дорисовывает то, чего там нет.
Да, точно также, как шумодав или hdr берет шумное засветленное нечто и дорисовывает то, чего нет, по соседним пикселам, алгоритмам и пр.
И как я уже говорил, меня это полностью устраивает. Так работают камеры смартфонов уже лет 10. Если б не было оптического 10х зума, то луну пришлось бы рисовать просто из жёлтого круга, и не получалось бы сделать, как я уже говорил, фото луны в облаках, на фоне домов, леса итд, и это несомненный плюс телефонов с ультразумом для тех, кому это нужно.
Да, точно также, как шумодав или hdr берет шумное засветленное нечто и дорисовывает то, чего нет, по соседним пикселам, алгоритмам и пр.
Именно что по соседним пикселям)
Смотри, ты сейчас как бы говоришь "эй, не бывает дорисовывания, потому что НУ НЕЙРОНКА - ЭТО ТОЖЕ АЛГОРИТМ".
И шумодав (простенький, который ты описываешь, а не работающий не через какие-нибудь нейронные denoising автоэнкодеры) - тоже АЛГОРИТМ.
Ну раз АЛГОРИТМ, значит это одно и то же и нет никакой разницы, чё вы тут выдумываете.
Это, очевидно, ложное утверждение, алгоритм-алгоритму рознь. Если исходить из "ну так алгоритм - значит там то же самое - значит не дорисовывает", ты придёшь к логическому противоречию за один шаг.
Спорить ведь с "ложными утверждениями" так просто и приятно, правда? Оставлю Вас, пожалуй наедине с вашими мыслями :)
Ну, блин, чел
Если тебя так задевает, что когда ты несколько раз повторяешь какую-то очевидно нелогичную и строго говоря неверную вещь из разряда "дважды два равно пяти" - тебе говорят, что "на самом деле нет", то может быть стоит действовать как-то по-другому)
Йоу, Мэн, изи, ну давай так разговаривать, если тебе так приятнее) я кажись понял, ты мне демонстрируеешь, чем плохо дорисовывание, додумывая мои предложения, а потом называя их ложными? Я говорю - "все алгоритмы в какой-то мере додумывание, лишь бы оно, додумывание, не теряло суть того, что было на объекте съёмки", а ты из этого строишь абсолютно противоположные логические цепочки и что-то про зебр рассказываешь и про пятерки) так мы к общему мнению не прийдем, увы.
лишь бы оно, додумывание, не теряло суть того, что было на объекте съёмки",
Ну да. "Лишь бы". И пример статьи показывает, что додумывание этого конкретного алгоритма подменяет объект съёмки.
Я говорю - "все алгоритмы в какой-то мере додумывание, лишь бы оно,
додумывание, не теряло суть того, что было на объекте съёмки",
Ну не получится у тебя склеивая несколько кадров в один, как это делается для ночной съёмки или применяя что-то в духе свёрточки с обратной гауссианой, сделать из размытого круга луну, которой в этом круге нет, из кирпичной кладки - другую кладку, в несколько раз более мелкую, с другой структурой кладки, а из размытой фотографии с числом, чёткое изображение неправильного числа, отличного от того, которое было на исходном объекте, запечатлённом на снимке.
Для нейросетевых методов такие артефакты - как раз типичны и хорошо известны.
---
Я говорю - "все алгоритмы в какой-то мере додумывание, лишь бы оно,
Тебе говорят "смотри. Вот я тебе могу описать десяток алгоритмов работающих вот тут, и они не додумывают.
А вот десяток алгоримтов, которые вот тут - они додумывают" (= для них артефакты такого рода - типичная история).
Вот, блин, большая разница между двумя подходами.
Ты говоришь, по сути, "ах так? Тогда я просто любую обработку изображения алгоримтами додумываниями буду называть".
"Теперь - все алгоритмы - это додумывание!"
Ну, ок, а смысл? Ты можешь называть додумыванием что угодно, хоть примитивнейшую коррекцию баланса белого, от этого результат эксперимента не изменится, и артефакты, типичные для нейросетевых моделей, не исчезнут, а у тех алгоритмов, у которых таких артефактов нет - эти артефакты не появятся.
Ну, да "в каком-то смысле любая обработка изображения алгоритмом - это обработка изображения алгоритмом".
Ну, да. И между тем, чтобы в фотошопе подкрутить кривые цвета на изображении и тем, чтобы вставить в пейзаж пятнадцать копий шрека в разных позах - тоже никакой разницы, в обоих случаях мы редактируем фотографию фотошопом.
Если б не было оптического 10х зума, то луну пришлось бы рисовать просто
из жёлтого круга, и не получалось бы сделать, как я уже говорил, фото
луны в облаках
Это ложное утверждение.
Можно взять любую доступную модельку для инпейтинга и аккуратненько нагенерировав обучающую выборку из фотографий с луной, обучить модель, которая берёт фотографию и перерисовывает луну, например, таким образом, чтобы луна имела текстуру венеры из картинок из википедии))
Я уверяю, это делается из существующих моделей за недельку-другую вдумчивого ковыряния модельки. При хорошо сформированной обучающей выборке, у вас будет корректно работать с любой частично закрытой луной, будь то "перекрыто веткой" или "кусок луны закрыт высокой башней" или, как вы предлагаете, закрытой облаками.
---
В конечном итоге, дипфейк, который был хайповой темой чуть ли не пять лет назад со всеми этими видосиками на ютубе от энтузиастов в духе "фильм X но вместо актёра Y играет актёр Z". Успешно берёт перерисовывает одно лицо другим, с учётом мимики, поворотов лица и закрывания лица воротником / очками.
Луну, закрытую облачком или веткой дорисовать - задача на пару порядков более простая, к которой и настоящую обучающую выборку в диком количестве легко собрать, и нагенерировать синтетических примеров можно вагон за один вечер.
---
upd:
В общем, что это я, зачем тут вообще про инпейтинг какой-то думать. Превратить луну в венеру - это более простая задача, чем превратить всех лошадей на изображении (вне зависимости от их перекрытия / ориентации в пространстве и т.д.) в зебр. Есть уже классическая моделька, как раз про это, CycleGAN
Я, честно говоря, вообще не понимаю, откуда вы взяли, что "дорисовывать" нельзя, если дорисовываемое чем-то перекрыто, например, облаками.
Нууу, допустим, есть какая-то очень редкая экзотическая генеративная модель, у которой вот есть такое ограничение, на сущестсовании которых вы настаиваете - подавай модельке только прямоугольник на вход, и точка.
Тут же встаёт вопрос - зачем брать именно такую модель, если есть десятки и сотни моделей без такого ограничения.
Но даже если мы по какой-то причине вынуждены брать именно такую модель - можно ж просто прикрутить рядом модельку для пиксельной сегментации, перерисовать что-то прямоугольное, а потом маску из модельки пиксельной сегментации применить.
Ещё раз, самый последний раз повторяю, ибо немного надоело ) Если на выходе из телефона я получаю фотку того, что я увидел, меня это устраивает как потребителя. Пусть он хоть подключился к моему сознанию и сконструировал картинку вообще с нуля на основе какого-то датасета, не имея вообще фото модуля. Если я фоткаю луну в облаках, так как она мне понравилась, а на выходе получаю просто супер красивое фото луны - это плохой для меня алгоритм, если получаю текстуру кирпича хз где, это тоже меня не устраивает.
Если на выходе из телефона я получаю фотку того, что я увидел, меня это устраивает как потребителя.
Перечитайте мои сообщения. Я говорю о том, что оно "дорисовывает". А не о том, что тот факт, что оно дорисовывает, вас должен как-то не устраивать.
Отвечаю я на те ваши аргументы, где вы пытаетесь доказать, что на самом-то деле это ничем не отличается от другого алгоритма.
Нигде я не утвреждал, что это не должно вам нравиться.
Я рад, что вас устраивает тот факт, что оно дорисовывает.
Но, собственно, с тем фактом, что лично ваш что-то должно устраивать или не устраивать, никто не спорил и спорить не будет, это же, просто абсурдно про такое спорить)
"Дорисовывает или нет" - это утверждение про какую-то объективную реальность. Есть конкретный алгоритм. Есть эксперимент, который показывает, что он дорисовывает.
"Нравится ли оно вам или нет" - это у вас в голове. Даже если вам нравится то, как оно дорисовывает с такой силой и вера в то, что, как вам кажется, на самом-то деле оно не-дорисовывает, приносит вам больше счастья, чем испытывало какое-либо другое существо во вселенной - вот эта сильная эмоция никак не может изменить факт о реальности.
Пользователь обнаружил, что смартфоны Samsung S20 Ultra и новее улучшают детализацию Луны на любых фото с помощью ИИ