Pull to refresh

Comments 62

Очень круто, но можно ли как-то получить готовую программу (пусть даже сырую и глючную), вместо кучи исходников и самостоятельной тренировки нейросетей?

Купил бы лицензию хоть сейчас.
Наверное чтобы пользоваться нормально, а не из исходников собирать, не?

Это понятно. Я про область применения интересуюсь. Просто побаловаться, или профессиональная задача?

Ну с такими результатами явно для начала просто побаловаться. Когда платье у девушки ирокезов по ошибке раскрашено во все цвета, а не однотонно, а про руку я вообще молчу, то там ещё очень много предстоит руками править в фотошопе.
Такой же вопрос. Побаловаться на паре фотографий из домашней библиотеки, черно-белые, сепию в цветные сделать
А, ну да, чисто побаловаться ради интереса, поэтому готовые программы и просят, ибо на этом этапе время обычно не сильно позволяет собирать проект из исходников.
Аналогичный вопрос про готовую программу. Для личного использования, побаловаться.
Автор обещается выложить готовые модели и подробные инструкции. Но это нужно ждать.

Прямо сейчас вы можете поиграться с этим проектом. Но результат там прям совсем не очень. Я его прогонял на паре сотен своих фоток. Хороший результат был лишь в 5% случаев.

В DeOldify результаты вроде лучше, но в текущем виде, всё очень муторно. Есть шанс на докеризацию. Тогда будет проще.
А если запустить программу на чёрно-белые фильмы?
Кстати может и обучать стоит на фильмах — там как раз кадры будут одинаковые с разной засветкой.
По тексту есть ответ — пока железа не хватает.
а там есть фото с ч/б телевизором, и, увы… изображение на нем черно-белое.
имхо, лапша это. скорее всего пейзажи, где ясно — где трава, где небо, будут нормально раскрашиваться, а вот участки (одежда и пр.), где средняя интенсивность меняется слабо будет работать плохо. оно и ясно — по интенсивности (одно значение) невозможно восстановить цвет (три значения).
Кстати на этих картинках заметно. Нейросеть очень любит одежду синего цвета :)
Если присматриваться, то хорошо видно, что много довольно хаотичных цветных пятен. На фото, особенно старом, это выглядит нормально, но на видео начнет ездить и будет полный треш.
«Модель любит синюю одежду. Не совсем уверен, почему, решение в поиске»
Вот это кстати портит историчность, такие ярко синие и фиолетовые цвета ткани были достаточно редки.
Да там не только одежда синяя: там обои, грязь на обоях, книги, декорации. С учётом, что оранжево-красного там тоже предостаточно, ответ напрашивается сам собой. Т.е. либо кто-то хотел высокого котраста и получил его, либо кто-то обучал сеть на изображениях с высоким контрастом.
ИМХО оранжево-синяя тенденция далеко не во всех знаменитых фильмах, нпр., в Аватаре (2009) очень много зеленых лесов.
Индиго (цвет классических джинсов) жи ну
Но она видит его везде! («Доктор, откуда у вас такие картинки?»)
При этом на последнем фото с цветом штанов она не определилась, хотя там, скорее всего, как раз они и есть.
Для правильности надо изучить как именно чб плёнка передает цвет, есть ли какие-то корреляции. Иначе это гадание, пусть и нейросетью. Если обучить на наборе цветных и обработанных из них чб, вот тогда и выходит ерунда. Вообщем красиво, похоже, но скорее всего в корне неверно.
Так информация безвозратно потеряна, «верного» решения не существует. Здесь достаточно реалистично выглядящего решения.
Порой кажется, что обучение происходило только на людях с синей одеждой
И на полах с синей плиткой. Явно есть перекос в синий цвет. Но в целом, если все делается на автомате — очень крутые результаты.
Это же бага. В readme описано (и даже переведено в посте (: ):
The model loves blue clothing. Not quite sure what the answer is yet, but I'll be on the lookout for a solution!
Конвеерность конечно впечатляет, но результат пока больше тянет на какой-то цветастый арт-фильтр. Особенно выделяются светящиеся розовые лица и сиреневенькие глазовыковыривательницы одёжки.
Здесь видится вполне простой тест: взять ч/б фоточки из наших восьмидесятых и погонять на них. Ведь на них еще достаточно легко восстановить большую часть цветов по памяти.
Зачем, если можно обычные цветные фото перевести в чб и не надо ничего вспоминать. Будет даже интересно сможет ли нейросеть со 100% точностью восстановить цвета фото, если для получения чб использовался один и тот же алгоритм.
Это интересно только в том случае, если нужна сетка умеющая восстанавливать цвет из искусственного грэйскейла. Ч/б фотография достаточно сильно отличается от цветной, которую обработали весовой функцией: в общем случае у фото спектр будет зарегистрирован более непрерывным, чем у «обесцвеченного» цветного и еще несколько специфичных фишечек.
У меня, кстати, есть подозрение, что база для обучения сформирована как раз из так искусственных образцов, отсюда и любовь к синеве.
Чёрно-белая фотография сама по себе делается тысячей способов, результаты которых отличаются между собой побольше, чем грейскейл.
Опять же, есть разные хитрые фильтры для обработки цветных фото.
Ну и сама по себе плёночная фотография жива пока что.
На самом деле и грейскейл делается разными алгоритмами с разными цветовыми весами, так что даже тут однозначного решения не будет.
Взять цветной снимок, сконвертировать в отенки серого и сравнить результат с оригиналом.
UFO just landed and posted this here
современные чб пленки это грейскейл из RGB. Те образцы пленок фотомишеней что я видел и эти же цветные мишени с цифровка переведенные мною в grayscale практически идентичны. Другое дело, я не смог нигде найти оправдание почему grayscale принято пересчитывать из RGB именно по таким константам, видимо это опять же пошло из чернобелой фотографии, когда увеличивая сенсибилизацию, добивались неких естественных передач цвета по вкусу.
Другое дело, я не смог нигде найти оправдание почему grayscale принято пересчитывать из RGB именно по таким константам,

Как-то так.

На самом деле способов перевода в грейскейл существует несколько, так что однозначного соответствия там быть не может. С плёнкой же всё ещё сложнее. Там и тип плёнки (а для старых снимков — вообще тип хз чего. Сто лет назад на что только не снимали), и проявка, и печать, и неравномерное выцветание…
Я бы предложил для тренировки брать реальные цветные изображения обработанные фильтрами в графическом редакторе. Существуют специальные фильтры имитирующие ЧБ (и цветную) пленку или печать, причем они могут имитировать пленку разных фирм и типов.
Также, может быть разделил бы на разные версии для разных времен или стран, обучая на преобразованных в ЧБ стоп-кадрах из цветных фильмов, изображающих те или иные эпохи. Это бы позволило избегать нетипичных цветовых сочетаний.
Да, интересно, как такая программа отличает фото на улице зимой от фото на улице летом?
А еще стоило бы придумать соответствующим образом обучаемую программу по убиранию шумов на фото при съемке с высоким ISO (или на длинных выдержках) Всякие плагины работают весьма посредственно. А вот что-то, имеющее в своей основе нейросеть могло бы гораздо удачнее анализировать изображение (особенно при наличии RAW) и убирать шум. Пусть и очень медленно, но иногда можно и подождать.
Denoiser'ы разных мастей — классическая задача, решаемая нейросетями, под неё есть десятки разных моделей. Для обработки raw-ов с высоким ISO точно видел.
«Народность сами» — это саамы, они же лопари, жители Лапландии. Той самой, откуда на санях с оленями прилетает Санта-Клаус.
Один из малых коренных народов РФ, стыдно не знать.

В тексте много ляпов. Очень напоминает Гугл.транслейт лениво прочитанный после этого. Чего стоит только "девушка, расслабляющаяся в своей комнате".

image
Косяк с окраской руки. А вот лицо выглядит очень хорошо.
Судя по всему, автор тоже читал «Красная рука, чёрная простыня, зелёные пальцы» Успенского, т.к. специально упомянул, что её реинкарнация тут действует на него умопомешательно.
Лебедевская пересвечивает. По лицу сильно заметно.
А фото очень смуглых людей из Индии, Африки и Австралии программа насколько правильно раскрашивает?
Хотел бы я раскрасить старые семейные фотки и показать их бабушке, пока она еще жива.
Если есть свободное время и минимальные навыки фотошопа, то это делается довольно быстро — примерно пару часов на одно фото (реставрация и колоризация) а если рука набита то и меньше.
Разработчики Хабра, deniskin, сделайте уже раскрытие изображений на весь экран по клику, через какой-нибудь fancybox, с закрытием тоже по клику, невозможно же смотреть эти мелкие картинки! 12 лет уже проблеме.
Кстати, придавать цвет чёрно-белым рисункам (именно рисункам, не фото) — очень крутое коммерческое применение ИМХО. Для художников/дизайнеров/архитекторов, например
Вот хорошо бы увидеть цветную фото, переведенную в Ч/Б и раскрашенную заново этой программой. Тогда было бы более показательно. А сейчас выглядит как «программа придумывает как выглядит лучше»
интересно сравнить результаты после GANа и обычного обучения с учителем, с удачно подобранной функцией ошибки возможно получится раскрасить куда проще
С рисунками справляется неплохо:image
Думаю с гравюрами будет не сильно хуже.
ИМХО, нужно обучать на раскрашенных вручную старых ч/б снимках.
Там люди раскрашивают исходя из исторических фактов, картин, музейных экспонатов.
Можно и своих таких нагенерить — важен именнно выбор цвета, а не качество проорисовки.
Напоминает продвинутую цветную пленку для телевизора — на которой были 3 полосы голубого, розового и зеленого (сверху вниз) цветов. Репортажи типа «лицо на природе» оно раскрашивало почти верно… )))
Рекомендую так же почитать обсуждение на HN. Там проскакивает целый ряд интересных ссылок по этой теме:

и т.д.

Помимо прочего рекомендую взглянуть на библиотеку fastai (+pytorch), на которой всё основано. Хотя сам код там так себе. Но у них есть неплохой курс.

Не могли бы вы выложить лог команд установки приложения со всеми библиотеками? Я уперся в то, что fast.ai с сохраненного форка этого товарища ставится в отдельный env в conda — тогда как все остальное я ставил в среду по умолчанию. Fast.ai по инструкции ставил github.com/jantic/fastai
Я же правильно из статьи понял, что fast.ai нужно обязательно?
Да, и карты GeForce на стационарной машине у меня нет, буду пробовать на обычном cpu.
Sign up to leave a comment.

Articles

Change theme settings