Pull to refresh

Comments 276

Храню фотографии в Google Photo. Важные организую в альбомы, остальные просто лежат там.
Кроме того (некоторые) фотографии хранятся на компе, откуда дублируются в облако и на запасной диск. (Впрочем, так у меня хранятся не только фотографии, а просто все файлы, которые не хотелось бы терять).
После того, как Google закрыл несколько сервисов, которыми я пользовался, даже в мыслях нет отдавать им свой фотоархив. А еще можно добавить недавнюю историю с MySpace.
Развернул на домашнем NAS галерею Piwigo, доработал ее напильником до удовлетворительного вида (нужно бы найти время и поделится этим опытом с хабровчанами) и получил прекрасную вещь. Тэги, расшаривание групп альбомов (по URL-ключу), полная автоматизация. Шифрованный бэкап в облако.
UFO just landed and posted this here
Сомневаюсь, что они в ближайшее время закроют Фото. Это же отличный склад обучающих материалов для нейросеток =)
Чтобы это был материал для обучения, этот материал надо обработать — классифицировать каждый объект на них. Иначе как проверять эффективность нейросети?

Можно классифицировать одной сеткой и потом обучать другую.
Кроме того, есть схемы с обучением без учителя — достаточно просто фоток, чтобы научиться их кластеризовать.

UFO just landed and posted this here

Там сильно зависит от задач.


  • Допустим, мы хотим обучить сетку, которая правдобоподбно увеличивает фотографии — нужны только сами фотографии.
  • Вместе с фотографией иногда хранятся метаданные типа размера объектива, времени съемки, и, возможно, даже gps-координат места. Эти данные можно использовать для обучения вида "отличить зимнее фото от летнего" или "угадать страну/город/место по фотографии"
  • Можно обучить автоэнкодер, который будет сжимать фотографию в промежуточное представление (например, вектор на 128 или на 1024 компоненты). Потом можно будет запустить энкодер на размеченных данных и поверх него обучить какой-нибудь хитрый декодер — например, тот, который сможет из этого вектора сделать текстовое описание фотографии. Фишка в том, что для обучения автоэнкодера может потребоваться намного больше данных (и их размечать не надо), чем для хитрого декодера (где размечать уже придётся).
  • Ещё вариант: у гугла есть какое-то работающее решение, которое что-то хорошо распознаёт, но по каким-то причинам они его использовать не хотят. Например, медленно работает. Тогда можно взять эти фотки, разметить их тем решением и потом обучить сетку.
Они как раз 1го июня 2021г его схлопнут :)
Был раньше google picasa, жаль закрыли :)
Так не закрыли, слили с photo вроде.
Может и слили, но приложение на ПК подобное Google Picasa я не увидел.
Ну этож другое, не про хранение RAW-файлов
У меня тоже GPhoto, они в обе стороны синхронизированы с GDrive, который в свою очередь в обе стороны синхронизирован с локальным RAID. Это оптимальный вариант — удобно, быстро, безопасно, и забэкаплено.
Меня такой вариант в свое время воодушевил. И в GPhoto удобно хранить, искать, с телефона показывать… И бэкап локально (Goodsync с GDrive).
Но потом я задумался, что я буду делать с этой кучей локальных фоток. Они ведь уже не будут разбиты на альбомы? Просто мешанина по датам…
Жаль, что «альбомы» не првращаютя в папки…
Или есть возможность и структуру в GPhoto себе забэкапить (и в иделае применить к скаченному с GDrive)?
Insync позволяет по альбомам синхронизировать.
insynchq.com?
Не нашел в описании прелестей про альбомы в GPhoto.
Или Symlink, junction and alias — как раз оно?

Если можно, подскажите, как им сохранить и потом восстановить альбом GPhoto?
Обратно из локальной копии. Или вообще в другой аккаунт. Именно с сохранением структуры альбомов, а не просто кучей папок с фотками GDrive, которые в GPhoto будут как одна большая куча выглядеть. (Для синхронизации папок с кучей аккаунтов у разных провайдеров я прекрасно Goodsync использую, но вот с альбомами беда)
Идентично. Ну это для непривередливых к качеству — с телефона всё автоматом сливается в Google Photo, там слегка сжимается (незаметно для глаза) = неограниченное место. В том числе для видео. Там же при желании раскидать по альбомам, удобно поделиться с кем угодно, а так же нейросеть выручает — поиск по словам, типа «пляж», «кошка», по геотегам, типа «Гоа», «Dubai Marina», по лицам и т.д. и т.п. Бонусом он иногда подкидывает интересные автоматические фильмы/анимашки/напоминалки на основе твоих фото/видео)
Самое важное (или хоть всё подряд) можно продублировать в оригинале на домашний сервачок, у меня с помощью Nextcloud вместе с остальными файлами.
Нетребовательность значительно упрощает жизнь)
Тоже с телефона отправляются автоматом фото в Google Photo, раньше также и в Я.Диск.
В статье указаны цены — думаю дешевле будет иметь на терабайт места лицензионный MS (в год около 4000). Правда, как хранилище для фотографий его не пользовал, но документы, электронные книги хранятся уже с 2017 года — ничего не пропало.
Чем вас категории в том же лайтруме не устраивают? И складывайте в абракадаберные папки, но теги проставьте, а потом сортируйте как хотите…
И любой поиск превращается в медленный скан всех фотографий? Или хранилище становится неперемещаемым, к которому привязан индекс… задумаешь апгрейд компьютера, как перенести базу тегов с ссылками на файлы? Если там есть привязки к конкретным файлам, будет проблема… идея теги хранить в самих фотографиях тоже имеет недостатки.
Кроме того, об этих категориях какой-нибудь иной софт знает кроме лайтрума?
Ну база лайтрума хорошо переносится с системы на систему.
И любой поиск превращается в медленный скан всех фотографий?

Лайтрум не работает с фотографиями, он работает с БД. Для работы с каталогом оригиналы вообще не нужны — можно диск с ними вынуть из компьютера и убрать.
При количестве фото в одном каталоге лайтрума 20К+ лайтрум медленно превращается в тыкву. Я бью каталоги лайтрума по годам — каждый год создаю новый.
Проблема с перформансом решается, но есть несколько проблем.
1) Отсутствие сквозного поиска
2) Выход новых версий лайтрума. Если я захочу открыть каталог за 2015 год в 2019-м году, то свежий лайтрум предложит переконвертировать базу в новый формат. И в 2020-м процедура повторится.
3) Можно запутаться в дисках и случайно переместить файлы между дискам, после чего база лайтрума протухнет и нужно будет мучительно разыскивать куда что уехало.
При количестве фото в одном каталоге лайтрума 20К+ лайтрум медленно превращается в тыкву.

Я это решил полным переездом на ssd. Сперва там был только каталог, но после покупки двухтерабайтного SSD смог и мастер-копию равок перенести.
Хм, у меня в одном катталоге лайтрума ~2 терабайта фотографий, фото на 2,5" жёстком диске 4 ТБ. Всё нормально работает на ноутбуке. Все проблемы автора поста решаются этим самым лайтрумом.

У супруги база фотографий в Lightroom на ~180к фотографий, никаких особых проблем с работой каталога не замечено на не самом свежем (6 лет) ноуте, правда SSD стоит топовый под это дело.

При количестве фото в одном каталоге лайтрума 20К+ лайтрум медленно превращается в тыкву. Я бью каталоги лайтрума по годам — каждый год создаю новый.

Сейчас проверил. У меня в базе лайтрума примерно 65000 фотографий за 10 лет. Все работает как часы. Никаких тормозов. Основной каталог лайтрума расположен на SSD диске, на котором стоит еще операционка, а все фотографии на обычном диске (WD Green). 8Гб RAM. Компьютеру уже около 7 лет. На момент покупки считался мощным, но сейчас это в лучшем случае середнячок. Так, что несогласен с тем, что лайтрум сильно тормозит.
Отдельный каталог для каждого года нарушает всю красоту хранения, заложенную в лайтрум. Когда у Вас все в едином каталоге, то Вы всегда можете сделать произвольный фильтр, например все 5-звездочные фото, все фото из одного места, все фото, сделанные одним объективом, все фото с одним человеком, все фото в определенную дату и многие другие. Да и просто можно быстро по годам полистать фотографии и порадоваться. Все настройки, метки итп единые. А когда для каждого года приходится открывать новый каталог, то даже фото, сделанные в новогоднюю ночь могут попасть в разные каталоги. Чем больше лишних действий требуется для поиска фото и работы с ним, тем больше вероятность, что вы этим заниматься не захотите, а пойдете смотреть любимый сериал. Рекомендую, в случае необходимости поменять диск и докупить памяти и использовать единый каталог.
Обновление моего коммента спустя полтора года.
Новый комп, I9-9900KF, 64 GB оперативки, 2 быстрых SSD.
Свёл воедино весь архив фотографий за все годы, со всех устройств, включая мобильники. На данный момент ещё не всё добавил, но уже под 300К фотографий. Папка каталога уже больше 200 GB.
Действительно — всё вполне неплохо работает. Но вот сегодня при попытке импорта новой пачки всё работало краааайне неторопливо. За 10 с лишним часов всего несколько тысяч фотографий импортировало.
Решил всё-таки сделать отдельный архив, начал импортировать — скорость не поменялась.
Вспомнил принцип работы SSD — при заполнении диска контроллер начинает уплотнять данные, храня всё больше и больше битов в одной ячейке, что снижает скорость работы накопителя, а у меня террабайтный SSD и уже 600 занято.
Просниффил SSD, нашёл 200 гигабайт уже ненужных архивных данных — не попустило.
Начал смотреть диспетчер задач — загрузка на диске околонулевая. Но после переустановки системы забыл добавить лайтрум в исключения встроенного антивируса. Добавил в исключения.
На глаз — легче не стало.
И тут замечаю странное — большая нагрузка на одно из окон проводника. Смотрю что за окно — а у меня открыта корзина на том диске, на котором лежат импортируемые фотографии. Как только я его закрыл — лайтрум просто ожил. Загрузка процессора сразу с 20 до 70% подскочила, явно начал использоваться диск и проценты выполнения просто побежали на глазах.
Эксперимент повторяемый. Снова зашёл в корзину и ситуация повторилась.
Возможно имеет значение то, что при импорте у меня фотографии перемещались в пределах диска из разных папок в папку общего архива. Лишних данных в корзине нет, но вход в корзину — удар по лайтруму и проводнику.
при заполнении диска контроллер начинает уплотнять данные, храня всё больше и больше битов в одной ячейке, что снижает скорость работы накопителя

Снижается скорость записи, да и то только на «длинной дистанции».
Скорость чтения меняться от заполнения не должна.
Вот прекрасное видео.

Да, скорее всего скорость чтения от режима ячейки меняться сильно не должна, но в моём случае на SSD лежит каталог лайтрума, куда при импорте ведётся активная запись в сам файл каталога (по факту — SQLite базу данных) и в папки превьюшек. Так что скорость импорта должна падать по мере увеличения каталога до сотен гигабайт.
Только если у вас там линейно пишутся многие гигабайты.

Превьюшки же и файл каталога — это многопоточная запись небольших объёмов данных. Оно само по себе сильно медленней линейной записи, но от заполнения диска не зависит практически.

Кстати, по превьюшкам — я при импорте запрещаю их создание. Удобнее потом уже, после первоначальной сортировки по папкам и коллекциям принудительно запустить. Заодно можно в несколько потоков это сделать.
Путь воспроизведения проблемы при импорте с перемещением сократился до минимума. Только что воспроизвёл — достаточно любого открытого окна проводника для того, чтобы загрузка процессора разделилась между проводником и лайтрумом, а скорость импорта упала минимум на порядок.
Как только окно проводника закрывается — всё становится нормально.
Вопрос всё же скорее в размере каталога лайтрума. Я бью каталоги по годам. В таком случае падение скорости не очень критичное.
Все фото с камеры ложатся в директорию с папками вида «год.месяц.число название». Внутри каждой есть разбитие на папки RAW, TIFF, JPG-Export.
Все фото с телефона ложатся в папку вида «iphone import ##». В каждой такой папке по 1000 файлов, которые соответствуют папке на телефоне. У айфона в каждой директории по 1000 снимков/видео.

Папки с фото на NAS в зеркале. Диски только WD, потому что есть RMA и в Москве их просто меняют на новые у них в офисе.
Если есть что-то очень важное из фотографий, то ещё дополнительно копируется сразу на 2 одинаковых usb-диска, которые затем убирается подальше.
Более чем достаточно.
Ой, а вы не разбирались, случайно, чем red pro отличаются от gold?
Если я правильно понимаю, то на данный момент WD не выпускает серию Gold.
А так Gold oт Red Pro отличались уровнем шума, скоростью вращения — фикированная против переменной, объемом кэша.
Так же следует знать, что диски плотнее 6Тб будут с гелием, а это означает, что в случае поломки восстановление данных стремится к нулю даже через спец сервис
У red pro фиксированные 7200 или наоборот?
Х.з. мне надо 4 ТБ, раньше голд брал, а тут увидел редпро, и дешевле и кэша больше, а гарантия та же — 60 месяцев.
Red Pro — это 7200rpm
Они производительнее Red, однако, т.к. если вы будете использовать несколько Red Pro работающих вместе, то уровень шума значительно увеличится, поскольку скорость выше.
Для моих нужд с сетевым хранением и управлением через lightroom вполне достаточно обычных Red (ещё и денег сэкономите). PS: Фильмы FullHD в 25гб по 1гбит без задержек показываются.
Не было никогда дисков с переменной скоростью вращения, это городская легенда.
Вполне вероятно так и есть. Я погуглил чтобы освежить данные о спецификациях, но явно нашел не тот сайт.
UFO just landed and posted this here
Мода не меняется уже лет 7. Это удобно, т.к. если вести в лайтруме общий каталог файлы легко находятся с помощью смарт-папок и прочих кейвордов.
UFO just landed and posted this here
Такое произойдёт только после ухода моды на адекватность — то есть, есть надежда, что никогда (да, я оптимист).
P.S. Пардон, при некоторых смешанных текстово-строковых сортировках оно уже так и логически обоснованно, например, в Midnight Commander порядок сортировки «Версия»
P.P.S. Зря минусуете — человек говорит о том, что реально встречается, а местами слегка безальтернативно
UFO just landed and posted this here
А надо полную дату всегда использовать, тогда не будете возмущаться, почему YYYYMMDDххх и YYYYMMххх синхронизирутся по разным правилам.
UFO just landed and posted this here
Всегда называл папки «YYYYMMDD» — и сортировка всегда была такая, какую я ожидал (когда появились длинные имена, то добавил пробел и текст, получилось "«YYYYMMDD ххх»). Я даже не знаю, что там поменялось семь лет назад в сортировке и про какую ОС речь идёт и про какой файловый менеджер.
Согласен полностью: не сумел убить перфекциониста в себе до конца и так именую файлы и папки (обычно первые два символа — идентификатор главной темы, далее дата в формате YYYY-MM-DD) уже лет 10, не только фотографии. Сильно помогает лично мне
Ну, это если вообще важна сортировка по дате, конечно. Где по ней сортировка не предусмотрена, то там другие правила именования.
YYMMDD_HHMMSS потнциально гарантирует, что всегда можно все найти даже в случае если лайтрума нет под рукой
Именовать папки посекундно — это у вас их оооочень много должно быть.
А сами фотографии я всё равно в итоге потом глазами выбираю, а не по именам файла и тегам. Переезд коллекции на ссд здорово помог, кстати, листинг файлов в разы ускорился.
Я имел в виду не папки а файлы, любой файл который попадает в работу переименовывается таким образом.

В общем то по сути автора вопроса, ВСЕ эти операции уверенно делает лайтрум, с помошью фильтров переименований и ТЭГОВ

Собственно лучше тэгов ничего не придумано и ими пользуются все повсеместно и в любых сервисах.

Для тех кто думает перейти на C1 вместо лайтрума, были такие мысли и опыт — НЕУДАЧНЫЙ.
Если база лайтрума начинает сдыхать на 20 тыс фото то C1 начинает сдыхать на 3000. К тому же там и 10 доли нет всех тех комбинаций фильтров которые можно организовать в лайтруме т.е. сама база на достаточно примитивном уровне.

Я пользуюсь с1 только для обработки некоторых ответственных фото, таки да, он проявляет RAW покачественнее, а потом импортирую TIFF обратно в Лайтрум и если нужен архив сохраняю в DNG Lossy Compr.
Интересно почему у некоторых LH начинает на 20к файлов сдыхать?
Вы уже второй кто тут пишет.

У меня порядка 80к и я не заметил какого либо замедления работы базы.
Да и чему тормозить, это же обычная база, самые простые СУБД без проблем переваривают сотни миллионов записей под многопользовательской нагрузкой, а тут жалкие сотни тысяч под одним пользователем.

Может у вас конечно там какие то особо большие деревья тэгов (keywords), у меня порядка 90 тэгов (это с учетом иерархии), около 20 смарт альбомов, база расположена на обычном HDD.

Конечно нельзя сказать что все мгновенно работает (ну с HDD ничего мгновенно не работает) но и больше 1-2 секунд ждать не приходится при навигации по тэгам/альбомам.
1-2 секунды это много, если хранить и неспешно пересматривать обрабатывать, то гуд, а если быстро профессионально обрабатывать, то подгружает. Вообще, любой лэг после нажатия клавиши, уже не гуд.
Использую NAS, та же структура папок (год.месяц.число название), там же лежат video/.
Для фото с телефона шаблон папок — год.месяц.
У Apple была раньше отличная программа Apperture. Многое в ней было «заточено» под проф фотографов и там был очень хороший воркфлов.
Эх, да. До сих пор ни одна программа не умеет переключать Raw+Jpeg и не содержит такой сущности как «Альбомы» внутри «Проекта». Да и по скорости работы, апертура очень шустрой была. Но рав движок там конечно уступал лайтруму и капче.
Capture One поддерживает вроде альбомы в проектах и Raw+JPG?
Апертура позволяла в любой момент переключать отдельные (или все) файлы между Raw и JPG. Было очень удобно и быстро разбирать фото в джипеге, а для обработки переключать в рав. К тому же, часто джипег из моей камеры не требовал доработки и получался лучше, чем после 5 минут работы с равом. Также, одной кнопкой можно было удалить все джипеги или все равы. В том же лайтруме с парой JPG+RAW совершенно ничего нельзя сделать, даже просто посмотреть джипег. Также удобно было импортировать фотографии напрямую с карт памяти (при съемке RAW и JPG на разные карты). С лайтрумом приходится импортировать в промежуточную папку, иначе он джипеги воспринимает как отдельные несвязанные файлы
Альбомы в апертуре позволяли создавать выборки внутри проекта. Например, для свадьбы это было бы «Регистрация», «Прогулка», «Ресторан» и так далее. При этом, все фотографии оставались в общем проекте, т.е. можно было быстро переключаться между всеми файлами в проекте или отдельными выборками.
Эти вещи сильно ускоряли работу.
Я это для себя решил созданием дополнительных вложенных папок в файловой системе, это позволяет в лайтруме переключаться между конкретной вложенной папкой или выбрать вышестоящую папке и получить все фотографии расположенные во вложенных папках. Костыль конечно… но еще можно теги использовать)
Моё хранилище: Распбери Пай 2 с OpenMediavault, черес USB подключён HDD storage с 2 хард дисками 1TB. Рсинк настроен на 2 часа ночи — копирует с одного на второй HDD. Первый HDD настроен на шэринг. Просто переписываю фотки туда.
А почему бы не использовать корпоративный гугл драйв — там от 5 аккаунтов объём диска не ограничен. То етсь, за почти те же деньги, что и 4 тб туда можно хоть бекапы исходников грузить.
UFO just landed and posted this here
Теоретически можно сделать так:
— объединить все барахло в один JBOD-диск.
— разбить полученный JBOD на два одинаковых раздела.
— нагородить на полученных двух разделах RAID 1 с зеркалированием.
Вот только смысла в полученной конструкции не будет: если кирдыкнется один из старых дисков, первым делом откажется работать JBOD.
В общем случае барахло для ответсвенного хранения лучше не использовать, они могут в любой момент времени выйти из строя и даже надёжная схема хранения данных может дать трещину и весьма дорогую процедуру восстановления массива на заранее купленный диск суммарным объёмом больше… отсюда следует вопрос зачем мучится? Дешевле и надёжнее купить сразу два свежих диска. Обкатать их месяц-другой на предмет отказа из-за брака.
А старые использовать только для оперативного переноса больших объемов данных, чутко отслеживая их пульс по SMART, ну а диски емкостью менее 250Гб — развинтить на магнитики и причудливые зеркальца с отверстием посередине.
Вот если посудить… старые диски, они наверняка все разного объёма и достаточно маленькие, поэтому захочется их объединить в непрерывный массив для увеличения объёма. Один диск отказывает и все данные летят к чертям, долгая и дорогая процедура восстановления.
Ладно… а если параллельно объединять? ну, надёжность чуть выше но рано или поздно один из винчестеров выйдет из строя. Данные вроде не пострадали, но массив держится на волоске и пользоваться им невозможно — становится вопрос о замене диска вышедшего из строя(что ведёт за собой риски — в процессе перестройки массива может отказать ДРУГОЙ винчестер и будет ОЙ по сценарию первого варианта — долгая и дорогая процедура восстановления) или вопрос о… покупке нового винчестера перекрывающего объём всех вместе взятых. Но почему тогда не сразу? Оно вроде оттягивает момент покупки нового винчестера, но путём дикого головняка.
А другие схемы дисковых массивов выдерживающие отказ двух винчестеров уже ставят свои требования к накопителям и их количеству, врятли подборка разношерстных старых винтов будет им соответствовать.
Добавлю, что набитый старыми дисками корпус — это гарантированный источник неприятного шума. Диски на 7200 оборотов и в одиночном экземпляре, бывает, неплохо так шумят. А когда дисков в корпусе несколько штук, появляется еще и «плавающее» гудение из-за небольшой разницы в скоростях вращения шпинделей.

А еще, когда собираешь компьютер из барахла, туда как-то не хочется покупать новый и мощный блок питания (сужу по себе). В результате в сборку идет то, что было под рукой — старенький какой-нибудь БП. А он может и коротнуть от старости, в результате чего все диски сразу превратятся в тыкву.
UFO just landed and posted this here
Что же это за винчестеры были? Каждый из них потребляет пару ватт в рабочем режиме… даже активность не сильно много добавляет. Или вы посчитали потребление по максимальным параметрам прописанным на самих винчестерах? Так там указываются максимальные стартовые токи чтобы блок питания не задохнулся на старте…
UFO just landed and posted this here
У вас больно дорогое электричество какое-то получается.
UFO just landed and posted this here
Примерно в пять раз дороже, чем у меня.
А вот жесткие диски везде стоят примерно столько же. Тогда да, должно бы окупиться. Хотя может и не за год — всё же жесткие диски потребляют сильно меньше, чем про них думают. У меня домашний сервер с пятью дисками на холостом ходу потреблял 40 ватт, под полной нагрузкой (проц и все диски) — порядка 70. Но полная нагрузка не так уж и часто бывала.
Ну и не стоит забывать, что дисков должно быть минимум два.
UFO just landed and posted this here
Сервер, который включается вручную — это уже не сервер, а так, профанация. :)

Выбор диска по сроку гарантии — это правильно.
UFO just landed and posted this here
У меня больше к терминологии претензия. Если «сервер» надо включать в те моменты, когда он нужен, то он уже не сервер, а просто ещё один компьютер. :)
UFO just landed and posted this here
Вот на счёт повышения срока службы выключенного компьютера… Каждое включение для аппаратуры — шок, компьютеры чаще всего умирают именно в момент включения. На работе постоянно «вечером выключал — нормально было, утром пришел — не работает». Дохнут диски, дохнут БП, иногда даже материнки. Да мало того, некоторые станки в цехах тоже нередко в состоянии «если выключится, то мы его больше не запустим, потому пусть работает круглосуточно».
UFO just landed and posted this here
Наработка на отказ — это такая теоретическая штука, которая к конкретному экземпляру слабо применима. :)
UFO just landed and posted this here
то скорее он сдохнет в случае 1

Если выключить, а затем включить. А если не выключать, то шансов у первого девайса на смерть во время работы меньше, чем у второго в момент включения.
UFO just landed and posted this here
Конденсаторы стареют даже когда не работают, иногда даже быстрее. А у современных твердотельных срок службы кардинально больше. Нынче не видел ни одной компьютерной железки с обычными электролитами в силовых цепях.
Механика… если применяются гидроподшипники то 15 лет для вентилятора это не проблема. Особенно если сервер домашний и не находится постоянно под нагрузкой — обороты можно снижать в простое.
UFO just landed and posted this here
Тоесть, есть вероятность потерять все наработки за последние 3-4 месяца? Ну такой себе бэкап… проще уж с такой периодичностью подключать винчестер через док-станцию.
UFO just landed and posted this here
Для холодного бэкапа не обязательно нужен рейд, там нет тех рисков что есть при работе в онлайне и требующих отказоустойчивый рейд. Просто делаешь 2-3 одинаковые копии на разные винчестеры.
UFO just landed and posted this here
Сервера проработали 15 лет не выключаясь вообще, помещение непыльное поэтому пыль скопилась только через 15 лет… решили почистить и заодно ТО провести. В итоге один из блоков питания перестал выдавать сигнал работоспособности при последующем включении, на материнке после замены термопасты и съема тугой СО произошел обрыв во внутренних слоях материнки — стартует только когда СО не закреплена… почистили, обслужили, ага.
Поэтому, держать сервер выключенным имеет смысл только если он жрёт электроэнергии больше чем приносит пользы. А насчет шума решений можно найти множество, по большей части — кустарных. Иначе смысл для домашних условий брать неоправданно дорогое решение?
Антресоль, войлок, отдельный воздуховод с фильтрами…
Windows Storage Spaces, доступны даже в юзерской Windows10. Все диски заносим в storage pool и в нем создаем зеркальный storage space. Каждый кусок данных хранится на двух разных винтах и размазывается это всё по всем дискам.
Если вас не беспокоят размеры ящика с дисками, то я бы сделал так.
1) Взял бы максимально большой корпус, чтобы влезли все диски и была перспектива примерно на такое же количество.
2) Материнку выбирать с этой же позиции — чтобы можно было нужное количество sata-контроллеров напихать (конечно, есть sata-разветвители, но они роняют скорость на порту и вообще не слишком стабильны).
3) ОС — Windows. Софт для создания массива — Stablebit Drivepool. Можно, конечно, попробовать Drivebender — он дешевле, по описанию может то же самое и даже больше. Но за drivepool я поручусь — использую его несколько лет, а drivebender не пробовал даже.

Drivepool позволит объединить ваши диски в массив и настроить дублирование на уровне папок. То есть можно сделать так, что любая папка будет одновременно жить на нескольких дисках — хоть на всех сразу, если вы параноик. Плюс можно в любой момент вынимать и добавлять диски в массив без его разборки — это важно, когда у вас куча сильно бэушных дисков.

PS. Ну и не забывайте про регулярные бэкапы всего этого куда-то наружу (внешние диски, облака и т.п.).
А потом вас зальет сосед сверху…
Ну зальёт — и что? Можно подумать, вас в этом случае спасёт использование новых дисков, а не бэушных.
UFO just landed and posted this here
У китайцев есть восьмидисковые коробки на USB, стоят что-то порядка 450$. Собрать системник дешевле будет. ;)

Ну и на счёт RAID'ов на USB-дисках — Windows этого не любит штатными средствами.
Под nix-ами можно организовать ZFS.
Можно поднять с помощью кастомных загрузчиков(xpenology) операционку для NAS от Synology на своем железе, которая позволяет объединять разношерстные диски в RAID-5/6(соответствено 1 или 2 диска самого большого объема уйдут под нужны рейда, т.е. объединив 0.5 + 1 + 2 + 3 +4 +5 + 6 ТБ в RAID-5 вы получите 15.5ТБ)
Это больше платформа для виртуальных машин, чем средство для организации хранения файлов.

А при чем тут средство хранения файлов? rtakyiv спрашивал про инструмент объединения пачки разных дисков в массив с отказоустойчивостью.


И, насколько я понимаю, использовать Unraid в качестве платформы для виртуальных машин совсем необязательно. Видимо, такой функционал добавился в недавних версиях — изначально решение разрабатывалось именно как платформа для организации хранилищ из сами знаете чего...

Ну так массив с отказоусточивостью и используется обычно для хранения файлов, не? :)

У unraid основной недостаток, на мой взгляд — под диск с контрольными суммами надо сразу самый большой диск выделить. Если у вас 2+2+3, к примеру, то трёшку оно себе заберёт. А когда купите новый 8ТБ — то придёт его под контрольные суммы отдать.
UFO just landed and posted this here
За restic спасибо, выглядит интересно. А вот для хранения уже созданных бекапов не лучше ли Яндекс.Диск по 140 117р в месяц за 1Tb. А там уже хранить шифрованные файлы?
Я сейчас тестирую OneDrive, 5Tb раз и «навсегда» за 5EUR разово. (Понимая, что всё может закрыться и храня там только шифрованные данные)
OneDrive, 5Tb раз и «навсегда» за 5EUR разово

Эти ключи с ебэя очень рэндомные. Кто-то из «тестеров» говорил, что «навсегда» у него наступило месяца через три.
Да, я понимаю. У меня это просто как дополнительное место. Ну ладно, 117 в месяц и 1 Tb на Яндекс диске. Всяко дешевле, чем 5EUR/mo
Дополнительное место, которое может пропасть в любой момент — как бы и не место вовсе. :)
У меня подписка на office365 premium, они за 2000 в год дают 5 (или даже шесть) терабайт места. Правда сейчас уже за такие деньги сложно найти, но за 2500-2700 в год вполне реально. Получается где-то 4 евро в месяц.
А где за 2500-2700 в год premium подписку можно найти? Я сейчас посмотрел — это цена обычной с 1Tb хранилища.
А место именно дополнительное, можно считать и не местом, да ) Есть 1Tb от mail.ru когда они ещё раздавали бесплатно + 2 локальных диска под бекапы + этот аккаунт с Ebay.
В ноябре я две лицензии вообще по 1800 брал. Правда с доставкой как раз по 2000 и вышло. Но зато на пять лет вперёд запасся, о продлениях пока что можно не думать. Тут фича в том, что надо покупать коробку, а не подписку на сайте MS — коробки всегда были дешевле.

На счет цен — надо покопаться на том же яндекс.маркете.
complaneta.com/litsenziya-office-365-home-premium-all-lng-6gq-00084-ms-6gq-00084.html — например.
Microsoft Office 365 для дома по подписке меньше 3000 руб в год.
Да, это 1ТБ. Но можно «пригласить» членов семьи. Т.е. иметь за эту сумму 5 учеток по 1ТБ. Побить тематически. Или по годам или еще как…
Ну и сам офис на пятерых не помешает :)
Сейчас шесть. Одно себе и пять приглашений.
Ну и никто не мешает приглашать самого себя. :)
Ну да, но как-то сложно, если данных больше 1 Tb. А офис «рабочий» у меня есть от текущего работодателя, да и на прошлом проекте тоже был. Там тоже на 5 компьютеров своих можно ставить, но размерчик общий, как я понимаю.
Ну у вас же не один большой файл. Я в вандрайв бэкаплюсь, первый терабайт кончился на 2016 году, 2017 и дальше пошли во второй аккаунт.

Там тоже на 5 компьютеров своих можно ставить, но размерчик общий, как я понимаю.

Это офис365 персонал так выглядит. Один аккаунт, один терабайт, сам офис можно поставить на 5 компьютеров. А офис365 хоум премиум сейчас шесть таких аккаунтов позволяет получить.
А каждому пользователю выделяется отдельный 1Тб, т.е. это не «сквозное» место или все-таки общее? Я к тому, как будет выглядеть 6Тб в облаке и как 6Тб на компьютере?
Как организовываются фотки — у каждого своя папка для слива фоток с телефона? Можно смотреть фотки другого участника?
Это шесть разных аккаунтов, каждый по терабайту.
На компьютере — либо синхронизация через обычный клиент, типа дропьокса и т.п., либо подключение сетевого диска через webdav — тут с большим количеством мелких файлов не все хорошо, либо какой-нибудь софт для бэкапа, типа goodsync.

К файлам и папкам в облаке можно дать доступ другим пользователям, если требуется.
Тем не менее.это не «сквозное» облако на 6Гб…
А если стандартный клиент — то он тоже залогинен под одного человека?.. Выходит, каждый должен друг-другу дать полный доступ на всё своё облако?

Что насчёт управления фото, как там клиент выглядит, норм?
Ну да, так и задумано, что несколько человек будут пользоваться.
Но мне для бэкапа это не важно — у меня не одно задание на копирование всего важного, а кусочками. Так что вполне могу хранить их в разных аккаунтах.

Стандартный клиент — это просто синхронизация папок с облаком. Там никакого особенного отношения к фотографиям нет, файлы как файлы. Разве что пытается свежие картинки (фото с телефона, скриншоты) в одну папку складывать. Но не более.
Все съемки храню рассортированные в папках по дате. Как пример:
2018
-2018-01-01_Новый год
-2018-01-05_Концерт %bandname%
2019
-2019-02-08_Отпуск
-2019-04-04_Споттинг Борисполь
-2019-05-05_Майские

В корне каждой папки лежат RAW файлы.
Весь экспорт из Lightroom- в подпапки:
2000px, 900px, 1280px — размер по длинной стороне, настроены заранее профили экспорта в Lightroom;
fullsize — оригинальный размер изображения, тоже профиль экспорта;
ps — экспорт в фотошоп;
И так далее.

Брак отбираю в Lightroom'e в процессе обработки флажками (rejected, no flag, flagged).
Панорамы или HDR под склейку помечаю цветами.
Часто в подпапке делаю еще одну папку, куда переношу файлы которые например не буду закидывать в ивент, или дубли которые просмотрел перед экспортом из Lightroom

Теги проставляю в Lightroom, потом они же идут в EXIF.

Когда вы последний раз ползали в RAWы 2016ого года например? Я сначала жадничал, хранил все равы. Потом хранил только с больших событий. Потом плюнул и после перегонки RAWов в джипеги RAWы не храню вообще. От жадности оно всё… :))
Репортажные RAWы я удаляю сразу, после того как отдал/залил/выложил в фб. Оставляю только экспортированные JPEGи. Одно время делал превьюхи со всех RAW файлов, но за последние 4 года пригодилось всего 2 или три раза, перестал делать.

Если поснимать «девушку в цветах», то могу оставить парочку RAWов «до лучших времен»
С отпуском обычно такая же история, как и с репортажкой: )
Если вы файлы обрабатываете все и сразу, то равы можно не хранить.
Если обрабатывается только избранное, то может понадобиться вернуться к какому-то «нераспечатанному» кадру. Потому для себя я решил, что проще хранить всё, чем плакать через пару лет по удалённому файлу. Благо у меня только пара терабайт фото, их вполне бюджетно хранить и бэкапить. Вот если у вас десятки терабайт, то тут уже тяжелее становится…
C 2013 года вперемешку RAW/JPG с 4 разных камер (D90/D7000/5D2/5D3), около 560 гиг:)
Надо прикинуть какое соотношение RAW/JPG
До 2014 я фотографировал в jpeg, в 2014 (точнее — в конце 2013) я поменял ультразум на беззеркалку и с тех пор снимаю в raw. Ну и на лайтрум тогда же подсел.
А у меня ровно противоположный подход. Поначалу я хранил RAW для каждой фото сессии и дополнительно делал копию в JPG, поскольку RAW на каждом компьютере (в каждом вьевере/редакторе/конверторе) отображается по-разному. А потом я подумал, зачем мне нужны эти джипеги? У меня все фотографии в единой базе в Lightroom. Все мои правки фотографий всегда у меня всегда отображаются корректно. Оригиналы всегда при мне. В любой момент можно еще немного покрутить настройки фотографий, не теряя качество при обработке. А если мне надо с кем-то поделиться фотографиями, то только тогда я делаю экспорт отдельной фото сессии и выкладываю ее на яндекс.диск. Все что нужно — это хранить резервную копию каталога лайтрума. А если когда-нибудь через много лет захочется все переконвертировать в джипег, то это легко можно сделать в любой момент пакетной обработкой. Поставил экспортироваться десятки тысяч фотографий и лег спать. Утром все будет готово.
А просматриваете вы фотографии исключительно только в Lightroom?
Да, на домашнем компьютере просматриваю фото только в Lightroom'е. В нем есть все режимы просмотра, включая слайд-шоу и др. Не вижу необходимости просматривать фото дома в какой-нибудь еще программе. А в случаях, когда нужно поделиться фото, выбираю папку с оригиналами, экспортирую в джипег на яндекс.диск и отправляю ссылку.
Делаю точно так же как описал xbox

Не вижу смысла хранить фото не в максимально доступном качестве. Зачем тогда вообще их делать?

Для удобства просмотра и шаринга все новые фото периодически выгружаются в Google Photo.
Не весь софт толерантен к кирилическим символам в названии файла.
Я по возможности только латиницу использую.
Есть такое да, но в принципе весь софт в моем флоу работает корректно с кирилицей, а что то новое я пробую редко, поэтому опасность минимальна.
Единственный пример который быстро вспомнил: родное приложение для 360 камеры Xiaomi/Madv, которое падает, если в пути есть кирилица.
2018-01-01_Новый год
Скорее всего отмечать его начали 31 декабря 2017. Эти фотки 2017 года тоже в 2018-01-01?
Прописывание дня всегда напрягает тем, что бывают события на 2-3 дня. Поскольку фотографирую не настолько много, предпочитаю их объединять в YYYYMM-Place или подобное.
Но начинаются проблемы с тем, когда действительно день указывается.
И как вы поступаете с фотками, которые хотелось бы сгруппировать по теме. а не дате?
Например, зафиксировать процесс ремонта. Или стройки, который растянется на многие месяцы (а то и годы)…
Вообще это уже работа для тегов и альбомов — то есть уровнем выше папок.
Про новый год образно
Съемки на несколько дней (новый год, отпуск) стараюсь раскидывать по датам. Ночные вечеринки (которые начинаются скажем в 23.00 и заканчиваются в 04.00) закидываю в одну папку с датой начала
Чаще всего пишу YYYY.MM.DD-DD, если есть переход через месяц или год, то фиксирую конечной датой. Но чаще такого перехода нет — у меня обычно в один альбом попадают выезды выходного дня.

Впрочем, если мероприятие перешло через полночь, а не продолжалось два полноценных дня, то, как и предыдущий комментатор, фиксирую началом.
Проблемы никакой нет, ну в разных днях будет хранится, но оно всегда будет рядом. И если уж так сильно хочется всё объединить то скинуть всё в одну папку, пускай там и лежат фото с разными датами. На фотоаппарате не использую сквозную нумерацию, очередной фотографии всегда присваивается очередной номер из имеющихся на карте файлов. Более того первые 3 фото всегда лежат на карточке и являются некоторым маркером карточки и напоминанием о возрасте камеры.
На самом деле эти даты же нужны только для того чтобы папки не превращались в свалку и были упорядочены по времени, тут особая точность не нужна.
Представьте как бы выглядели папки без даты: Новый год, Новый год (1), Новый год (2).
Это не удобно.
К вопросу о структуризации фотографий — за несколько лет я пришел-таки к устраивающей меня системе их хранения и организации. На мой взгляд, больше подходит любителям путешествий, но все семейные фото я организовал именно так (по месту события / съемки).

Система заключается в следующем:

  1. На первом уровне находятся директории с названиями стран (использую двубуквенные обозначения).
  2. На втором уровне — директории с названиями городов.
  3. На третьем уровне — директории с фотографиями. Названия директорий следуют определенной naming convention: «City YYYY MM MMM — Description».

Гипотетический пример, как это выглядит
\  photos
   -  EG
      +  Sharm El Sheikh
   -  ES
      +  Barcelona
   -  TR
      -  Alanya
         +  Alanya 2018 07 Jul - Anjeliq
      -  Antalya
         +  Antalya 2007 06 Jun - Sera
         +  Antalya 2008 07 Jul - Zigana
         +  Antalya 2010 07 Jul - Crystal Flora Beach
         +  Antalya 2011 07 Jul - PGS Kiris Resort

Интересно, но да, больше для путешественников. И может получиться сложновато при евротуре на машине =)
А не лучше каталоги маркировать датой и текстом страна-город-описание? и дополнительно упаковывать в каталоги отдельно по годам? Надо посмотреть где и когда ездил по конкретной стране — через поиск фильтруешь страну, и все папки перед глазами за все года. С непрерывным TimeLine как-то проще работать, видишь весь маршрут куда судьба кидала…
Надо посмотреть где и когда ездил по конкретной стране — через поиск фильтруешь страну, и все папки перед глазами за все года.

Я понял суть вашего предложения. Просто чувствую острую необходимость в систематизации каталогов, количество поддиректорий в которых превышает несколько десятков. Поэтому получилось так, как получилось, и, честно говоря, за все время использования эта система не вызывала никаких нареканий.
Я тоже когда то предпочитал организовывать папками на диске.
Последние 2 года просто сливаю все фото в один каталог по годам.
А все остальное решается тэгами и альбомами в LH.
Это оказалось на порядок быстрее и удобнее. Если мне нужно вспомнить где я был в 2012 я ставлю фильтр по дате, и открываю карту (в LH есть работа с GPS) и визуально вижу метки на карте.
Так же это видно по тэгам которые остаются после фильтрации.
Там же можно отобрать по людям на фото.

Основной плюс тэгов перед папками то что на одно фото может быть назначено 2-3 тэга. Т.е. одно фото может проходить как Sharm El Sheikh и как Подводное и как Экскурсия.
Всё отлично только когда фото управляются и просматриваются локально, а если их надо просмотреть где-то ещё где ваш софт с базой тегов(или они хранятся в фото, в EXIF?) не работает или его просто нет под рукой или база с тегами поломалась а надо срочно найти нужные фото с путешествия 2 года назад… тут спасает каталогизация на уровне файлов, там вы сразу находите год и по описанию нужный отпуск. Это хорошо так же как резервный способ сохранить порядок в файлах даже когда всё поломалось. Кроме того, с файловой системой плохо работать когда в одной папке больше 10000 файлов, а помоему с автонумераторами в фотоаппаратах это ещё и физически невозможно, на каждую десятую тысячу файлов он создаёт отдельный каталог чтобы ненароком не достичь теоретического предела в 65535 файлов на папку для FAT32.
Для репортажной фотографии вполне нормально снимать короткими сериями по 2-3 кадра. 30-50% брака тоже вполне норма. У меня за день съемок получается 2000-3000 кадров. После нескольких проходов 90% отбраковывается: неинтересные кадры, дубликаты, технический брак. Таким образом, в среднем с мероприятия получается 150-300 хороших интересных кадров. Это норма в цифровую эпоху. Можно снимать меньше, но тогда и количество интересных кадров будет пропорционально меньше. Для тех кого цифры шокируют, речь здесь идет про сложные условия съемки, а не про пощелкать девушку на фоне цветов.
По поводу хранения, лайтрум позволяет хранить сами файлы в файловой системе. Каталог хранится отдельно. У меня есть папка с архивами и отдельная — с фотографиями текущего периода. Внутри этих каталогов директории вида «2018 Spring», «2018-2019 Winter». В них уже по датам хранятся фотографии с конкретных событий: «2018-01-01 New year celebration» и подобное. Дата ставится автоматически при импорте. Время от времени подпапки из текущей перемещаются в архив.
Что касается разбивки на категории, это никогда не работает. Потому что категории будут пересекаться, будут невнятные кадры которые сложно куда-то отнести и так далее. Я создаю в лайтруме коллекции — это отдельная иерархия сущностей, которая позволяет включать кадры в несколько коллекций. Например, фотографии с автосалона могут быть в коллекциях Cars, Events, Girls :).
При сортировке после съемки, я просто прохожу по фотографиям несколько раз и отбраковываю режектом явный брак. Потом выбираю Pick-ом явные сейвы. Обычно на этом сортировка и заканчивается — дальше я включаю фильтр по флагу и обрабатываю сейвы. Если это репортажная съемка, то правится экспозиция, уровни, добавляется микроконтраст и насыщенность. В сложных случаях — локальные правки градиентами и радиальными фильтрами.
Бэкапы делаю на холодные внешние диски. В планах наладить бэкап в облако и уйти наконец окончательно с лайтрума на Capture One.
Во, прям крайне близкий мне сценарий и алгоритм, стало чуточку спокойней от «столько брака — это норма» =)

Насчёт лайтрума… видимо, надо мне его ещё раз попробовать. Потому что сколько раз ни пробовал — ну не заходило никак. Да и они ещё зоопарк развели — Лайтрум классик, Лайтрум СС… Там мне не нравилась скорость работы (я вообще для сортировки использую крошечную утилиту Fileloupe), но ниже написали про режиме library/develop — возможно в этом у меня была проблема, надо перепроверить.
Лайтрум конечно тот еще кактус. Но когда количество фотографий в месяц иной раз превышает 10к, то особого выбора нет. Очень сложно переходить на другую DAM. Я вначале долго и мучительно переползал с апертуры на лайтрум. Теперь пытаюсь переползти на капчу. Список претензий к лайтруму уж очень большой и существенных улучшений судя по всему ждать не приходится.
Использую DigiKam, делаю бекап всего файлового каталога на офлайн диск, и копию на другой комп в реальном времени. Дополнительно сканирую каталоги утилитой logparser.exe, актуализируя в базе данных таблицы с путями к файлам, именами и хешами. Давно собираюсь написать что-то для этих задач, план работ набросал, да руки недоходят :)
О чужих «облаках», разумеется, не может быть и речи.
Давным давно (лет уже 15 назад) нашел для себя каталогизатор фоток PhoA и до сих пор не было причин искать ему замену (тьфу-тьфу). Сами фотки можно раскладывать как угодно (я раскладываю в папки по годам), а в программе хранятся только структурированные ссылки на файлы фотографий. При этом каждая фотография может находиться сразу в нескольких иерархических каталогах.
Жаль, что под винду =( Пока работаю в основном на маке — виртуалку (parallels) пришлось снести как раз из-за того, что места мало было =)

This software has been discontinued. Раз так, то можно и Picasa посоветовать.
Вот что не хватает в Picasa — возможности поглядеть облако тегов и показать все фотографии БЕЗ выбранного тега. Ну и ручная расстановка геометок иногда глючит. В остальном отличная программа. Перепробовал ещё кучу каких-то бесплатных и шароварных каталогизаторов, ничего больше не понравилось.

Можно уточнить — «При этом каждая фотография может находиться сразу в нескольких иерархических каталогах.» или «при этом на каждую фотографию может быть несколько ссылок из разных иерархических каталогов»?
Спасибо.

Несколько ссылок, разумеется. Извиняюсь за неточную формулировку.

Спасибо за подробную статью — некоторые идеи можно попробовать применить.
Несколько вопросов к автору по процессу:
1) Вы единственное «лицо, принимающее решение» по отбраковке фото, по раскладыванию в регламентные локации? (поясню — у меня «логическим» администратором массива является жена; а я — системный администратор; ее задачи и методы непостижимы, мои — убоги и очевидны — все зарезервировать с удовлетворительной дискретностью, все синхронизировать в распределенных точках хранения);
2) Вы, ваша фототехника и смартфон — единственные источники поступления фото? (не присылают коллеги, знакомые — и присылаемое тоже нужно регламентно распределить по папкам? вопрос важен с той точки зрения, что поступления из других (не контролируемых) источников могут происходит с большой задержкой, и доупорядочивать массив фото/видео по конкретным событиям придется через полгода-год, что является дополнительной задачей само по себе, а так же ведет и к следующему вопросу);
3) Возможно пропустил в статье или не понял — есть ли у вас ежегодное «томирование» массивов файлов (фиксация по годам, или, возможно, периодам иной продолжительности)? То есть есть ли четкая дата «отсечки» — например, в 2018 году ясно что массив за 2016 год уже не будет меняться, и если задача синхронизации по прежнему актуальна, то архивные копии уже не требуется обновлять, а нужно только хранить? (ну и так далее — в 2019 зафиксируем массив за 2017 ....).

Непонятно, для чего нужно городить гуглотаблицы, когда есть много программ специально созданных для каталогизации фотографий. Сегодня забыл внести изменения в таблицу, завтра поленился, а через пару недель эту таблицу уже можно стирать и начинать все по новой, потому что в этой все неправильно.

вот лежит на столе карта памяти — что на ней? Никогда не знаешь

И не нужно знать. Карта памяти — не для хранения фотографий. Добрался до компьютера — скинул фотографии. Если есть время на заполнение таблиц, то на копирование фотографий с карты в компьютер точно найдется.
Ручная сортировка 100500 фоток меня бесит. Думаю написать сортировщик, который на основе данных GPS из каждой фотки, сгруппирует их в каталоги соответствующие месту сьёмки. Обычно так и бывает — фотосет проходит в одном определённом месте. Название места — город + улица почти однозначно определяет тему фотосета. Дополнительно нужно учитывать дату — два фотосета в одном месте но с разницей в 3 месяца — это два разных события.
Смартфильтры, смарт-папки есть в каждом уважающем себя каталогизаторе. Функции каталогизатора у лайтрума бесплатны.
Случаи, когда в пределах одной фотосессии не на всех фотках проставляются GPS-теги… не рассматриваются? Они ведь пойдут в разные папки… поэтому, сначала разделение по датам(кстати какой интервал времени считать уже разными сессиями?) а потом по местам. Или нет… не надо ничего автоматически сортировать — отснял сессию, сразу сбросил в папку с датой и названием сессии. И это будет дополнительной гарантией от потери данных в случае внезапной кончины карточки. Максимум что пострадает это только последняя сессия.
Google Photos отлично подходит на эту роль, но нужно понимать, что пока-пока приватность и что обязательно нужно бэкапить.
Раньше хранил так как фотографировала мыльница Canon: в папках по дням съёмки.
С появлением iPhone пришлось сваливать вообще всё в одну папку, когда чистил память.

Но где-то уже год как пользуюсь Google Photo. Распознавание лиц, предметов, геотеги – всё это позволяет не париться об упорядочивании фотографий. Можно найти место, время и человека в считанные секунды. Собираюсь залить туда же все старые фотографии с мыльницы и iPhone.
При желании я всегда могу сохранить всё на свой носитель и это успокаивает.
Фотограф-любитель. Фотографирую больше для себя, иногда могу забесплатно фотографировать кого-то или для кого-то (как отдельную фотосессию, так и репортаж).
Если отправляюсь в длительные поездки, то стараюсь взять с собой ноутбук, на котором можно просматривать фотографии.
Снимаю в RAW, вдумчивой обработкой занимаюсь только дома, за большим монитором.
Сразу после съёмки провожу первичный просмотр материала. Достаточно жёсткий! Неудачные по резкости и сильно неудачные по экспозиции сразу отправляются в корзину. Если просмотр показывает, что несколько фотоснимков одинаковы во всём (резкость, экспозиция, кадрирование), то оставляю только один из них. Если на одинаковых по резкости и экспозиции у фотографий немного разное кадрирование, то оставляю только ту, которая мне кажется интереснее или более обещающей. Могу при первичном отборе советоваться с другими, например, с теми, с кем отправился в поездку или с героями фотосессий.
Желаемый итог: чтобы не осталось более 3-4 фотографий с похожим сюжетом.
Далее, если возможно, фотоснимки «вылёживаются». Если это фотографии только для меня, то лежать так они могут до года (было и такое). Если для других, то срок зависит от пожеланий тех, кому они предназначены (от недели до пары месяцев).
По прошествии этого срока фотоснимки просматриваю ещё раз. Если при повторном просмотре кадр не вызывает особенного интереса с моей стороны, то он безжалостно удаляется. Таким образом, с фотосъёмки для обработки остаётся 25-30% фотографий, по 1-2 снимка на каждый фотосюжет.
Их обрабатываю вдумчиво, исходя из своих представлений о прекрасном.
По итогам обработки оставляю только JPEG, RAW удаляю по окончании. Если фотографии для кого-то, то отдаю только JPEG, никаких RAW.
Фотографии на компьютере разбиты по двум первичным папкам. «RAW» и «Фотографии». Внутри подпапки формата «ГГГГ.ММ.ДД — Название события».
Внутри папок в папке «RAW» могут быть служебные подпапки (с фотографиями с разной обработкой под панорамы, HDR, маски и слои в Photoshop и т.п.).
В папке «Фотографии» — итоговые JPEG. Из неё фотографии дополнительно удаляются крайне редко. Чаще происходит ещё один просмотр получившегося результата либо сразу после завершения обработки, либо после небольшого «вылёживания».
Подпапок с событиями в папке «Фотографии» уже много, теоретически, можно дополнительно разбить их по годам. Но это максимум, большего мне не требуется.
Копия итоговых фотографий периодически отправляется на домашний NAS, с меньшей периодичностью — на специально подключаемый внешний жёсткий диск.
Сколь-либо ценные raw лучше хранить. Во-первых, вы можете когда-нибудь понять, что теперь сделали бы картинку иначе. Во-вторых, может появиться нужда (например заказ) сделать обработку в особом стиле. В-третьих, алгоритмы обработки спустя годы могут усовершенствоваться и дать новое качество старым картинкам (например свое время такое произошло с появлением PS CS6). В-четвертых, вы можете захотеть распечатать или иным образом поэкспериментировать с картинкой, для чего понадобится работа в расширенном диапазоне. В-пятых, это архивная копия на случай утраты жопегов (в том числе в случае действия вирусов или неправильных действий пользователя). В-шестых, исходники дают объективный материал для изучения качественных характеристик фототехники и влияния условий съемки на результат. В-седьмых, наличие исходников является техническим доказательством вашего авторства.

А что касается хранения, их не надо сортировать. Достаточно просто скидывать ВСЕ файлы RAW в каталог для данной фотосъемки и все, можно про них забыть. В идеале можно еще XMP скинуть, но это опционально и может быть вредно (их придется актуализировать, что ломает идею с архивом). Неплохой идеей будет запись RAW на оптический диск, правда, DVD уже не отделаешься, да и хранить их где-то надо, и перезаписывать регулярно.
Причины хранить есть, я не спорю. Если RAW нужны, то мой подход не подойдёт.
Я хранил RAW три года когда-то давно. Недавние хранились на компьютере, более ранние записывал на DVD.
Опыт показал, что я к ним практически не возвращался.
Поэтому пересмотрел подход и от хранения RAW отказался. Для домашнего архива и работы с ним (фотография на стену, фотоальбом и т.п.) хватает итоговой фотографии в JPEG.
Лично я вообще склоняюсь к тому, что с каждого события (поездка, фотосессия) надо делать какой-то одиночный конечный продукт. Одна, но лучшая, фотография, напечатанная в крупном формате. Фотокнига на 30-50 лучших фотографий, если это поездка. Такой формат, на мой взгляд, лучше отображает результат, нежели 300-500 фотографий, которые, скажем честно, мало кому интересны, кроме автора или запечатлённых лиц.
Собственно, так и стараюсь делать — приезжаешь из двухнедельной поездки и из 1-2 тысяч фотографий пытаешься выделить 20-30-40 (ну из расчета по 1-2 в день в среднем) штук лучших. Остальное в корзину, ну а 40 равок хранить вообще не напрягает и места не занимает.
Проблема только в том, что разбор такого количества фоток, по крайней мере, у меня, занимает времени не меньше, чем сама поездка была, очень муторное занятие. Хотя результат, конечно, виден почти сразу — можно и в блог, и в инсту, и в отчет, и на стенку распечатать, и пересмотреть, и друзьям показать. Но все же уж очень тяжко и медленно процесс разбора идет…
Согласен с каждым словом.
Особенно это касается:«обработки спустя годы могут усовершенствоваться и дать новое качество старым картинкам»

Так же техника не стоит на месте, появляются HDR / OLED экраны которые способны показать больше чем может JPEG.

В 2004м например хорошая фотопечать стоила дорого, на сегодня она стоит значительно дешевле, и качество подросло, если бы я в 2004 удалял RAW и оставил JPG (проявленный с использованием старого TN монитора, с кривой цветопередачей) у меня были бы проблемы с печатью фотокниги в 2019.

Собственно, пример из практики:
Была идея сделать фотокнигу с определенными этапами жизни в подарок на годовщину свадьбы.
Начал смотреть старые фото, на новом 4K HDR мониторе и оказалось что параметры проявки RAW были мягко говоря странными. Хотя некоторые фото помню хорошо как обрабатывал и тогда на том мониторе они выглядели отлично.
Более того когда я на своем мониторе перепроявил RAW и отправил на пробную печать оказалось что цветопередача тоже не совсем такая как на мониторе.
И только после того как я загрузил профиль фотолабы в которой заказывал печать и посмотрел в LH режиме «Soft proof» я добился того что нужно.
Еще один плюс LH что он позволяет делать «виртуальные» копии фотографий с другими настройками проявки, т.е. те фото которые печатаю создаю как виртуальную копию с тэгом «Для печати».

Все эти изменения были бы невозможно если бы я оставил только JPG.

А что из бесплатного/свободного лучше использовать для поиска по лицам? Можно, конечно, и самому написать, но как-то не хочется изобретать велосипед.

Встроенные фотки в iPhone умеют сортировать по людям, Google Photos и Lightroom тоже умеет.

Хотелось бы что-то бесплатное и десктопное. Увы, эти варианты не очень подходят. Мой андроидофон от Samsung тоже неплохо сортирует, но все фотографии в него просто не влезут.


В принципе, меня устраивала Picasa, но она не поддерживается. Пользовался какое-то время digiKam, но не хочется тянуть половину KDE из-за одной программы.

Поиска с распознаванием лиц или поиска по людям, предварительно перечислив их вручную для каждой фотографии?

Если второе, обратите внимание на мой комментарий habr.com/ru/post/447144/#comment_19999152

Возможная адаптация описанной там методологии под Вашу потребность: для каждого «лица» создаём каталог, в нём — ссылки на фотографии, содержащие эти лица.

Хотелось бы, чтоб можно было один раз для лица указать, кто это, а программа сама расставляла метки, когда это лицо встретилось.


Впрочем, наткнулся сейчас на новость, что в Shotwell наконец добавили распознавание лиц, просто оно отключено по умолчанию.

Набросал как-то скрипт на питоне для домашнего архива в хронологическом порядке c поддержкой индексации на NAS от Synology, отвел директорию «uploads», которая сканируется раз в сутки или по запросу встроенным планировщиком. Важные события уже после автоматической сортировки дополняю постфиксом с имени директории вручную.
RAID 1 + бэкап на отдельный USB винт, все руки не доходят перенаправить бэкап от NAS на другой винт, подключенный к роутеру, чтобы хоть частично изолировать по питанию.
Мы тут с коллегами обсуждали как-то похожую ситуацию. Для одной знакомой нужно было найти подходящий способ организации её многолетней, многотерабайтной библиотеки видео файлов, хранящихся на разных носителях, с удобным поиском по разным критериям. В результате долгих споров отказались от идеи использовать напрямую файловую систему и пришли к выводу, что правильнее всего использовать каталог на основе тегов. В качестве более-менее удобного варианта остановились на программе TaggedFrog. Иерархический каталог тегов, запоминает файлы хранящиеся на сменных носителях. Единственное преимущество которое я увидел в вашей системе — доступ к каталогу через интернет с любого устройства. А так я не вижу причин почему вы не используете тэговую систему. Чем вас не устраивают тэги?

Ваша табличка доказала основную идею, к которой мы тоже пришли в результате споров и обсуждений — файловая система предназначена для хранения, а не для удобного извлечения файлов. Для извлечения нужен каталог. Кстати, как выяснилось, многие хранят этот каталог у себя в голове и у них вообще таких проблем не возникает ;) У них систематизированно хранилище и память настолько хорошая, что они просто помнят где в каких папках и что у них лежит, как книжки в домашнем шкафу ;)
разве TaggedFrom поддерживает иерархии тегов?
теги организованы в иерархии это tags4.info. сравните
Не знал что есть такое, спасибо, возможно в этом есть дополнительные удобства организации и добавления тэгов, но самой программой tags4.info пользоваться неудобно, она зачем-то при тэгировании перетаскивает файлы в свою папку, плюс дает удалять сами файлы, тоже непонятно зачем. Я бы не рекомендовал эту программу в качестве каталогизатора. TaggedFrog выглядит получше, хоть и нету там иерархических тэгов.
Уже много лет храню следующим образом:
RAID-массив на NAS Synology с предоставлением доступа друзьям и семье через бесплатный сервис DS-photo. Есть бесплатное домейное имя вида ####.myds.me или похожее, есть возможность разграничивать доступ разным пользователям к разным папкам, есть возможность взаимного бэкапа с другой Synology (что мы с другом и настроили), есть приложения для Android и iOS.
За это время успело сдохнуть несколько дисков, сдохла одна Synology, но фотоархив цел.
С недавних пор еще пользуюсь возможностью бесплатного неограниченного облака в amazon cloud (всем подписчикам amazon prime дают неограниченное пространство для хранения фотографий в облаке. На видео, это, к сожалению, не распространяется).

Структура каталога, после многочисленных метаний, пришла к виду Год-Месяц-Событие, как уже описывали выше. Как показывает практика, это самый универсальный способ сортировки, понятный в т.ч. людям далеким от IT. (Пример 2018\2018-12-NewYarParty)
А что вы делаете, если нужен поиск по нескольким критериям? Например поиск по фотографиям где была Мария Ивановна?
Если есть потребность в таком поиске, есть возможность проставить тэги.
Гео-теги как правило уже есть в exif, можно искать по ним (75% фото в последнее время идет с телефона, там геотэги ставятся по умолчанию, если специально не отключать. Большая часть оставшихся у меня идет с Canon 6D, там тоже есть встроенный GPS ставящий геотэги)

Лица можно распознать и проставить тэги людей, для Synology есть встроенный софт, но, честно говоря, потребности пока не возникало. Можно это сделать и вручную. Но состав участников довольно быстро и легко определяется событием, а кроме того, когда я добавляю папку в NAS и настраиваю доступ друзьям, это автоматически является отбором контента с их участием.
Еще можно проставлять произвольные тэги и присваивать фоткам рейтинг, но мне пока как-то не до этого. Может на пенсии займусь )

Кстати, забыл сказать, у ds-photo есть довольно приличная встроенная вэб-морда
Я делал лет 15 назад полный программный цикл для GlobalLook: десктопное приложения для фотографа, www сервер и набор сервисов для поиска, импорта.

Думал уже в современном мире все написано, оказывается нет.
Структура каталога, после многочисленных метаний, пришла к виду Год-Месяц-Событие, как уже описывали выше. Как показывает практика, это самый универсальный способ сортировки, понятный в т.ч. людям далеким от IT. (Пример 2018\2018-12-NewYarParty)

Аналогично. Однако, в событиях указываю дату срока действия, например «2018_07_12-08_03 Vacation». Проблемы могут быть только с переходом через год, но решается отнесением в каталог года по дате начала.
Также удобно архивировать.
У меня эта проблема с фото тоже актуальна, поэтому я поступил вот как:
1) Собрал сервачок на базе HP G6. Прикупил б/у железо, напихал туда 72 гига оперативки, взял 20 б/у 3ТБ хитачи. Вышло не очень дорого, и винты все как под копирку — видимо стояли где-то в сторедже, откуда их списали по нормативу выработки. 12 винтов воткнул в сервер, 7 положил «про запас» на случай выхода из строя, один воткнул в регистратор видеонаблюдения, где он уже месяцев 14 пашет 24х7 — т.е. ресурс у винтов ещё приличный.
2) Собрал из ДСП (заказал распил) специальный шумоизолирующий ящик с глушителем на входе и выходе, оклеил шумкой, поставил на колёсики. Внутрь воткнул 4 больших кулера для прогона воздуха через корпус. Верхняя часть ящика исполняет роль тумбочки около стола. Зимой сервер можно включать, если вдруг в квартире похолодало — приятное с полезным.
3) Установил на всё это богатство FreeNAS
4) Написал софтину, которая NTFS-сканером шерстит все мои локальные диски (лишние папки добавил в исключения), находит там медиа-файлы, вычисляет их хеш, достаёт метаданные для вычисления даты съёмки, складывает это в SQLite базу данных и копирует новые файлы на FreeNAS-сервер. То же самое для видеофайлов.
5) Lightroom настроил на сохранение всех параметров коррекции в xmp-файлы, и софтина автоматически переименовывает их и правит так, что они оказываются привязанными к скопированным RAW-ам, так что я по большому счёту могу свободно потерять Lightroom каталоги, но параметры правки останутся. С DNG-файлами ещё проще — параметры правки хранятся прямо внутри файлов.
Сервер включаю только для копирования новой порции данных, чтобы не работал вхолостую. Чуть позже планирую настроить синхронизацию с каким-нибудь облаком.
Ещё есть идея создания «облегчённого» хранилища с автоматической конверсией RAWов в 10-мегапиксельные JPG и выгрузка этого дела в гуглфото, но пока руки не дошли.

Сервер в шумоизолирующем ящике


А для чего там столько оперативной памяти?

ZFS, который используется FreeNas-ом. Во время активной работы с диском память просто улетает под кеш. Это известная фишка.
UFO just landed and posted this here
Что касается материалов — ну обычные компы тоже редко ставят в несгораемые шкафы. Если вдруг появится источник открытого огня, то большой разницы нет где он стоит — в ящике или под столом. Там нормальная система мониторинга, если вдруг будет перегрев или другой сбой — сервер должен выключиться. Перегрева у него точно нет, так что это разве что короткое замыкание, но у меня нормальная разводка по квартире — скорее автомат выключится. Ну и не работает он у меня постоянно — включаю редко.
Пытался сходу найти статистику пожаров по таким серверам — не нашёл :)
S.M.A.R.T. снимал со всех 20 винчестеров, там почти как под копирку с небольшими отличиями. Судя по таблице отработали эти винчестеры чуть больше трёх лет, при этом почти не выключаясь — на счётчике был что-то около тридцати запусков, если память не изменяет. Попробую найти — возможно снимал скриншоты.

Только что проверил смарт в регистраторе видеонаблюдения — намотал 43 075 часов — чуть меньше пяти лет. Установил я его в январе прошлого года, так что на старте было 3-4 года наработки.
UFO just landed and posted this here
Можно купить acdsee, где много чего есть полезного именно для каталогизации. С переносом и обслуживанием БД в ней полный порядок. Не знаю как сейчас, в старых версиях там даже архив фото на компакт-дисках поддерживался: ).
Тоже хотел сделать на ЯД бекапы, купил на терабайт места, но внезапно оказалось что заявленно API для доступа к яндекс.диску не работает. А т.к. идея была в автоматической синхронизации с диском и хранении копий в шифрованном виде, пришлось отказаться от этой идеи.
Спасибо за рекомендацию, посмотрю поподробнее… Если не сложно — подскажите — на один и тот же файл или на одну и ту же реальную папку с файлами можно указать ссылки из нескольких виртуальных папок — то есть одно и то же содержимое можно классифицировать в разные иерархии виртуальных папок? Спасибо!
UFO just landed and posted this here
Вот уже лет 5 точно жду, вдруг появится аналог Гугол-картинок для десктопа. Очень хочется поиск по тегам среди фотографий, но уже слишком их много набралось, чтобы вручную теги ставить.

Обидно, что в интернетике почти любую фотку можно найти по словесному описанию, а у себя на компе — фиг.
категорически поддерживаю
У меня задачи не столь глобальны, как у автора, поэтому я вопрос с фотографиями решил проще (ну или сложнее — тут как посмотреть).
— снимаю я или в RAW+JPEG, или только в JPEG.
— скриптиком раскидываю все файлы по каталогам YYYYMM/YYYYMMDD. Файлы в формате RAW идут в подкаталог RAW. Если у RAW нет парного джипега — он создается вызовом RawTherapee. Если у джипега нет парного RAW — в каталог RAW кладется копия джипега.

Получается простая структура, в которой все файлы раскиданы по датам съемки, а исходники лежат в подкаталогах RAW. Далее — если нужно — файлы обрабатываются или «проявляются» с использованием штатной программы от Никона (выравнивание заваленного горизонта, кадрирование, иногда — игрища с вытягиванием деталей в тенях). Если что, джипеги испортить не страшно, т.к. всегда есть исходник.

Далее, самописной утилиткой в основных каталогах (не RAW) создается файлик с описанием фоток. В описании — «ценность» фотографии (ценная, нормуль, вспомогательная, мусор) и пара нужных мне галочек (можно ли показать родителям, например). А еще к каждой фотографии идет место съемки (дома, на улице, в Турции и т.п.) и тема («день рожденья Васи», «дети катаются на горке»). Ну и плюс ко всему этому можно к каждой фотографии набить сколько угодно сопроводительного текста.

В пару к утилитке для описания фотографий идет утилитка для создания фотоальбомов. Тут все простенько: выбираем, какие темы должны попасть в альбом, расставляем галки (например, можно ли включать фотки, не предназначенные для родителей), выбираем, под какой носитель генерировать альбом (родителям удобнее альбомы на CD или DVD-болванках, но можно и что-нибудь другое выбрать). Далее утилитка генерирует альбом (статический HTML, безо всяких джаваскриптов). На странице фотки уменьшенные, чтобы болше влезло, но можно кликнуть и посмотреть полный оригинал. Альбом можно записать на болванку и отправить родителям. :)
Интересная статья, здорово вы придумали с таблицей. Пробую прикинуть на себя, но глаз начинает дёргаться, как только представляю, что ещё одну таблицу заполнять надо =) (кроме, например, финансов, задач, посещённых мест, путешествий и т.д.)

Заметил, что у меня нет, например, проблемы, что
а) копятся фотографии на флешке
б) копятся необработанные снимки

Неважно, это двухнедельное путешествие, 12-часовая свадьба или 2-часовая фотосессия) — обычно в тот же или на следующий день после съёмки я их скидываю на компьютер (т.е. на флешке не бывает больше одной съёмки). А обрабатываю потом в течении недели-месяца, потому что так получается, что я по-умолчанию замотивирован это сделать, хотя мне часто и лень. Если это съёмка на заказ — то ждут заказчики, если из путешествия, то ждут друзья. Если съёмка большая, то ставлю себе задачу, например «отсмотреть/отобрать первые 500 фоток» на каждый день, и так за неделю делаю отбор, и потом «обработать первые 10 фоток», и примерно так же с обработкой. Пока работает.

По поводу хранения RAW — я всегда считал, что как минимум с важных событий (к которым периодически возвращаешься, например для меня и моих друзей — это многодневные горные походы) RAW хранить обязательно нужно. Затем я как-то автоматически пришёл к такому процессу, что после обработки фотографий сразу делаю несколько рендеров — обработанные и отобранные фотографии (самые лучшие, которые всем показываю, например 100 фотографий из 3000) — FullHD (теперь 4K) для выкладывания в Интернет, и в оригинальном разрешении для печати и отправки на фотоконкурсы. Ну ещё иногда из путешествий у нас необходимо отрендерить дополнительно по тематикам — например, пейзажи, портреты, групповые фото. И заметил, что с таким подходом хоть я и всегда хранил (и храню)
и RAW'ы, и каталоги Lightroom, я никогда в итоге к RAW'ам не возвращался. Если что-то просят отправят из походов 4-5-летней давности, я просто захожу в папку с мероприятием, сразу там нахожу папку «Jpeg-print», в которой 5 самых лучших фоток в большом разрешении, и их отправляю. С фотосессий или свадеб ни разу такого не было.

По поводу софта: чтобы быстрее отобрать фотки я использую PhotoMechanic, потому что он мгновенно в отличие от других RAW-просмотрщиков рендерит preview (есть ещё FastRawViewer), а потом уже отобранные фотки отправляю в Lightroom, рендерю там preview 1:1 и обрабатываю/доотбираю.

Ещё забавно, что раньше, когда денег было меньше, я мечтал о фототехнике и железе для NAS'а, сейчас деньги есть, есть неплохая фототехника, но почти перестал снимать — обидно ^^ Может поэтому я и обхожусь без таблицы, просто снимаю мало.
Лайтрум теперь тоже умеет встроенные превью отображать, т.е не обязательно ждать пока они отрендерятся.
Да, но он же это очень медленно делает. Типа переключаешься на следующую фотку, и происходит 1-2с задержка каждый раз.
Да даже при уже отрендеренных превью!

Нет?
В режиме Develop есть задержка, в режиме Library нет. В первом режиме фотография рендерится из RAW (почти) каждый раз. Поэтому просматривать и разбирать фотографии нужно в Library, а в Develop переключаться только для обработки.
Также есть воркэраунд для ускорения работы в режиме Develop — рендерить Smart Previews и временно переименовать папку с равами в файловой системе. В таком случае, можно работать со Smart Previews почти также как с рав, но гораздо быстрее. После окончания работы достаточно переименовать папку с равами назад. Решение костыльное конечно, но в принципе мобильный воркфлоу с синхронизацией у лайтрума примерно также и выглядит. Возможно новая версия Lightroom CC (не Classic) примерно по такому же принципу работает, но я ее не ставил.
Есть уже готовые и протестированные на тысячах пользователях решения, например наш Daminion:



Иерархичные теги, много-пользовательский доступ для команд, доступ через веб-браузер, облачная и локальная установка, автоматическая запись тегов в XMP метаданные, автосканирование папок, пользовательские теги, куча всяких опций для фильтрации, каталогизации, экспорта, просмотра, учета,…

Локальная версия должна гуглиться — в публичном доступе только многопользовательская версия.
Ага, папка «Girls». Все ясно. Я с одной еще на стадии знакомства перестал общаться, когда она сказала, её пригласил фотограф на фотосессию, а на вопрос «а это как, бесплатно?» потупила глаза на стол и промолчала.
Аж тошно стало.
Да и на фотографа повелась! Ни на ученого с их интересными когнитивными возможностями, ни на инженера, ни на хирурга, а просто на фотографирующую машину выполняющую элементарщину.
То есть все, кто фоткает девушек — извращенцы потому-что они имеют вагины, в которые (о боже!) суют, причем все? Вам бы это, может к сексопатологу, не? Для нормального человека не является проблемой любование женской красотой. Если у него конечно же с ориентацией все в порядке, а-то всякое бывает, ога.
Я все ждал коммента с именами замазанных папок. Вы раскрыли? ;)
Ахаха, так ведь я и объяснял что скорее всего там нечего скрывать) Замазывать надо только если бы папка называлась бы «Kids» прости господи…
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here

Я несколько раз в год пересматриваю, не всё, разумеется, а что-то конкретное. Иногда нужно вспомнить, как выглядит какой-либо старый знакомый, которого давно не видел, иногда хочется сравнить какое-то место "тогда" и "сейчас". В целом, я сторонник точки зрения: лучше сохранить что-то ненужное, чем потом кусать локти, что удалил, так как 10 лет назад решил, что это никогда не пригодится — свои собственные фото-то в общем случае не скачаешь ещё раз из интернета, как какой-нибудь сериал или музыкальный альбом.

UFO just landed and posted this here
UFO just landed and posted this here
Простите-с, но фотография это не только друзья-алкаши на недавней пьянке, это может быть и фото красивых мест, именно по этой причине в инсте имеют огромную популярность аккаунты известных путешественников, ибо фото еды и волосатых ног на пляже интересны теперь уже только самим владельцам. На такие акки подписываются либо такие же путешественники, выбирая себе таким образом места, которые хочется посетить в дальнейшем, либо те, кто просто хочет иметь красивые фото у себя в ленте. Фотографы людей туда же, человек прекрасен, особенно если это девушка, и они действительно стоят того чтобы их созерцать не с позиции того на кого бы мне сегодня подергать перед сном. Не благодарите)
Вам никогда не хотелось посмотреть, вспомнить себя, детей?
У меня избранные фото идут в качестве заставки рабочего стола. И иногда бывает просто пересматриваешь какие-то моменты, или показываешь кому-то. Так что да, пересматриваю. Не все конечно и не каждый день (за исключением заставки), но довольно часто.
UFO just landed and posted this here
Фотографирую в RAW+JPEG. Второй для удобства просмотра в WinXP (да, у меня еще живет такой зверь). Скидываю фотографии на домашний сервер с RAID 1. Именую каталоги строго по датам. (Желательно бы) одновременно, используя программу Adobe Bridge, проставить теги ко всем JPEG (тогда по отсутствию файла .xmp в пару к RAW я буду видеть необработанные файлы, они скорее всего и не нужны). Соответственно, по тегам (трехуровневая иерархия по месту съемки + иерархия объектов) могу потом найти всё, что нужно — например, все фотографии соловьев, сделанные на даче, или конкретного друга. Или даже Кремль + Тула.
Через некоторое время скидываю на внешний HDD. Это уже как резервный носитель, используется мало — только если надо на ноут что-то по-быстрому перекинуть. Как правило, чаще его использую для просмотра фотографий, вошедших в фотокниги, которые делаю вместо фотоальбомов.
Флешки использую несколько штук маленьких (кажется, на 64 ГБ нет).
UFO just landed and posted this here
А под другому и никак. И если людей в лайтруме ещё можно искать, распознавание лиц там есть, то вот распознавания «за рулём» или «на море» нет.
в гуглофоте есть распознание лиц и мест съемки
UFO just landed and posted this here
Избыточно теги проставлять нет смысла, уже по нескольким уточняющим тегам выборка становится вполне обозримой, в которой можно найти то что нужно и даже больше. Слишком параноидально выглядит база по которой можно одним запросом выполнить любое желание — никогда не будешь уверен до конца что в выборке есть всё что тебе нужно и ничего не пропущено. Поэтому пусть выборка будет немного шире а мозг выберет ровно то что нужно, хоть и за большее время.
Фотографирую я в RAW, jpg только под ногами путаются. Снимаю для себя
А у задачи хранения есть несколько слоёв.

1) Физическое хранение.
Весь мой фотоархив занимает порядка 1,7 терабайта. Мастер-копия хранится на двухтерабайтном SSD в домашнем компьютере. Понятия «хранится на флэшке» у меня нет — при первой возможности копируется на десктоп (ну или ноут, если я в дороге, с ноута на десктоп сливается по приезду домой).
Ежедневно делается копия папки с фотографиями на домашний сервер (с типа зеркалом на базу drivepool), плюс делается копия в облаке Onedrive (у них самые низкие цены, за 2000 рублей в год имею пять терабайт). В облако копирование идёт разными заданиями в бэкапилке (goodsync). 95% фотографий у меня не персональные, можно в открытом виде складывать. Совсем персональное либо вообще в облако не идёт, либо сперва шифруется.
По мере возможности ещё делается копия на внешнем диске. Возможность получается где-то раз в месяц — надо достать диск из шкафа, подключить и запустить задание копирования.
По хорошему нужно бы ещё одно место хранения, на провайдерской площадке у меня давно подготовлен на сервере диск под это дело, но всё руки не доходят.

2) Уровень файловой системы
На верхнем уровне папок — источник. Имена фотографов обычно.
Моё
Не моё
Не моё
Не моё


Уровнем ниже — темы. У всех более-менее одинаковые, могут быть персональные темы (к примеру «Собаки», каких-то тем может не быть.
Поездки
Повседневное
Семья


Дальше — года. Внутри года папки по дням. В папке могут быть отдельные фотосессии, если фотографии за день бьются по темам.

В итоге путь к файлу может выглядеть примерно так: Моё\Поездки\2018\2018-04-11 Берлин\Французский вокзал\P4110029.ORF

Фотографирую я на два фотоаппарата, обычно по очереди, но изредка беру с собой оба — тогда фотографии с них сваливаю в одну папку. Главное — чтобы время было синхронизировано, иначе потом приходится высчитывать разницу и корректировать дату съёмки.
Для фото с телефона есть отдельная папка на втором уровне, но при необходимости фотография может быть отправлена в тематическую папку.

3) Каталогизация
Поверх файловой системы живёт Лайтрум. Редактирование без изменения оригинала, массовое редактирование, теги, умные коллекции, назначение оценок файлам, экспорт и т.п. При необходимости поработать посерьёзней кнопка «редактировать в фотошопе».
Но, к сожалению, на этом уровне у меня всё не так хорошо, как хотелось бы — ленивый, часто теги забиваю только по минимуму или вообще не забиваю, потому в жизни больше полагаюсь на каталогизацию по папкам.

Храню на обычном двухтерабайтном HDD, а организую так:
Папка "YYYY-MM-DD <место> <пара слов о событии>", если это путешествие, то дата начала и конца.
Внутри лежат просто фотки, если есть равки, то они лежат в отдельной папке RAW, а то, что было обработано и выложено, или отдано, лежит в папке "out".
Оказалось, этого вполне достаточно.

у меня гуглофото с папкой на компе и нас, получаеца что фотки храняца в 3х независимых местах.
— подключается два HDD по USB 2.0 (обещают скоро новую версию с 3.0);
— можно использовать оба для хранения фото и видео или один для бекапа;
— можно включить удаленный доступ или оставить возможность подключения только в локальной сети;
— можно добавить несколько пользователей у каждого будет собственный контент (при желании можно его шарить между пользователями);
— группирует фото и видео по разным параметрам (дата, локация, камера);
— распознает лица на фото;
— есть альбомы и т.п.

Короче говоря, как собственный гугл фото. Клиенты есть для android, ios, windows, macos (если попросить то и для linux соберут).
Фотограф-любитель. Не заморачиваюсь. Все RAWы с XMPшками хранятся в папке «Не обработано» с разбивкой по годам. Ничего не удаляется. Нумерация сквозная, камерная: до 10 000, а потом с 0.
Полуфабрикаты в одноимённой папке с разбивкой по темам: «Семья», «Походы», «Работа» и проч. Внутри тем — разбивка по годам. Там хранятся PSDшки некоторые с номерами RAWов. И, наконец, выход — папка «Обработано» Внутри разбивка по событиям, внутри событий — по годам. Нумерация в формате «ггг-мм-дд чч: мм ####» — удобно переименовывать в ACDSee. Выбираешь формат «дата создания из EXIF + номер ПП».
Всё это хранится на домашнем сервере с 4-х Гб винтом. Периодически копируется на внешний жёсткий. А все jpeg копируются на всё, что есть в доме: телефоны, ноутбуки, планшеты.
Кстати, резервное копирование средствами Винды — достаточно примитивно и удобно. Прямо всю папку «Фото» перетаскиваешь на резервный диск. Винда спрашивает «подтверждаете слияние» — «Да». Сначала копируются все файлы, которых нет на резервном диске. А потом Винда спрашивает «заменить существующие?» — «Нет». Всё. Все новые фотки на резервный диск скопированы. Без всяких скриптов тремя кликами мышки.
Ручное резервное копирование за резервное копирование считать не принято.
Автор, с DigiKam вообще знакомились когда-то?
Я еще давно, с версий 4.0X тесно познакомился с ней и для каталогизации фотографий вообще отличная вещь.
Бесплатно, открыто, кроссплатформенно, Qt.
Храню на двух NAS, которые синхронизируются между собой и с телефоном.
NAS Synology один оригинальный, второй на базе тонкого клиента с подключенным хардом на 4гб.
У synology есть утилита DRIVE, так вот она, как ФБ умеет распознавать лица, остается только присвоить имя сгруппированным фоткам и по крайней мере по лицам найти все фотки не проблема.
А структура хранения, как у многих вложенные папки год-месяц-событие.

зы: раньше еще держал на зашифрованном разделе NASa, который синхронизировался с облаком. Получается вроде фотки и в облаке, а с другой стороны достаточно конфиденциально, в облаке в виде кракозябров видны.

Аналогично стараюсь раскидывать по тематическим папкам, но от «Unsorted» таки не избавился, всё равно продолжают плодиться. Бэкапы делаю на BD.
UFO just landed and posted this here
Я так полагаю, это двухдисковый NAS Synology кишки уж очень знакомые…
Как уже написали, это двухдисковый Synology без крышки =) И судя по количеству упоминаний этого бренда в посте, я не ошибся с выбором =)
Ожидал увидеть холивар DigiKam vs Lightroom vs ACDSee. А тут непойми что. Основная проблема-то это структуризация, категоризация, распознавание лиц и т.п. А диски сейчас не проблема купить пару по 10 ТБ и не заморачиваться.
Постараюсь кратко.

Фотограф из меня на троечку с минусом. Два семинара от Сергея Белых. Фокус, кадрирование, золотое сечение и еще чего-то там. Фотошоп «ниасилил». Слишком сложно (скептическая улыбка). Мой потолок Fast Stone Image Viewer и PhotoBrush.

Формат хранения – множественные папки «ГГГГ-ММ-ДД пробел СОБЫТИЕ». До этого кстати самостоятельно многие доходят что «2009-09-01 Первое сентября» это и функционально по сортировочным признакам и информативно.

Начало хранения первых цифровых фото — 2003 год. С момента покупки Samsung Digimax 301s. С 2010 года Canon 550 плодит кучу RAW.

C января 2016 получил в наследство телефон дочери Huawei 4C. Дочка не смогла выбраться из лап нервного истощения на фоне учебы в мед. Университете и ушла к Создателю не успев отметить свое двадцатилетие. Мне достались ее ноут и планшет. Ни жена ни младшая дочь не смогли ими пользоваться. На всем этом были огромные залежи неструктурированных данных. Телефоном я и сам начал активно пользоваться как фотоаппаратом (у него прекрасная камера). В полный рост замаячила проблема синхронизации каталога DCIM с рабочим компом. Потом позже она тоже решена была удобным для меня способом.

Все фото лежали на отдельном от системы 3,5 WD 1Tb и имелась вторая копия на WD My Passport 1Tb а также копия на рабочий ноутбук. Синхронизация велась с помощью MS Sync Toy. Дубли удалялись через DupKiller. Объем личного архива 800 Гб.

В июне 2016 года произошло одно реперное событие. В здание моего офиса ночью ударила молния. Сгорел БП на «сервере» и от пробоя высокого импульса вылетели оба установленных в машине винта. Системный с линуксом и винт с данными. Архивы системного лежали на разделе винта с данными и наоборот копия офисной шелухи на раздел системника. Других копий не имелось. С помощью запасных винтов (их контроллеров) через 72 часа данные были вынуты и жись пошла своим чередом.

После всей этой невообразимой суеты, я сам чуть не отправился вслед за дочкой. Месяц барражировал по больничкам и врачам, которые убедили меня, что помирать в 39 лет рано. Раз так, надо начинать приводить все в порядок. И появилась неотступная мысль что рано или поздно я потеряю все. Живыми примерами стали моя двоюродная сестра и рабочий ноут. Осенью 16-го в деревне по схеме молния-блок питания-винт у сестры отлетел специально выделенный под фото винт. А чуток попозже посыпался по секторам Samsung ноутбука. И хотя данные я в обоих случаях вытащил, червь тревоги продолжал точить.

Пару месяцев рыл все, что есть доступного для малого офиса или нищей по бюджету некоммерческой организации. На Хабр тоже попадал… читателем.

И узнал я что есть ХОРОШО, и называется это «хорошо» — файловая система ZFS.

Из всех доступных на тот момент вариантов операционок c ZFSом я запал на дистрибутивы FreeNAS и OpenMediaVault.
На двух хостах виртуализации (дорос и до этого с целью отвязаться от конфигурации железа) запустил обе системы в тестовую эксплуатацию. Параллельно на отдельной машине из полудохлых-полуживых винтов создал тестовые же сборки дисков, для реального и живого понимания, что на самом деле будет когда посыпятся новые диски в пулах важных данных. Полуживые винты это те, что имеют сбои в секторах и остаются у меня от щедрых владельцев после замены. На ZFS такие винты ведут себя очень даже презентативно. Пулы данных регулярно рассыпаются и позволяют вживую отработать аварию.

Опыт эксплуатации ZFS ясно убедил меня, что минимальное количество дисков в пуле, которое позволяет мне спать спокойно равно ТРЕМ (для фотографий и личного хлама), и ПЯТЬ для рабочих данных. Данные безо всяких проблем вынимаются при отказе одного диска из трех, или двух из пяти. Сообщения об возникающих проблемах идут по электронной почте и отлично обрабатываются фильтрами по ключевому слову «error«.

Привлекательность ZFS для офиса для меня в том, что она хорошо защищает от дураков и диверсий. Девочка увольняясь, в сердцах удалившая содержимое папок «Секретарь» и «Общая» ничего не знала про ежечасное, ежесуточное, еженедельное и месячное снятие снимка с файловой системы. В отличии от объема этих папок в 100 Гб, объем снимка это лишь разница между предыдущим и текущим состоянием всех файлов. От 100Кб за час до 20Мб за неделю. Но доступны то все предыдущие состояния. И ведь спас дур-р-ру от 272 УК РФ. Доказуха у руководства была вся налицо и желание возбудиться тоже. Только состава преступления не оказалось. Покушение было, а состав не образовался.
По той же самой причине вирусам-шифровальщикам раздолья больше нет.

Для целей домашнего архива была собрана машинка на материнской плате GigaByte с размазанным на ней Целероном, корпусом Thermaltake Core V1 и тремя винтами TOSHIBA P300 1Tb. Операционка FreeNas нормально прижилась на 8Гб оперативки. После инициации файловой системы на трех террабайтниках получилось 1,75 Гб «Живого места». Систему посадил на старый, но живой ноутбучный винт 160Гб. Теперь страх потерять данные отошел в сторону, начались эксперименты.

Доступ к данным был логично организован по родному винде сетевому протоколу. Его нормально поддерживает и куча файловых менеджеров на Андройде. Теперь перестало быть необходимым кидать сделанное смартфоном фото через электронную почту. Просто копирование с телефона и такое же просто открытие этого файла с компа уже стало экономить нервные волокна. Но хотелось большего.

С помощью того же Хабра узнал про «облачные дела». В контейнере фринаса развернул стандартный плагин-контейнер OwnCloud дремучей версии. Там он сделан для полных чайников, но позволяет оценить всю прелесть этой технологии. Понравилось сильно! Логично был опробован и стандартный плагин с NextCloud. Контейнер со свежей версией Некста был собран вручную на более приспособленной для него базе данных Postgress.

Теперь осталось только развернуть сеть VPN с единой для всех устройств IP-адресацией.
Тут пришел на помощь Zerotier. Его прелесть в том, что будучи установленным на все смартфоны и ноутбуки, он однако, не требует выделенного IP адреса для сервера или арбитра этой сети. И при этом все устройства видят друг друга как будто бы они «на одном вайфае».
Теперь на смартфоне стало возможным подключить автозагрузку в облачную папку, и стало неважно теперь, где я – дома, на работе или в машине. Отщелкнутое ли фото, чек ли Сбербанка, файл ли диктофона: все они тут же едут в паку «Автозагрузка». При этом раз в сутки туда же автоматом уходит записная книга. Терять или ломать телефон стало в разы менее обидно.

Поскольку похвалиться «такой мандулой» (это не мат а рабоче-заводской транскрипт с ангицкого – madrel) было и есть перед кем, то стали поступать восхищенные запросы от друзей тире знакомых. Сначала фантазия ограничивала меня только вариантами электроники и корпусов. Например, популярным стал корпус Cooler Master Elite 130 black Mini-ITX. Но все чаще задавался вопрос: нельзя ли отказаться от дополнительного компьютера в доме??? Почему нельзя? Ведь рабочие сервера у меня таскают эти операционки в виртуализации. Всего то, что и надо было – добавить лишние 4Гб оперативки на хозяйский десктоп, да убедиться в номиналах блока питания. На виртуальную жись ушел единажды отлаженный образ OpenMediaVault & ZFS & NextCloud. FreeNas оказался как-то сильно прожорливей и тормознутей. Вот тебе и фря против линуха…
«Один настоящий фотограф» (с) спросил у меня: «как сделать этот твой сетевой диск так, чтоб он как флешка был». Смысл запроса – с сетевого диска не запускались какие-то утилитки под 10-кой (нет разрешения на доступ). Это раз. И второе – специфичная программка база данных фоток со всякими там тегами и комментариями наглухо не работала со смонтированным на любую букву сетевым ресурсом. Поставили ему TGT демон и подключили диск по ISCSI. Вуаля! Чел щаслив! Если по первой проблеме решение есть в настройках самбы, то как решить вторую проблему без ISCSI я не нашел. Ну да Бог с ним, и так все довольно таки ласково получилось.
Ваш комментарий, как мне кажется, можно было бы развернуть в полноценную статью.
Спасибо, камрад! На этот опус я потратил два часа. Однажды ушло два выходных подряд на небольшой фото-гид «Снаряжение патронов для чайников». Слишком много времени. Не могу пока. Или помощь нужна, или не научился еще.
Отсортировал все фото по папкам такой структурой: Год/Месяц/День/год-месяц-день час-минута-секунда.jpeg.
Удобно если знаешь примерную дату сьемки, неудобно что нет категорий. Но т.к. дублирую все фото в Гугл Фото, по категориям можно посмотреть там.
час-минута-секунда ИМХО лишние, от них только рябить будет в глазах. Каждая отдельная сессия получает свою папку, даже если в один и тот же день происходила просто разное описание будет. Отдельно можно добавить уровень разбивки по годам, за несколько лет уже внушительный список получается по дням. А если ещё по месяцам разбивать, уже становится неудобно для навигации. Можно сместить разбивку по годам начиная с марта и заканчивая февралём следующего года, тогда новогодние праздники будут в одной папке.
Лайтрум умеет автоматом в стеки складывать подобные фото, где время съемки очень близкое.
Если не «час-минута-секунда» то надо добавлять соль, ведь в минуту могут быть сделаны множество разных кадров, и нельзя чтобы они перезаписывались. Я предпочел добавлять секунды, чем соль, хотя все равно как говорит товарищ ниже, бывает и такое что случаются коллизии.
Я решил проблему коллизий проще: фотографии именуются по схеме YYYYMMDDNNNN, где NNNN — порядковый номер.
Сортировка происходит по времени съемки (с точностью до секунд), а если секунды совпали — то по цифрам в оригинальном имени файла. Все камеры, что я когда-либо использовал, нумеруют файлы последовательно.
Интересное решение кстати, возьму на вооружение ;)
В имени файла это лишнее. Если каждой сессии соответствует своя папка, тогда внутри папки файлы сортируются по порядковому номеру который последователен для всех камер(если не включена сквозная нумерация, тогда посреди сессии может произойти переход 9999->0000 и порядок файлов порушится). И поэтому, у меня для каждой сессии нумерация файлов начинается с нуля. Конечно, при таком подходе становится сложно составлять альбомы с выборками фото из разных сессий. Но конкретно у меня такой необходимости ещё не было, а если и будет… один раз помучится можно.
А не, вру… один раз была такая необходимость — при отборе фото для печати, когда их надо было скинуть в одну папку для передачи на печать. Но там чудом редко фото совпадали по номерам, и в этом случае дубли при копировании сразу же предлагалось переименовать, а потом всеравно прошелся автонумерацией исключительно для красоты.
У меня тоже софтина переименовывает файлы минута-секунда, но частенько случаются коллизии при серийной съёмке больше одного кадра в секунду — exif хранит дату с точностью до секунды. Софтина дописывает к файлам с коллизиями ещё дополнительный номер кадра.
Статья больше для профи или для любителей, которые почти профи. Я снимаю не так уж много. Но за годы накопилось уже несколько десятков тысяч фото с разных мероприятий. Храню в папках на диске. Систематизация простая. Сначала папки по годам. Внутри каждая папка в названии имеет точную дату и событие, где велась фотосессия. Например, 12.09.2010_Stolpen или 07.05.2009_Paris_др. Мне абсолютно хватает такой информации для поиска нужного фотосета. Жена еще иногда балуется фотошопом. Но не в плане улучшить себя, сколько обработать фото по свету, цвету, контрасту и убрать шумы, когда хочет выложить у себя в соцсети или послать родне. В таком случае в той же папке появляется подпапка «хорошие», где лежат результаты обработки избранной части фоток того же фотосета. Вот и весь секрет)))
Фоткаю исключительно на телефон, фотки улетают в гугл фото. Там делаю альбомы из избранных событий, остальное как гугл отсортирует. Раз в месяц скидываю с телефона фотки на комп, скрипт переименовывает (берет дату из exif, если нет, то из названия файла), сортирует фотки и аккуратно складывает по датам. Вида все получается — /2019/04/09042019-150631.jpg
Чтобы как то выделять события, достаю руками из /04 отдельные файлы, создаю в 2019 отдельно папку с событием. Получается что ключевые события не нужно искать по в каждой папке месяца.
Если приносят флешку, например принесли мне фотки на флешке с фотосессии, натравливаю все тот же скрипт, но чуть измененный. Он все так же переименовывает фотки и складывает в /2019/название_события_которое_я_забил_в_скрипт. Потом уже отдельно загружаю такое событие в гугл фото.
Это наверное далеко не самый лучший вариант хранения фоток, но мне так удобно.
Из минусов которые пока не могу для себя решить — что делать с кучей похожих снимков? По уму надо же сидеть выбирать, что оставить, а что нет, но лень… Второй существенный минус — гугл не дает выбрать скажем 2500 снимков и создать альбом. Приходится выбирать примерно 500-700, создавать альбом, потом так же частями добавлять снимки в альбом. Что за странные ограничения у них там?
Из минусов которые пока не могу для себя решить — что делать с кучей похожих снимков? По уму надо же сидеть выбирать, что оставить, а что нет, но лень

Если «жалко удалять», (а это и мой случай тоже) то гораздо проще усиливать энтропию хранения. Тем паче, что она легко отзывается на линейный прирост емкости. В условно неограниченном объеме свободного дискового пространства я могу себе позволить вложенные папки типа «1200x» «cuted» «watermarked» и наконец «best». Ну а что, пусть себе лежат — есть не просят. Диски для инициации или реплейса тоже лежат, своего часа ждут.
Храню фотографии в каталоге Lightroom. Периодически бекаплю его на внешний винт. Часть фотографий лежит в адобовском облаке. Каталогизация по тегам и каталогам. Плюсы — сохранение исходников, интеграция с телефоном и планшетом. Т.е. с Nikon D800 и D700 я по Wifi или напрямую скидываю фотографии на планшет, Lightroom автоматом синхронизирует их с ноутбуком стоящим дома. Включая весь стек редактирования. По дороге добавляю к ним фотографии сделанные на телефон. Если такое произошло. ;-)

Постоянный каталог на ноутбуке порядка 30-40К фотогафий. Конфигурация — 2x1Tb SSD, 32Gb RAM. +50$ в месяц за полную подписку Adobe.

З.Ы. Фотографией не зарабатываю. Просто хобби.
Google Photo умеет сортировать, но не умеет (не хочет) хранить RAW. Я пользуюсь Photos Amazon: если есть Prime подписка, то они дают безлимитное хранилище для фото, в том числе для RAW, плюс поиск по объектам на фото.
Спасибо, что поделились своим опытом! На мой взгляд это довольно странный опыт )

Тут же куча сисадминов. К личным фоткам вполне подходит формула 3-2-1 — три копии данных, на двух видах носителей, одна копия в другом географическом месте.

Обычно воркфлоу при работе с фотографиями предусматривает следующие стадии:
1. Как можно быстрее скопировать фотографий с флешек на диск компьютера в рабочую папку. Сколько раз флешка ставилась в фотик и форматировалась без копирования фоток на комп )
2. Параллельно с этим копирование на диск 2 (на том же компьютере или в сети). Лайтрум и подобные программы позволяют делать копию прямо при импорте фото с флешек. Несколько раз меня это спасало, когда по ошибке удалял не то или вообще всё. Потом эту рабочую копию Б можно будет безболезненно подчистить.
3. Отбор, сортировка, обработка фото.
4. Выгрузка обработанных фото в постоянное место хранения. Файл фото в любом случае начинается с префикса YYMMDD.
5. Бэкап в облако. У меня настроен на папку выгрузки обработанных фото автоматически. Это же является шансом получить приятные бонусы гугл фото/эппл фото — напоминание о бывших событиях, поиск по изображениям, авто коллажи и видео-слайд-шоу (которые я бы сам никогда не стал бы делать).
6. Бэкап на NAS/ постоянно подключенный USB HDD. Обычно проходит по расписанию вечером раз в день.
7. Архивирование на изредка подключаемый USB HDD. Раз в месяц-два.
8. Совсем изредка отдельные фото распечатываю и кладу в альбом или развешиваю в рамках по квартире.

Структура папок у меня как и у многих выше:
«YYYY» -> «YYMMDD событие»
Делаю так на случай, если лайтрум или кэпчур уан подведут, чтобы у меня прозапас всё же была файловая структура фотопомойки. Каталоги этих программ так же бью по годам, чтобы они излишне не раздувались и не тормозили.
UFO just landed and posted this here
UFO just landed and posted this here
0. Не держу подолгу фото на картах. Если снял что-то интересное, или просто достаточно много — скидываю на комп при первой возможности. В каталог на SSD для обработки (естественно в подкаталоги по дате съемки «MM_DD»).
1. В процессе обработки делю на кучки в Darktable — как по дате, так и по теме. А зачастую еще и по уровню доступа. Т.е. поездка с друзьями на природу может быть разделена на то, что я выложу в паблик; то, что я выложу куда-то с доступом только участникам выезда (или, по согласованию с ними, каким-то еще общим друзьям); и то, что выкладываться в принципе не будет, но в архиве у меня останется.
2. Исходные raw вместе с .xmp, где вся обработка, складываю на архивный винт с именованием «YYYY/MM/YYYY.MM.DD[-DD] Title». Не переименовываю с часами-секундами, поскольку мне это еще ни разу не понадобилось.
И вот туда-то у меня натравлен digiKam с распознаванием лиц, вручную проставленными тегами (я ставлю место и мероприятие обычно) и всем прочим вкусным.
2.1 Туда же складываю TIFF/JPG/всёостальное, что пришлось обрабатывать не только в Darktable. Но этого гораздо меньше.
3. Что касается бэкапа… Я уже убедился, что оптические диски неудобны. Сейчас раздумываю над выбором отдельного NAS (возможно, географически разнесенного) или облачного хранилища. Не решил.
Вопрос бэкапа закрыл программой arqbackup, всем рекомендую.
У меня данные хранятся в двух местах, Google Cloud Coldline и AWS Glacier (осторожно — очень дорого восстанавливать). В среднем получается где-то 1 цент за 1 ГБ. Есть и другие провайдеры. Можно и по SFTP и просто на внешний диск в папку.
arqbackup больно уж вещь в себе.
Про хранение RAW. Дочке на памятник выбираем фото. Лучшие, из тех, что хотелось бы поставить, есть только в JPG. При печати на керамику будет много шума и не больше 15 см в диаметре. На 35-40 см портрет нужен RAW. Такие фото остались только с последнего школьного звонка 2013 и выпускного вечера. И еще с 2014 года есть южные фото, много. Там куча удачных фото. Благодаря RAW есть с чем поработать дизайнеру.
На самом деле, джпег высокого качества не сильно хуже, если речь только о печати идёт.
Рав позволяет больше со светом играть, вытаскивая детали из засветов и теней.
JPEG с установленным 100% качеством ничем не хуже RAW. Единственное чем проигрывает — так это всего 8 бит на цветовой канал. RAW в зависимости от камеры может содержать и 10-16 бит, при необходимости хоть 24бита на цветовой канал. В четкости и артефактах сжатия(а на 100% это сжатие без потерь, фактически, без учета обрезки до 8 бит) никаких отличий не имеет. У меня такой JPEG-файл всего в 2-3 раза легче RAW и в хороших условиях съёмки RAW не даёт особых преимуществ.
А джипег с качеством 85-90-95% не хуже того, который 100%, а места занимает в 3-5 раз меньше.
Там уже артефакты сжатия лезут, на полутонах и градиентах видно. Кроме того разницу между 8 и 14 битами на канал на обычном мониторе не увидеть, они-то в своей массе 8-битные. А вот после обработки можно увидеть.
JPEG с установленным 100% качеством ничем не хуже RAW. Единственное чем проигрывает...
Это совершенно не так. Если Вы посмотрите на гистограмму RAW файла, то там есть области с полезной информацией слева (темные) и справа (светлые), которые после конвертации не попадут в 8битный джипег. Если объяснять на пальцах, то можно представить, что есть полоска с данными длинной 20см (это наш RAW файл). Из этого полоски мы вырезаем средние 10см, выбрасываем в мусорку (это наш JPG). Если потом окажется, что все полезные данные были по какой-то причине в левых 10см полоски, то после обрезания Вы их не сможете вернуть. А если у Вас есть оригинальная 20см полоска, то Вы просто вырезаете 10см не по середине, а в левой части полоски. Также могут быть случаи, когда полезные данные и слева и справа в «обрезаемых областях». Тогда в нашем случае можно сделать нарезку и совместить на итоговых 10см полоски кусочки из левой, центральной и правой части оригинала….

Кроме того если картинка в JPG, то это означает, что к фото уже применен баланс белого. Если в балансе белого ошибка, то любое исправление будет происходить с потерей данных. Утрируя, приведу пример. На матрице получился красный цвет RGB(255,0,0). Фотоаппарат ошибочно применил баланс белого и посчитал, что этот красный соответствует белому и сохранил цвет так RGB (0,0,0). Фотограф на компьютере видит ошибку в цветах JPG-фотографии из-за баланса белого и пытается исправить ее. Тыкает пипеткой в разные области, но из (0,0,0) получить цвет (255,0,0) уже невозможно. RAW-файлы не применяют баланс белого. Они только хранят значения настроек баланса белого, какие нужно будет применить при выводе на экран или конвертации в JPG.

Также при сохранении фото в JPG, кроме баланса белого к изображению применяется цветовой профиль, «кривая», шарпинг, шумодав и др. Кроме того RAW файл хранит данные, полученные непосредственно с матрицы. На матрице количество точек зеленого, красного, синего цветов не совпадает. При сохранении в JPG эти данные с нескольких точек матрицы смешиваются, чтобы получить одну точку изображения. Еще есть нюанс с обрезкой. Если обрезать исходник и сохранить в JPG, то обрезанную часть уже не вернешь. В RAW файлах обрезанная часть всегда сохраняется и в любой момент можно из горизонтального фото сделать вертикальное или квадратное итп.

Большая часть фото, даже у профессиональных фотографов требует какой-то обработки. Это может быть работа с экспозицией, пересветами, исправление баланса белого, корректировка цветов, обрезка, повороты и много другого. С некоторыми фото достаточно подвинуть за 30 секунд пару «ползунков», а с некоторыми приходится работать использовать чуть ли не все доступные инструменты коррекции. Если кто-то скажет, что у него по-умолчанию фото в джипег валяться в идеальном качестве, то возможно он просто предъявляет слишком низкие требования к результату. Часто новичкам кажется, что у них большая часть это шедевры. А по истечении 5-10лет работы с фотографией, выйдя на новые уровни и достигнув определенных результатов, те же самые люди свои новые фото считают далекими от идеала. Снимая фотографии, мы никогда заранее не знаем, на какой из них может быть запечатлён самый интересный, самый важный момент. А те фотографии, про которые мы думаем, что можем переснять завтра или через год, могут оказаться последними, на которых запечатлен какой-то человек… Желаю всем «ярких» кадров и советую использовать при съемке формат RAW.

Часто новичкам кажется, что у них большая часть это шедевры. А по истечении 5-10лет работы с фотографией, выйдя на новые уровни и достигнув определенных результатов, те же самые люди свои новые фото считают далекими от идеала.
Не то слово! Всё порываюсь из старых часть переобработать (из того, что не jpg). Не уверен, правда, что сейчас лучше обработаю, но проблемы вижу :)
Вообще если честно, с хранением фотографий есть некая боль в душЕ.
Если по технической части более-менее всё понятно (хотя и не сделано) — зеркалирование, дублирование, бэкапы, рейды…
По структуре хранения тоже +-. Но, как обычно, дьявол кроется в деталях.

Итак, что на входе: Некий архив фотографий, накопленный на мыльницы, старые телефоны, сканы, видео и т.д и т.п. Всё это дело прекратилось примерно в 2008-2010 году(переходный период), дальше есть фото только на телефон + архив «старые фото со старого телефона».
Фактически всё разложено по папкам Год\даты с описанием для старых фото и год\даты для всякого с экшн-камер, поездок и квадрокоптеров и папка «Camera» с телефона.

На данный момент это всё просто синхронизируется в яндекс-диск.

Проблемы (для меня): дополнительные семейные юзеры не могут лить фотки с телефона в мой яндекс диск. Только в свой. Кстати, на компьютере можно поставить несколько клиентов яндекс-диска? Кажется, нет.
Каждому свой «диск» — неудобно, геморройно. Куда жена бэкапит фотки — пока не знаю, наверное, в гугл драйв.

Хотелось бы общее облаком с настроенными правами там и т.д.

Способ отображения файлов для просмотра самый удобный считаю — а-ля гугл\яндкекс в виде хронологической ленты. Особенно если вести речь в масштабе десятков лет.
Именно этого хотелось бы и от мобильного\десктопного клиента: серверу хранения фоток «скармливаешь» все папки, которые имеются. Для просмотра — просто Лента всех фото, выстроенных в хронологическом порядке. Желательно иметь возможность видеть папку, которая даёт уже базовое понимание о событии. Имея доступ к такой ленте, включающей в себя все фотки, периодически можно было бы к ней обращаться и «чистить» авгиевы конюшни, выкидывая оттуда плохие, смазанные фото и т.д.
Удаление фото в проводнике\клиенте если бы перекидывало фото в специальную корзину (не виндовую) — тоже не помешало бы.
Для этого не помешал бы и анализатор некий + поиск дубликатов и т.д.
Распознавание лиц\контекста тоже очень хорошая фича, не помешало бы.
Мобильный клиент также здорово бы помог.

По поводу бэкапов, наверное было бы интересно: основное файло-хранилище + некое зеркало «один-к-одному». Внешний бэкап в виде шифрованных файлов, но с возможностью быстро их оттуда достать каким-то образом…

По-большому счёту на компьютере достаточно под фото каждому по папке «камера» + каждому по папке «мои фото» (где фото из различных источников) + общая папка типа «семья» (свадьба\семейные события и т.д.).
Но при включении «ленты» было бы хорошо видеть ВСЕ эти фото (согласно правам доступа) в одной ленте. Созданные альбомы (виртуальные папки) также чтобы присутствовали и на десктопе и на мобильных клиентах и т.д…

Другими словами, я бы не отказался от возможностей гугл-фото яндекс диска:
yandex.ru/blog/disk/v-diske-poyavilis-novye-umnye-albomy-i-tematicheskie-fotopodborki
Но только на своём локальном хранилище для всей семьи…

Лайтрум для каталогизации, не?
Протокола для виртуальных «каталогов» еще не придумали? Чтобы мои каталоги\альбомы созданные в acdsee потом мог «увидеть» и понять лайтрум\яндекс диск?..
Чем делать «зеркалом», чем зеркалировать?..
Как и чем делать зашифрованный бэкап?

Sign up to leave a comment.

Articles

Change theme settings