Хранение файлов

>1. файл храниться в файловой системе под кириллическим названием.
Файловые системы уже давно поддерживают юникод, а там хоть в арабском названии — проблем нет.

>2. файл храниться под тем же названием, под которым он был загружен пользователем, но символы не входящие в латинский алфавит транслитерированы.
Зачем?

>3. Хранения в директории количества файлов превышающих возможности файловой системы.
Поменяй файловую систему, xfs, gfs — выбирай какую хочешь.
…
>1. директория не должна тормозить, то есть в одной директории не должно храниться более 1000 файлов или каталогов (число взято с запасом).

Тормоза «директории» отсутсвуют при ее кеширование в память, что делает нормальная реализация ФС и ОС

>2. имена файлов не должны повторяться.
Спасибо, К.О.!

>3. желательно не хранить две копии одного файла.
А вот если сервера разные — то желательно, lustre в помощь

Мораль — если сисадмин криво засетапил сервак изначально, то потом программист вынужден делать анальный велосипед без сидлушки

Это Вы меня спрашиваете зачем? откуда я знаю? открываю сайт который меня наняли переписать и ВИЖУ…
админ это клево конечно… пример из жизни: сайт называть не буду да бы не обвинили в пиаре или контр пиаре))) Переписал сайт выкатил на тестовый хостинг, тестируем, устраняем мелкие баги… тут звонок от заказчика диалог примерно следующий:
— будте добры потеряйте нагрузку на базу которую ваш сайт создает!
— извините я не могу у меня нет доступа попросите своего администратора
— Наш администратор говорит, что он это сделать не может…
А Вы говорите кривые руки администратора…

Извините, но ни о чем. Долго разливались о проблемах и неправильных (точнее откровенно глупых) приемах хранения файлов, а потом предложили то, что и так используется во всех более менее серьезных проектах: хранение инфы о файле в бд с изменением имени файла на уникальный ключ.

Вот вы бы лучше провели более глубокие тесты на производительность директорий в зависимости от иерархии, уровня вложенности и количества файлов в них. На разных фс и с разными кешерами. Было бы и то полезнее, хотя думаю такие тесты тоже проводились кем то уже не раз

Относительно к

Если мне говорят, про возможность возникновения коллизий, я прошу человека привести пример двух строк или двух файлов, md5 хеш, которых одинаков… пока еще мне не было приведено такой пары так, что возможность является чисто теоретической.

Насчет вероятных коллизий википедия говорит:

В 2005 году Ван Сяоюнь и Юй Хунбо из университета Шаньдун в Китае опубликовали алгоритм, который может найти две различные последовательности в 128 байт, которые дают одинаковый MD5-хеш. Одна из таких пар (отличающиеся разряды выделены):

d131dd02c5e6eec4693d9a0698aff95c
2fcab58712467eab4004583eb8fb7f89
55ad340609f4b30283e488832571415a
085125e8f7cdc99fd91dbdf280373c5b
d8823e3156348f5bae6dacd436c919c6
dd53e2b487da03fd02396306d248cda0
e99f33420f577ee8ce54b67080a80d1e
c69821bcb6a8839396f9652b6ff72a70

и

d131dd02c5e6eec4693d9a0698aff95c
2fcab5O712467eab4004583eb8fb7f89
55ad340609f4b30283e4888325f1415a
085125e8f7cdc99fd91dbd7280373c5b
d8823e3156348f5bae6dacd436c919c6
dd53e23487da03fd02396306d248cda0
e99f33420f577ee8ce54b67080280d1e
c69821bcb6a8839396f965ab6ff72a70

Каждый из этих блоков даёт MD5-хеш, равный 79054025255fb1a26e4bc422aef54eb4.

Вероятность коллизии, конечно возрастает с ростом размера файла, но все-равно очень мала.

Я когда-то тоже сделал файлохранлище. И вот что у меня есть сказать по этому поводу:
1. Имена файлов.
Можно хранить файл под именем, равным его идентификатору в базе, а браузеру выдавать имя файла из базы. Тогда и коллизий не будет, и проблем с русскоязычными названиями.
Единственный довольно большой минус — приходится отдавать файл скриптом.
2. Если пользователь загружает файл, хеш которого уже есть в базе (т.е. по сути дубликат), можно не хранить его, а сделать жёсткую ссылку на файл с таким же хешем. Тогда фактически будут храниться два файла, занимающих место одного.

А вот проблема, с которой я не справился (забил на тот момент) — в разделе кончились ноды. Пересоздавать раздел с другими настройками не было возможности, т.к. некуда было забекапить столько данных. ФС UFS.

использую совершенно лишенную смысла микрооптимизацию для экономии 7 байт трафика при запросе браузера и 7 байт в базе:
$hash = base_convert($md5, 16, 36);

Учите русский язык, потом уже занимайтесь другими языками (php):
> файл храниться
сиди и гадай пропущено тут «должен» или человек не знает банальных правил

Бывают еще любители фаилы в базу писать. Сам пока не встречал случая где это было действительно необходимо.

Мне другое интересно. ВК и фб используют хранения в одном большом файле и потом в памяти сдвигают. Как такое сделать и как разносить тогда файлы по серверам? А вообще по названию я делаю так: md5($file_name.uniqid()); и потом храню путь в бд.