Комментарии 55
Офигеть… это круто)
На грамотную работу всегда посмотреть приятно.
И сколько же, интересно, рендерился в итоге 1 кадр фильма?
Это же очень сильно зависит от, например, детализации этого кадра. Одно дело — кадр с большим количеством разнообразных деталей, разными текстурами, множеством 3D-моделей в кадре, и т.п., другое — где этих деталей немного. Дмаю, что разница в порядки, поэтому и сказать сложно. Какие-то цифры приводились в сосланной в первом абзаце статье про ферму HP.
Выдержка:
«Когда актер поднимает руку, чтобы почесаться, его двойник с кожей лазурного цвета – аватар его аватара, если угодно – в точности копирует это действие. Совершенство требует жертв: на обработку каждого кадра в цифровых сценах фильма уходит более 100 часов. Все это происходит в недрах студии Weta – пятом по мощности компьютере на планете с 30 000 процессоров, расположенном в комнате, которая по размерам превосходит The Volume. «Да, это мой собственный Скайнет, – смеется Кэмерон. – Правда, он не мой, а Питера Джексона. Но это удивительная машина...»
«Когда актер поднимает руку, чтобы почесаться, его двойник с кожей лазурного цвета – аватар его аватара, если угодно – в точности копирует это действие. Совершенство требует жертв: на обработку каждого кадра в цифровых сценах фильма уходит более 100 часов. Все это происходит в недрах студии Weta – пятом по мощности компьютере на планете с 30 000 процессоров, расположенном в комнате, которая по размерам превосходит The Volume. «Да, это мой собственный Скайнет, – смеется Кэмерон. – Правда, он не мой, а Питера Джексона. Но это удивительная машина...»
Я не очень понимаю: 100 часов на кадр — это более четырех суток на кадр, соответственно, 30 кадров будут рендериться 4 месяца. Даже если «цифровые сцены» рендерили три года, то всего должно было получиться 270 кадров — это секунд 10-15 видео. В чем ошибка?
Все кадры разные. Какие-то очень сложные, какие-то проще. В каких-то только вставляли персонажей в «живой» кадр, или, наоборот, рисовали «цифровой задник» живым актерам.
Учитывая, что где-то в комментариях написали, что сам рендер длился около года — у них было время только на 5 секунд таких кадров (для фильма в 166 минут, т.е. в 9960 секунд — это категорически мало). В таком случае странно было заявлять, что «на обработку каждого кадра в цифровых сценах фильма уходит более 100 часов», скорее «на обработку в цифровых сценах фильма уходило ДО 100 часов на кадр», хотя на деле 99.9% кадров рендерились вряд ли более часа.
Да, насколько я знаю, обычно оперируют так называемыми сценами (англ. «shot»), это такой специфический киношный термин, означающий некую цельную сцену в рамках «кинопродакшна», грубо говоря то, что находится между хлопком хлопушки ассистента и криком «стоп, снято». Это может быть и довольно продолжительный фрагмент, и совсем короткий.
К сожалению, часто «shot» переводят как «кадр» (впрочем, насколько я знаю, в российском кинопроизводстве тоже так говорят), и возникает неправильное понимание.
То есть, на деле, когда говорят shot, или «кадр», то это часто не тот кадр, которых 24 в секунду, а вот эта вот «сцена».
К сожалению, часто «shot» переводят как «кадр» (впрочем, насколько я знаю, в российском кинопроизводстве тоже так говорят), и возникает неправильное понимание.
То есть, на деле, когда говорят shot, или «кадр», то это часто не тот кадр, которых 24 в секунду, а вот эта вот «сцена».
К тому же кадр рендерит не вся ферма, а какой-то ее кусок, например 1000 процесоров (это упоминается в тексте), то есть, если допустить грубо, что в среднем кадый кадр рендерит 1000 процессоров, то 35000 ядер может одновременно параллельно строить 35 кадров.
Интересно таки сколько времени уходит на рендер одной сцены… Судя по размаху инфраструктуры скорости просто безумные, но все таки цифру хотелось бы знать.
Скорости-то безумные, но их все равно недостаточно, как я понимаю. Были-бы деньги и место — поставили б еще и еще.
Скорости не поспевают за потребностями — они ведь не HD рендерили, а как минимум 4к, а то и 8к для IMAX (хотя странно, что в нете нет точной инфы сколько именно), для последующей печати на пленку, так что даже на таких мощьностях на каждый кадр времени уходило прилично
интересно, в квейк поиграть можно на такой системе? :) и сколько фпс бы дало бы? :)
А ведь за время работ (4 года) система успевает существенно устареть. То есть она одноразовая. Подумать только, одноразовый суперкомпьютер для одного фильма.
Как мы видим, оно вполне окупается, тем более что систему можно и дальше использовать, каждый раз наращивая более свежим и мощным оборудованием
Ну нет, почему, она же постоянно развивается, расширяется, к тому же обычно в работе параллельно идут несколько фильмов. Устаревшие компоненты системы передвигаются на менее ответственные участки, там же много задач, даже в рамках одного фильма, параллельно идет.
Рендер хорош в данном случае тем, что хорошо параллелится. Нужно быстрее — больше ресурсов выделяем, «все для фронта, все для победы». Можно помедленнее (например сценаристы или моделлеры не поспевают) — запустили еще каких-нибудь халтурок рендерить, типа рекламы, параллельно основной задаче.
Так что наоборот, это вполне эволюционирующая система.
Рендер хорош в данном случае тем, что хорошо параллелится. Нужно быстрее — больше ресурсов выделяем, «все для фронта, все для победы». Можно помедленнее (например сценаристы или моделлеры не поспевают) — запустили еще каких-нибудь халтурок рендерить, типа рекламы, параллельно основной задаче.
Так что наоборот, это вполне эволюционирующая система.
Всё ещё не теряем надежды кроме рекламных статей об одном только NetApp увидеть и сравнительные обзоры.
Вы лучше сразу говорите «против кого дружим?» ;)
Знаю я все эти просьбы сравнений, если в сравнении победит не ваш любимый вендор — оно будет считаться «рекламной статьей», это безнадежно.
Это, так сказать, «моменто уно».
«Моменто дуо». Я тут нашел автора, он в Таиланде ошивается, относительно поблизости от меня, может через пару недель доеду до него, пива попьем. ;)
Он рассказывал вот какую историю. Где-то в 2006-м году, до того, как купили FAS6080, о которых речь в статье, они покупали BlueArc Titan 2000.
«Мы, говорит, и сейчас их используем кое-где у нас в проектах, и, в общем, довольны. Но проблема вот в чем. Да, они шустрые, да, они несколько превосходят NetApp по IOP/$, хотя разрыв постепенно сокращается, но поддержка их в нашем регионе — это один парень, да и тот сидит в Сиднее. Это нас не устраивает.»
«Я всем вендорам говорю сразу: мы — киношная компания. Мы все ломаем. Так получается. Наши решения, задачи и условия — уникальны, других таких нет. Так вот сразу вопрос: мы все сломали, ничего не работает, как быстро вы сможете все восстановить? И NetApp по скорости реакции и по компетентности поддержки нас очень радует».
Вот я и спрашиваю, как вот такие вещи учесть, в каком сравнении?
Неважно насколько быстра ваша система хранения, если в данный момент она не работает.
Знаю я все эти просьбы сравнений, если в сравнении победит не ваш любимый вендор — оно будет считаться «рекламной статьей», это безнадежно.
Это, так сказать, «моменто уно».
«Моменто дуо». Я тут нашел автора, он в Таиланде ошивается, относительно поблизости от меня, может через пару недель доеду до него, пива попьем. ;)
Он рассказывал вот какую историю. Где-то в 2006-м году, до того, как купили FAS6080, о которых речь в статье, они покупали BlueArc Titan 2000.
«Мы, говорит, и сейчас их используем кое-где у нас в проектах, и, в общем, довольны. Но проблема вот в чем. Да, они шустрые, да, они несколько превосходят NetApp по IOP/$, хотя разрыв постепенно сокращается, но поддержка их в нашем регионе — это один парень, да и тот сидит в Сиднее. Это нас не устраивает.»
«Я всем вендорам говорю сразу: мы — киношная компания. Мы все ломаем. Так получается. Наши решения, задачи и условия — уникальны, других таких нет. Так вот сразу вопрос: мы все сломали, ничего не работает, как быстро вы сможете все восстановить? И NetApp по скорости реакции и по компетентности поддержки нас очень радует».
Вот я и спрашиваю, как вот такие вещи учесть, в каком сравнении?
Неважно насколько быстра ваша система хранения, если в данный момент она не работает.
Отличная статья и славная история.
Крайне позитивен факт того, что в Новой Зеландии поддержка NetApp «на высоте»: душевна, доступна и действительно помогает.
А что касается поддержки в Москве? Кто пользуется устройствами здесь? Есть ли скасесс сториз компаний в Московском регионе? Или, усложняя задачу, в Кирове, Норильске, Туле, Сочи?
Крайне позитивен факт того, что в Новой Зеландии поддержка NetApp «на высоте»: душевна, доступна и действительно помогает.
А что касается поддержки в Москве? Кто пользуется устройствами здесь? Есть ли скасесс сториз компаний в Московском регионе? Или, усложняя задачу, в Кирове, Норильске, Туле, Сочи?
Чорт! «Скасесс» следует читать как «саксесс»! Чорт. Чорт.
Есть, конечно, NetApp в России продается с 2002-2003 года, сперва в российские представительства иностранных компаний, а потом уже и в «чисто российские», причем с каждым годом все больше, на днях вот в Казахстане офис официально открыли.
С «саксесс сторями» сложность в том, что российские компании, даже клиенты NetApp, не заинтересованы особенно публиковать свои истории (ну вы знаете как, зачем лишний раз привлекать внимание к дорогостоящей покупке, возникнет внимание у тех, чье внимание привлекать не хочется), а маркетинговое подразделение NetApp традиционно не имеет достаточных бюджетов, чтобы «заинтересовывать» клиентов свои истории публиковать.
Поэтому с «известными именами» клиентов в России и проблема. Они есть, но, увы, «официальных», опубликованных историй немного.
С «саксесс сторями» сложность в том, что российские компании, даже клиенты NetApp, не заинтересованы особенно публиковать свои истории (ну вы знаете как, зачем лишний раз привлекать внимание к дорогостоящей покупке, возникнет внимание у тех, чье внимание привлекать не хочется), а маркетинговое подразделение NetApp традиционно не имеет достаточных бюджетов, чтобы «заинтересовывать» клиентов свои истории публиковать.
Поэтому с «известными именами» клиентов в России и проблема. Они есть, но, увы, «официальных», опубликованных историй немного.
> Знаю я все эти просьбы сравнений, если в сравнении победит не ваш любимый вендор — оно будет считаться «рекламной статьей», это безнадежно.
> Это, так сказать, «моменто уно».
Ещё раз — определите критерии, предложите оценить их сообществу. Естественно, так же нужно будет определить задачу и круг применения, ведь от этого зависит список критериев и методы оценки.
> Он рассказывал вот какую историю.
Вот, пример одного из критерив. В частности для меня этот критерий крайне важный и я очень высоко цену наличие поддержки высокого уровня.
> Вот я и спрашиваю, как вот такие вещи учесть, в каком сравнении?
Предложите свой список, спросите у сообщества.
> Это, так сказать, «моменто уно».
Ещё раз — определите критерии, предложите оценить их сообществу. Естественно, так же нужно будет определить задачу и круг применения, ведь от этого зависит список критериев и методы оценки.
> Он рассказывал вот какую историю.
Вот, пример одного из критерив. В частности для меня этот критерий крайне важный и я очень высоко цену наличие поддержки высокого уровня.
> Вот я и спрашиваю, как вот такие вещи учесть, в каком сравнении?
Предложите свой список, спросите у сообщества.
И, да, «моменто трес»:
Сравнение требует наличие специалиста одинаково компетентных во всех сравниваемых системах. А универсальные специалисты в отрасли не выживают. Нельзя быть равно компетентным во всех областях.
Поэтому неизбежно (и неумышленно, зачастую) сравнение будет в пользу того, специалист какой компании, в данном случае, более компетентен. Обычно это специалист «своей» марки.
Поэтому я давно с большой долей иронии отношусь ко всем этим «тестированиям» и «сравнениям».
Это вон процессоры, или там жесткие диски, или mp3-плееры на ихбете можно сравнивать…
Сравнение требует наличие специалиста одинаково компетентных во всех сравниваемых системах. А универсальные специалисты в отрасли не выживают. Нельзя быть равно компетентным во всех областях.
Поэтому неизбежно (и неумышленно, зачастую) сравнение будет в пользу того, специалист какой компании, в данном случае, более компетентен. Обычно это специалист «своей» марки.
Поэтому я давно с большой долей иронии отношусь ко всем этим «тестированиям» и «сравнениям».
Это вон процессоры, или там жесткие диски, или mp3-плееры на ихбете можно сравнивать…
И да.
Согласен, что «сравнительные тесты» высокотехнологичных устройств — дело довольно сомнительное. Трудно найти параметры, которые бы объективно оценивали систему, да еще и были интересны читателям. Да и трудно это и дорого…
Вот если бы о возможностях рассказали… Лекбез такой. Что, мол, вот NetApp стоимостьюю, скажем, 20000 бакинских, может сделать так: <сдесь ловкое перечисление возможностей> (конкуренты начинают плакать). А потом бы дописали бы, что добавив еще 1000$ можно было бы сделать так и эдак <здесь все конкуренты начинают рыдать от зависти>!
А-то мне тут рассказывали об уникальных возможностях «снэпшотирования» в средствах хранения NetApp. Правда сопровождая рассказ постоянными ссылками на невероятную сложность настройки. «Странно, — думаю. — В „моем“ EMC, купленном лет 5 назад, снэпшоты с клонами уже были. И настроить это было совсем не сложно. Ну пришлось почитать документацию, понятно. Но.»
В общем, не впечатлило!
Согласен, что «сравнительные тесты» высокотехнологичных устройств — дело довольно сомнительное. Трудно найти параметры, которые бы объективно оценивали систему, да еще и были интересны читателям. Да и трудно это и дорого…
Вот если бы о возможностях рассказали… Лекбез такой. Что, мол, вот NetApp стоимостьюю, скажем, 20000 бакинских, может сделать так: <сдесь ловкое перечисление возможностей> (конкуренты начинают плакать). А потом бы дописали бы, что добавив еще 1000$ можно было бы сделать так и эдак <здесь все конкуренты начинают рыдать от зависти>!
А-то мне тут рассказывали об уникальных возможностях «снэпшотирования» в средствах хранения NetApp. Правда сопровождая рассказ постоянными ссылками на невероятную сложность настройки. «Странно, — думаю. — В „моем“ EMC, купленном лет 5 назад, снэпшоты с клонами уже были. И настроить это было совсем не сложно. Ну пришлось почитать документацию, понятно. Но.»
В общем, не впечатлило!
Дойдем, конечно, и до этого.
Правда вопрос, насколько такие узкоспециальные темы будут интересны на Хабре, оновная аудитория тут все же довольно далека от темы систем хранения «enterprise class», будет ли «спрос», будет ли понятно?
По NeApp «узкоспециально» коллега вот уже три года пишет в standalone-блоге blog.aboutnetapp.ru/
Полистайте, может найдете для себя полезное и интересное.
Что касается снэпшотов и клонов у EMC и NetApp — так они разные, причем существенно. «Одинаковое одинаковому рознь!» (с)
Но это, конечно, отдельная тема, не для комментов к этой статье.
Правда вопрос, насколько такие узкоспециальные темы будут интересны на Хабре, оновная аудитория тут все же довольно далека от темы систем хранения «enterprise class», будет ли «спрос», будет ли понятно?
По NeApp «узкоспециально» коллега вот уже три года пишет в standalone-блоге blog.aboutnetapp.ru/
Полистайте, может найдете для себя полезное и интересное.
Что касается снэпшотов и клонов у EMC и NetApp — так они разные, причем существенно. «Одинаковое одинаковому рознь!» (с)
Но это, конечно, отдельная тема, не для комментов к этой статье.
Можно делать сравнение немного хитрее, то есть реально описывать системы от нескольких или пары производителей, но и при этом не писать, что лучше, а что хуже. Выводы будет делать сам читатель.
Порой очень хочется узнать в чем разница между железками разных вендоров. А на сайте каждый пишет, что они лидеры всего и всея.
Порой очень хочется узнать в чем разница между железками разных вендоров. А на сайте каждый пишет, что они лидеры всего и всея.
> Сравнение требует наличие специалиста одинаково компетентных во всех сравниваемых системах.
Потенциальный новый покупатель не будет компетентен, перед ним будет только документация, саппорт и стоящая перед ним задача.
Конечно, совет «забыть» о хитростях, применяемых при конфигурации какого-либо устройства, понимаю, звучал бы глупо, но может попробовать подобрать человека, в достаточной степени компетентного для проведения тестирования, но не слишком глубоко знакомого с особенностями настройки?
Потенциальный новый покупатель не будет компетентен, перед ним будет только документация, саппорт и стоящая перед ним задача.
Конечно, совет «забыть» о хитростях, применяемых при конфигурации какого-либо устройства, понимаю, звучал бы глупо, но может попробовать подобрать человека, в достаточной степени компетентного для проведения тестирования, но не слишком глубоко знакомого с особенностями настройки?
и все это хранилось в DAM «Gaia» — www.microsoft.com/microsoftservices/en/us/article_Microsoft_Role_In_Avatar.aspx
суммарно петабайт данных и 40,000 процессоров под DAM
суммарно петабайт данных и 40,000 процессоров под DAM
Интересно, а на GPU не было пока попыток переложить киношный рендеринг? Там же терафлопы раз в 10 дешевле получаются. Хотя, конечно, софт сложнее писать и гибкость совсем не та.
Сомнительно. Мы это уже обсуждали в теме про ферму блейдов HP.
В этом деле главное — чтобы оно работало. Это производство, причем довольно жесткое по условиям. Лучше, если оно будет пусть и медленне, но зато стабильно работает. При наличии денег докупить еще 10 тысяч процессорных ядер в систему, как видите, не такая проблема. А с этими GPU что делать, куда их толкать? Как отлаживать, случись чего? Кто виноват будет, если все встанет?
Все эти штуки с GPU пока все больше эксперименты.Когда-нибудь — возможно, но сейчас думаю, что никто с этим возиться ради призрачного ускорения и вполне реальной нестабильности никто не будет.
ЗЫ. Посчитайте для примера плотность упаковки ядер в HP BL на стойку и достижимые ими мипсы и те же для GPU, при этом не забудьте, что «процессор» это еще не все, его надо:
1. обеспечивать данными,
2. оттаскивать данные
3. охлаждать
4. обслуживать и заменять в случае выхода из строя.
Получится ли у вас мипсов на кубометр больше?
В этом деле главное — чтобы оно работало. Это производство, причем довольно жесткое по условиям. Лучше, если оно будет пусть и медленне, но зато стабильно работает. При наличии денег докупить еще 10 тысяч процессорных ядер в систему, как видите, не такая проблема. А с этими GPU что делать, куда их толкать? Как отлаживать, случись чего? Кто виноват будет, если все встанет?
Все эти штуки с GPU пока все больше эксперименты.Когда-нибудь — возможно, но сейчас думаю, что никто с этим возиться ради призрачного ускорения и вполне реальной нестабильности никто не будет.
ЗЫ. Посчитайте для примера плотность упаковки ядер в HP BL на стойку и достижимые ими мипсы и те же для GPU, при этом не забудьте, что «процессор» это еще не все, его надо:
1. обеспечивать данными,
2. оттаскивать данные
3. охлаждать
4. обслуживать и заменять в случае выхода из строя.
Получится ли у вас мипсов на кубометр больше?
Ну, на точность не претендую, конечно, но:
— «enabling 2Teraflops of double precision performance in a 1U of space» (http://www.nvidia.com/object/product-tesla-S2050-us.html)
— там, как я понял, по 2 процессора на ноду, по две ноды на 1U, по 10GFlops каждый (http://www.top500.org/system/details/10042, h20195.www2.hp.com/V2/GetPDF.aspx/4AA1-6160ENW.pdf). Получается 40GFlops на 1U.
Т.е. GPU по FLOPs-ам в 100 раз выгоднее. В реале, конечно, будет меньше, но даже если будет разница не на два порядка, а на один, имхо оно того стоит.
Понятно что не весь рендеринг на них переписывать. Но можно же какие-то простые, но ресурсоемкие операции выделить и считать на GPU.
У меня вон брат по науке считает на GPU. Один комп, набитый топовыми видюхами, обставляет небольшой кластер на xeon-ах больше, чем на порядок.
— «enabling 2Teraflops of double precision performance in a 1U of space» (http://www.nvidia.com/object/product-tesla-S2050-us.html)
— там, как я понял, по 2 процессора на ноду, по две ноды на 1U, по 10GFlops каждый (http://www.top500.org/system/details/10042, h20195.www2.hp.com/V2/GetPDF.aspx/4AA1-6160ENW.pdf). Получается 40GFlops на 1U.
Т.е. GPU по FLOPs-ам в 100 раз выгоднее. В реале, конечно, будет меньше, но даже если будет разница не на два порядка, а на один, имхо оно того стоит.
Понятно что не весь рендеринг на них переписывать. Но можно же какие-то простые, но ресурсоемкие операции выделить и считать на GPU.
У меня вон брат по науке считает на GPU. Один комп, набитый топовыми видюхами, обставляет небольшой кластер на xeon-ах больше, чем на порядок.
На такой системе известное видео от Pantural отрендерилось бы вмиг :)
Наутро, после того, как мы ночью установили и запустили FlexCache, «старший пастух» пришел к нам с отчетом, что все задания выполнены.
Выходит, что до этого ядра простаивали.
Выходит, что до этого ядра простаивали.
Перевод «hack» как «сломать» — позорище переводчику.
Пост — прям «кино как мы делали кино». Спасибо автору и переводчику!
А можно как-то вычислить скорость рендеринга 1 кадра (или плана?) на некоем сферическом стандартном компьютере в вакууме? или на сервере определенной модели?
Например, 150 000 лет… или что-то в этом роде? Потому что 100 часов — это даже для 5го по мощьности мирового вычислительного центра — как-то не мало ;)
А можно как-то вычислить скорость рендеринга 1 кадра (или плана?) на некоем сферическом стандартном компьютере в вакууме? или на сервере определенной модели?
Например, 150 000 лет… или что-то в этом роде? Потому что 100 часов — это даже для 5го по мощьности мирового вычислительного центра — как-то не мало ;)
Я бы попросил уточнить, что подразумевается под кадром-сценой-планом в Аватаре. Все предлагают считать от 30 кадров в секунду, но в Аватаре же ТРИДЭ! 3д!.. Это значит, что вместо одного кадра в один момент времени показывается сразу два. 1 на левый глаз и 1 на правый. Стало быть считаем 60 кадров в секунду. Это верно?
Особо понравилось, что проблем не произошло из-за сплоченной работы командой.
А 10 000 + 10 000 + 5 000 ядер — впечатляет!
А 10 000 + 10 000 + 5 000 ядер — впечатляет!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Вдыхая жизнь в Avatar