Comments 175
У меня вопрос: эффективнее была бы система, построенная на решениях от nvidia с их cuda?
0
возможно, если бы появилась пораньше :-)
-3
врядли все их задачи на gpu можно перенести
+1
На что еще можно перенести рендеринг, как не на gpu.
+27
на гпу хорошо считать очень много простых задач, шейдеры например, а очень много сложных, скажем, какой-нибудь рей-трейсинг лучше на чем-нибудь помощнее :)
+5
насколько я знаю, рэй-трэйсинг мало эффективен. Так что блэйд сервера пошустрее вполне могут быть.
0
Рэйтрейсинг позволяет делать самую качественную картинку, не прибегая к полигонам и прочей фигне. Картинка получится такой, какой бы её увидел человек, т.к. просчитываются именно отражения лучей.
Быстрей всего было бы на много-много параллельных HD 5970, но собрать и ЗАРГУЗИТЬ такусю систему — очень тяжело, а вот использовать в этом плане отточенные и привычные технологии, которые еще не подводили, и с которыми известно, как нужно работать — было самым разумным решением.
Быстрей всего было бы на много-много параллельных HD 5970, но собрать и ЗАРГУЗИТЬ такусю систему — очень тяжело, а вот использовать в этом плане отточенные и привычные технологии, которые еще не подводили, и с которыми известно, как нужно работать — было самым разумным решением.
+8
UFO just landed and posted this here
Ну да, суть в том, что мы получаем картинку не излученного, а 100% отраженного (преломленного, и чего только не сделанного) света в соответствии с заданными параметрами материалов. Почти как в природе ;)
0
а может просто классические фильмы надо смотреть, где люди снимаются??? и мультики — те которые анимационные, от слова анимация…
-6
А может все же ну их нафиг? Нельзя же вечность смотреть «прибытие поезда...» ( goo.gl/WiVt ) — надоедает и не прет уже :)
+5
> Рэйтрейсинг позволяет делать самую качественную картинку
Неправда, radiosity даёт более качественную картинку.
«Большинство визуализированых моделей, включая трассировку лучей, принимают упрощенную пространственную модель, высоко оптимизированную для света, который входит в наш 'глаз', чтобы прорисовать изображение. Можно добавить к модели отражение и тени, для достижения более реалистичного результата. Однако, отсутствует важная деталь! Когда поверхность имеет легкий рефлексивный компонент, это не только видно в нашем изображении, это также отсвечивает свет на поверхностях вокруг него. И наоборот. Фактически, свет расходится вокруг и сталкивается с окружающей средой, пока вся его энергия не будет поглощена.»
Неправда, radiosity даёт более качественную картинку.
«Большинство визуализированых моделей, включая трассировку лучей, принимают упрощенную пространственную модель, высоко оптимизированную для света, который входит в наш 'глаз', чтобы прорисовать изображение. Можно добавить к модели отражение и тени, для достижения более реалистичного результата. Однако, отсутствует важная деталь! Когда поверхность имеет легкий рефлексивный компонент, это не только видно в нашем изображении, это также отсвечивает свет на поверхностях вокруг него. И наоборот. Фактически, свет расходится вокруг и сталкивается с окружающей средой, пока вся его энергия не будет поглощена.»
0
Я думаю, имелось ввиду «насколько я знаю, рэй-трэйсинг мало эффективен на gpu», так что минусовать — это лишнее.
0
www.youtube.com/watch?v=N0fKn81nhx8 Рейтрейсинг очень плохо идет на видеокартах, да.
vimeo.com/3334413 это на 4850
vimeo.com/2239168 на ней же.
vimeo.com/3334413 это на 4850
vimeo.com/2239168 на ней же.
0
Raytracing плохо ложиться на GPU, к сожалению.
Все что есть — маркетинг.
Все что есть — маркетинг.
+1
см. коммент выше. ( habrahabr.ru/company/hp/blog/80581/#comment_2385997 )
0
Повторюсь, я это называю «Маркетинг».
На GPU выполняется не все, а лишь часть расчетов.
Ускорение в 25-100 раз — 100% маркетинг, по сравнению с качественным CPU кодом отрыв не может превышать 5-10х в сравнении с 4-х ядерниками с векторными инструкциями (при том, что и цена и энергопотребление растет существенно).
На GPU выполняется не все, а лишь часть расчетов.
Ускорение в 25-100 раз — 100% маркетинг, по сравнению с качественным CPU кодом отрыв не может превышать 5-10х в сравнении с 4-х ядерниками с векторными инструкциями (при том, что и цена и энергопотребление растет существенно).
0
NVIDIA Tesla как-бы не совсем обычный GPU — специально спроектирован для работать с большими массивами данных (что было очень важно для Аватаровских объемов) и флоат-поинт вычислений. Да и Jacopo Pantaleoni не такой уж заурядный архитектор рейтрейсеров, чтобы свой опыт за красивыми маркетинговыми лозунгами прятать. Хотя, соглашусь, что несколько «маркетинговых» процентов добавили тоже.
0
Нет. Задача рендеринга немного другая. И ситауция, когда сдача сцены через час, а программа говорит рендеринга отчего-то говорит что internal error: 345678. Stack fault в этом случае совершенно неприемлима.
Пока решения на CUDA это эксперименты, не готовые в продакшн. А тут — продакшн.
Пока решения на CUDA это эксперименты, не готовые в продакшн. А тут — продакшн.
+7
это детский сад
0
Или на массивах их Playstation :-)
0
кстате да, Cell думаю с этим бы юыстрее справился, но не тот Cell который в PS, а тот который в IBMовских мегакластерах
0
На самом деле мифическая проихводительность Сell'а — несколько преувеличена, т.к. грамотно загрузить их очень тяжело, да и написать программу с таким распараллеливанием — тоже задача не из легких.
Как думаете, почему на пк и х-бокс 360 игры выходят чуть быстрее (верей их делать намного проще), чем на сони?
Как думаете, почему на пк и х-бокс 360 игры выходят чуть быстрее (верей их делать намного проще), чем на сони?
0
технически из-за движка. под х-бокс написано много больше игровых движков и MS постарались, чтобы порты делать было не так уж и просто (пример CryEngine). Однако ребятки из SquareEnix создали движек которые позволяет создавать нормальные платформонезависемые игры с графиков приблеженной к CG сценам.
Да и вообще какая это игра вышла на сони позже чем на хбокс? они или выходят в один день или совсем не выходят, ну и если разработчик упертый японец (или студия получила нефиговый откат) — выходит только на PS3.
И да: #2 www.top500.org/system/10377
Да и вообще какая это игра вышла на сони позже чем на хбокс? они или выходят в один день или совсем не выходят, ну и если разработчик упертый японец (или студия получила нефиговый откат) — выходит только на PS3.
И да: #2 www.top500.org/system/10377
-1
Проблемса в том, что они используют Pixar RenderMan, он не использует гпу, насколько я знаю, микрополигональный рендерер который рейтрейс не очень хорошо обрабатывает, в отличии от entalRay. Но в силу того что уже отлаженный пайплайн, в таких конторах сложно переходить на другой софт.
В своё время был конфликт во время создания похожего рендерера как у Пиксар, их бывшим сотрудником и он позже ушел в Нвидиа. Теперь у Nvidia есть Gelato, клон Рендермена. Потому вряд ли. У большинства контор рендерят на HP, раньше на базе AMD процессоров, сейчас не знаю.
В своё время был конфликт во время создания похожего рендерера как у Пиксар, их бывшим сотрудником и он позже ушел в Нвидиа. Теперь у Nvidia есть Gelato, клон Рендермена. Потому вряд ли. У большинства контор рендерят на HP, раньше на базе AMD процессоров, сейчас не знаю.
0
Тру. Сейчас немного посчитал. 12 мегабайт — это около 9245x5200 пикселей Jpeg. Ну или в два раза меньше RAW. Наконец-то дали оценить качество IMAX :)
Интересно, где монтируют киношники? Final Cut?
Интересно, где монтируют киношники? Final Cut?
-3
2560×1600×3 / 1024 = 12 000 килобайт, что наталкивает на мысль, что разрешение было таким.
0
Ну, теоретически тогда уж 2720x1530, если считаем 12 мб = 12 582 912 байт. Но разрабы, я думаю, не дураки, сжимали.
-3
Я думаю, разрабы не дураки и по этой причине не сжимали. Для их работы пригодно только сжатие без потерь. Никакой png не подойдет из-за скорости сжатия. Если сжатие и применялось, то очень легкое, например как на ntfs томах, котрое помогает немного уменьшить объем информации, что способствует увеличению скорости доступа, но серьезным сжатием это не назовешь.
+11
Так как рендерили стерео, то могло быть и (1920*1080*3)*2 / 1024 = 12M
+20
Никакие jpeg-и там не используются. На сколько я знаю, рендеринг выводится в 32bit exr, либо, на худой конец, в 24bit png.
Во всяком случае, лично я (это хобби) рендерю в exr, потом удобно тогда экспозицию настраивать.)))
Во всяком случае, лично я (это хобби) рендерю в exr, потом удобно тогда экспозицию настраивать.)))
+3
Сейчас разочарую: в Аймаксе крутят растянутый HD (Аватар).
12 МБ – стандартный размер 2K DPX 10 bit (2048х1556). Это стандарт. Но в данном случае похоже пресс-центр HP немного недопонял, так как Аватар снимался на HD (1920x1080, 8 МБ на 10-битовый кадр), при этом в стерео. То есть в реале примерно 8,7*24*2=417 (МБ/с).
Ну и справедливости ради… любая мало-мальски серьёзная превью-машина о двух ксеонах сборки года 2005 спокойно тянет «288 мегабайт в секунду».
12 МБ – стандартный размер 2K DPX 10 bit (2048х1556). Это стандарт. Но в данном случае похоже пресс-центр HP немного недопонял, так как Аватар снимался на HD (1920x1080, 8 МБ на 10-битовый кадр), при этом в стерео. То есть в реале примерно 8,7*24*2=417 (МБ/с).
Ну и справедливости ради… любая мало-мальски серьёзная превью-машина о двух ксеонах сборки года 2005 спокойно тянет «288 мегабайт в секунду».
+6
Может быть, имелись в виду не отрендеренные кадры, а, собственно, модели, текстуры и т.д.?
-2
Resolution in various media:
Digital:
720×480 (520 lines): D-VHS, DVD, miniDV, Digital8, Digital Betacam (pro)
720×480 (400 lines): Widescreen DVD (anamorphic)
1280×720 (720 lines): D-VHS, HD DVD, Blu-ray, HDV (miniDV)
1440×1080 (810 lines): HDV (miniDV)
1920×1080 (1080 lines): D-VHS, HD DVD, Blu-ray, HDCAM SR (pro)
2048×1080: 2K Digital Cinema
4096×2160: 4K Digital Cinema
10,000×7000 (7000 lines): IMAX, IMAX HD, OMNIMAX
en.wikipedia.org/wiki/Image_resolution
Digital:
720×480 (520 lines): D-VHS, DVD, miniDV, Digital8, Digital Betacam (pro)
720×480 (400 lines): Widescreen DVD (anamorphic)
1280×720 (720 lines): D-VHS, HD DVD, Blu-ray, HDV (miniDV)
1440×1080 (810 lines): HDV (miniDV)
1920×1080 (1080 lines): D-VHS, HD DVD, Blu-ray, HDCAM SR (pro)
2048×1080: 2K Digital Cinema
4096×2160: 4K Digital Cinema
10,000×7000 (7000 lines): IMAX, IMAX HD, OMNIMAX
en.wikipedia.org/wiki/Image_resolution
+2
На Final Cut не похоже. Adobe тоже руку приложил к созданию.
0
а тут один из дизайнеров На'ви рассказывает штуки про создание персонажей
www.zbrushcentral.com/showthread.php?t=079195
www.zbrushcentral.com/showthread.php?t=079195
+17
По-моему, больше спецэффектов и огромной проделанной работы над фильмом, впечатляет только отдача от результата в виде колоссальных сборов. Вдохновляет.
0
«Художники показывают свою работу, режиссер хочет побольше того или другого, и все это повторяется туда и обратно много раз. Это цикл, который движет нашу работу и заставляет вещи выглядеть так, как они выглядят в итоге. Таким путем каждый маленький кусочек становится лучше и лучше, потом – совершенным, а потом мы переходим к следующему кадру»
Гугл транслейт одобряэ
+10
Нет, это хьюман транслейт, причем довольно точный) Вы уж извините, вот так вот говорят люди в Новой Зеландии)
+2
Нет, перевод конечно не гугл транслейт, но думаю, что hellt намекает, что по-русски так не говорят, и местами наблюдается перевод слово-в-слово. Например, «it goes back and forth» — «все это повторяется туда и обратно», «In that way» — «таким путем» и т.д.
На хабре, правда, уже где-то в комментах обсуждалось, что калька с английского может придавать своеобразный окрас. Но и переводить, например, «shit» дословно тоже было бы странно. Так что вопрос сложный.
Кстати, в оригинале не «каждый маленький кусочек», а «each tiny bit», имхо более поэтично :)
На хабре, правда, уже где-то в комментах обсуждалось, что калька с английского может придавать своеобразный окрас. Но и переводить, например, «shit» дословно тоже было бы странно. Так что вопрос сложный.
Кстати, в оригинале не «каждый маленький кусочек», а «each tiny bit», имхо более поэтично :)
+5
UFO just landed and posted this here
UFO just landed and posted this here
Пра-пра-прадедушка матрицы…
-2
а как были созданы персонажи?.. синяки эти. главная героиня и герой… переносили мимику на 3д модели?
-5
Вот парочку занимательных видео о создании сабжа:
rutube.ru/tracks/2792356.html?v=66180569aea77cd1674e8fe0c3277fcb
rutube.ru/tracks/2792364.html?v=dd91cef7a1ee78c03f89f4b4d25617b0
rutube.ru/tracks/2792356.html?v=66180569aea77cd1674e8fe0c3277fcb
rutube.ru/tracks/2792364.html?v=dd91cef7a1ee78c03f89f4b4d25617b0
+5
«В 1995 году Джеймс Кэмерон написал 114-страничный сценарий для фильма «Аватар», но его реализация неоднократно откладывалась вследствие несовершенства компьютерных технологий» (из Википедии)
+2
Спасибо, интересно было узнать. Фильм по мне действительно красив и хорош.
0
А вот как создавался сценарий аватара:
img192.imageshack.us/img192/7948/avatarbfv.jpg
img192.imageshack.us/img192/7948/avatarbfv.jpg
+14
Очень вероятно
-2
А вот для тех кто не силён в английском :)
bit.ly/8Y50V9
bit.ly/8Y50V9
+1
Впечатляет.
Top#7 супер-компьютер используется для кино-продакшена.
Когда спросят зачем нужны супер-компьютеры, скажу для того, чтобы нарисовать Аватар.
Даешь, хлеба и зрелищ.
А то всякие метео-прогнозы, обработка данных коллайдера.
Top#7 супер-компьютер используется для кино-продакшена.
Когда спросят зачем нужны супер-компьютеры, скажу для того, чтобы нарисовать Аватар.
Даешь, хлеба и зрелищ.
А то всякие метео-прогнозы, обработка данных коллайдера.
+3
Хабр положил www.wetafx.co.nz/
+8
Лучше бы в сюжет столько вложили, а то он дубовый совсем.
-2
Аватар позиционировался, как фильм для всей семьи. А учитывая его популярность — он понятен всем слоям населения, в независимости от возрастных и образовательных критериев.
Понятно, что для каждого человека можно найти нишевый фильм, который по мнению этого одного человека будет лучше Аватара.
В целом получился хороший фильм для всех, в котором на самом деле скрыто достаточно многое для думающих людей, например, единение с природой народа Нави — это то, что заставляет очень сильно задуматься. Так как такого единения человека с природой, к сожалению, в нашем мире быть не может. Я бы даже сказал, что люди не живут с природой, они с нею воюют, что особенно хорошо видно на примере людей в Аватаре.
Мне жаль, что многие люди, так поверхностно делают свои выводы.
Понятно, что для каждого человека можно найти нишевый фильм, который по мнению этого одного человека будет лучше Аватара.
В целом получился хороший фильм для всех, в котором на самом деле скрыто достаточно многое для думающих людей, например, единение с природой народа Нави — это то, что заставляет очень сильно задуматься. Так как такого единения человека с природой, к сожалению, в нашем мире быть не может. Я бы даже сказал, что люди не живут с природой, они с нею воюют, что особенно хорошо видно на примере людей в Аватаре.
Мне жаль, что многие люди, так поверхностно делают свои выводы.
+15
Ну глубины там не более чем в мультике для пятилетних.
Было бы гораздо прикольнее, если бы была описана планета-организм и единой ЦНС. Зачатки такого вроде проскакивали, но ниасилили.
Было бы гораздо прикольнее, если бы была описана планета-организм и единой ЦНС. Зачатки такого вроде проскакивали, но ниасилили.
-1
«на самом деле скрыто достаточно многое для думающих людей»
+1
Например?
+2
«например, единение с природой народа Нави — это то, что заставляет очень сильно задуматься. Так как такого единения человека с природой, к сожалению, в нашем мире быть не может. Я бы даже сказал, что люди не живут с природой, они с нею воюют, что особенно хорошо видно на примере людей в Аватаре.»
0
> Ну глубины там не более чем в мультике для пятилетних.
:-)
ну «для пятилетних» это слишком, конечно, но не без доли истинности.
«Аватар» ≈ «Танцущий с волками» × мульт-фикшн.
:-)
ну «для пятилетних» это слишком, конечно, но не без доли истинности.
«Аватар» ≈ «Танцущий с волками» × мульт-фикшн.
0
UFO just landed and posted this here
Солярис?
0
Да наплевать мне что вам жаль. Причем тут жалость? Фильм просто сезонный, а что касается сюжета то он пафосен до невозможности картинные фразы, линейность сюжета все выдает в этом фильме пустышку прикрытую дорогими технологиями.
-1
Вы артхаус хотели увидеть? Вам после просмотра драмы не кажется, что мало веселья было, к примеру?
+7
Считаю что Аватары просто необходимы. В бюджет этого фильма входит создание новых технологий, которые потом используют другие фильмы, а потом всё плавно перекочёвывает и в нашу обычную жизнь. Технологии распознования лица мало ли в какой бок ещё могут выстрелить, да там просто куча всего было разработано специально для этого фильма.
Это как формула 1. Гонки ради технологий. Нам от этого только лучше. И пофиг на сюжет :)
Это как формула 1. Гонки ради технологий. Нам от этого только лучше. И пофиг на сюжет :)
+2
Новые технологии УЖЕ используются в других фильмах ;) Изначально, технология для съемки и показа 3D-фильмов (начиная с Дети шпионов 3D и т.п.) была разработана благодаря Кэмерону именно ради Аватара. А до него лишь «обкатывалась» на других фильмах… Когда я прочитал в статье об этом, был слегка в шоке даже. Лишь тогда осознал глобальность и грандиозность проекта.
0
Есть где ни будь описание того что за технологии использовались?
Я тут читал немного… писал один дяденька что это была смесь текущих достижений
оптическая и инерционная системы + HMC
Я тут читал немного… писал один дяденька что это была смесь текущих достижений
оптическая и инерционная системы + HMC
0
В одном месте точно нигде не встречал. Поищите интервью с Кэмероном на Хабре, там много интересного, ещё есть статейка 5 Designers Reveal Secrets Of James Cameron's Avatar.
0
Зачем сюжет в… демонстрации 3D-графики?
-2
> Лучше бы в сюжет столько вложили, а то он дубовый совсем.
То, что дубовый — +1. Но сколько в дубовый сюжет не вкладывай, он лучше не станет. :-)
То, что дубовый — +1. Но сколько в дубовый сюжет не вкладывай, он лучше не станет. :-)
0
Столько мощностей, а хабра-эфекта не выдержало:
«Database Error: Unable to connect to your database. Your database appears to be turned off or the database connection settings in your config file are not correct. Please contact your hosting provider if the problem persists.»
«Database Error: Unable to connect to your database. Your database appears to be turned off or the database connection settings in your config file are not correct. Please contact your hosting provider if the problem persists.»
+2
Дополню со своей стороны. Как раз на днях написал пост про используемые в WETA стораджи.
blog.aboutnetapp.ru/archives/487
blog.aboutnetapp.ru/archives/487
+3
Так, а сколько на таком мейнфрейме занял ренд всего фильма?
+1
Джеймс Кэмерон говорил, что рендеринг каждого кадра занимал 10-30 часов, в студии говорят, что несколько часов. Предположим, что время равно 20 часам. Вспоминаем, что рендеринг каждого кадра системой Alfred отдавался в работу одному отдельному процессору. Посчитаем сколько бы занял рендеринг, если бы он выполнялся сразу «на беловик», непрерывно:
24 (кадра в секунду) х 60 х 162 х 20 (часов на рендеринг) / 40000 (примерное число процессоров) = 116 часов 39 минут.
В реальности же, вместе со всеми подготовительными работами, дата-центр был загружен почти на полную с самого лета 2008 года)
24 (кадра в секунду) х 60 х 162 х 20 (часов на рендеринг) / 40000 (примерное число процессоров) = 116 часов 39 минут.
В реальности же, вместе со всеми подготовительными работами, дата-центр был загружен почти на полную с самого лета 2008 года)
0
Не кадра, а shot-а, наверное. Это киношный жаргонизм. «Шот» это сцена. Она разная бывает по размерам, от этого и разброс, состоит она из разного количества кадров. От «крупный план: главный герой поднимает голову, и его глаза расширяются от ужаса» до «караван идет среди песков, караванщик чиркает спичкой, закуривает и бросает спичку на песок» это все будут «шоты».
+5
это и есть кинокадр
0
Ну есть и такое название, путаница в том, что для большинства «кадр» это статическая картинка *****x***** пикселей, которых в секунду — 24 штуки.
Shot это не этот кадр.
Shot это не этот кадр.
0
0
Вы все не о том. Вы мне про перевод слова, а я вам про значение термина в кинопроизводстве. Это жаргонный смысл.
Грубо говоря, shot это то, на что хлопают «кинохлопушкой» перед камерой. Некий сюжетный квант, существующий и снимающийся как самостоятельный объект.
Но не тот «кадр», которых «24 в секунду».
Грубо говоря, shot это то, на что хлопают «кинохлопушкой» перед камерой. Некий сюжетный квант, существующий и снимающийся как самостоятельный объект.
Но не тот «кадр», которых «24 в секунду».
0
А еще кадров там нужно втрое больше обычного (для гладкости картинки) и для каждого глаза отдельно, чтоб потом собрать 3д, итого почти 700 часов.
+1
Интересно, а реализовывали ли они какую-либо систему бэкапа?
0
У них есть (была, по крайней мере, во времена LOTR) большая ленточная библиотека Sun StorageTek L700 с лентами LTO.
Но вообще там достаточно непростой механизм движения данных в процессе их жизни, посмотрите ссылку про стораджи выше.
Там же есть ссылки на статьи, в которых была найдена информация, которая не вся вошла в пост.
Но вообще там достаточно непростой механизм движения данных в процессе их жизни, посмотрите ссылку про стораджи выше.
Там же есть ссылки на статьи, в которых была найдена информация, которая не вся вошла в пост.
+1
> Чтобы накормить весь парк сдвоенных HP BL2x220c задачами, Weta пришлось установить оптоволоконную сеть стораджей на 3 Пб.
Дополню, что эта «оптоволоконная сеть стораджей» — 10G Ethernet по оптике, на коммутаторах Foundry, ныне Brocade ServerIron.
Стораджи — NAS NetApp FAS6080, отдающие данные на рендерферму по протоклу NFS.
Дополню, что эта «оптоволоконная сеть стораджей» — 10G Ethernet по оптике, на коммутаторах Foundry, ныне Brocade ServerIron.
Стораджи — NAS NetApp FAS6080, отдающие данные на рендерферму по протоклу NFS.
+4
И тут пролезли :)
0
Ничего лучше под NFS с таким уровнем нагрузки и за такую цену пока нет.
До них был период на Bluearc Titan 2000, но при упомянутой переделке датацентра все же вернулись к NetApp (он его использовали первоначально, несколько лет, по «Кинг-Конга» включительно).
До них был период на Bluearc Titan 2000, но при упомянутой переделке датацентра все же вернулись к NetApp (он его использовали первоначально, несколько лет, по «Кинг-Конга» включительно).
0
NFS? вы что, шутите?
0
Почему вы считаете, что я могу с этим шутить?
0
На самом деле NFS действительно очень широко, если не монопольно, царит в области суперкомпьютеров и вычислительных кластеров.
В первую очередь потому, что позволяет очень просто обеспечить доступ «много клиентов к одному стораджу». Пример — 3D-модель, которую обсчитывает ферма рендеринга, состоящая из многих сотен или даже тысяч процессоров. Каждому нужно прочитать данные этой модели, сделать свою работу, и положить просчитанный кадр в общую «ленту». Совместный доступ к данным возможен только пр использовании сетевых файловых систем, таких как NFS, или кластерных файловых систем, которые весьма недешевы, либо достаточно сыры для продакшна, или есть под весьма ограниченный набор платформ.
NFS в этом смысле имеет большие преимущества, так как:
1. весьма проста в реализации, и есть повсюду, написана для всех мыслимых платформ и OS, и стандартизована общепринятым стандартом RFC.
2. «Взросла», и все ее глюки давно посчитаны и известны. Простота же реализации и открытость весьма положительно сказывается на возможности их выловить.
3. Как следствие первого и второго имеет весьма высокую производительность при низких «накладных расходах».
4. Работает поверх TCP/IP, который ходит повсюду, в том числе по 10Gbit Ethernet, одному из самых быстрых на сегодня каналов передачи данных, оборудование для которого уже широко распространено и _сравнительно_ недорого (сравните, например, с ценой соответствующего по быстродействию и конфигурации Infiniband или 8G FC) для оборудования такого класса.
В первую очередь потому, что позволяет очень просто обеспечить доступ «много клиентов к одному стораджу». Пример — 3D-модель, которую обсчитывает ферма рендеринга, состоящая из многих сотен или даже тысяч процессоров. Каждому нужно прочитать данные этой модели, сделать свою работу, и положить просчитанный кадр в общую «ленту». Совместный доступ к данным возможен только пр использовании сетевых файловых систем, таких как NFS, или кластерных файловых систем, которые весьма недешевы, либо достаточно сыры для продакшна, или есть под весьма ограниченный набор платформ.
NFS в этом смысле имеет большие преимущества, так как:
1. весьма проста в реализации, и есть повсюду, написана для всех мыслимых платформ и OS, и стандартизована общепринятым стандартом RFC.
2. «Взросла», и все ее глюки давно посчитаны и известны. Простота же реализации и открытость весьма положительно сказывается на возможности их выловить.
3. Как следствие первого и второго имеет весьма высокую производительность при низких «накладных расходах».
4. Работает поверх TCP/IP, который ходит повсюду, в том числе по 10Gbit Ethernet, одному из самых быстрых на сегодня каналов передачи данных, оборудование для которого уже широко распространено и _сравнительно_ недорого (сравните, например, с ценой соответствующего по быстродействию и конфигурации Infiniband или 8G FC) для оборудования такого класса.
0
«все ее глюки давно посчитаны и известны»
Ну вот разве что, но я не очень представляю себе, как надо пользоваться NFS в продакшне, чтобы не наступить на них.
Я до относительно недавнего времени трудился чиф девелопером одной крупной системы массового обслуживания и мы наступили на серьезные грабли с NFS. После изучения вопроса и общения с FreeBSD core team узнали много интересного и нового про NFS. Про взаимные блокировки, которые принципиально невозможно разрулить и которые возникают на постой. Про то, как они кладут целые кластера одним только своим появлением. Про то, как они не уходят при ребуте серверов. Про другие недостатки самого протокола. Тогда, насколько я помню, вообще кто-то из core team поставил вопрос исключения NFS из FreeBSD в силу того, что пользоваться ей в серьезном продакшне практически невозможно.
Удивлен, узнав про использование NFS на таком уровне. Там или какая-то другая NFS из другого мира, или же она там используется таким образом, что грабли бьют не сильно больно.
Ну вот разве что, но я не очень представляю себе, как надо пользоваться NFS в продакшне, чтобы не наступить на них.
Я до относительно недавнего времени трудился чиф девелопером одной крупной системы массового обслуживания и мы наступили на серьезные грабли с NFS. После изучения вопроса и общения с FreeBSD core team узнали много интересного и нового про NFS. Про взаимные блокировки, которые принципиально невозможно разрулить и которые возникают на постой. Про то, как они кладут целые кластера одним только своим появлением. Про то, как они не уходят при ребуте серверов. Про другие недостатки самого протокола. Тогда, насколько я помню, вообще кто-то из core team поставил вопрос исключения NFS из FreeBSD в силу того, что пользоваться ей в серьезном продакшне практически невозможно.
Удивлен, узнав про использование NFS на таком уровне. Там или какая-то другая NFS из другого мира, или же она там используется таким образом, что грабли бьют не сильно больно.
0
Просто надо пользоваться NFS не из FreeBSD, например :)
Не все NFSы одинаково полезны, это факт.
Тем не менее при правильном использовании NFS на сегодня одна из лучших сетевых файловы систем. Собственно тот факт, что в этом сегменте работы практически не ведутся (NFS, CIFS, ну может еще три-четыре экспериментальных) говори о том, что NFS хороша и всех устраивает.
Ну и еще NFS развивается, конечно. Посмотрите на NFS4.1 AKA pNFS. Напрямую под HPC проект заточен, в этом году пройдет утверждение в RFC.
Так что из того факта, что кто-то в core team FreeBSD не разобрался с NFS говорит только об уровне core team FreeBSD, а не о недостатках NFS. ;)
Кроме HPC могу указать пальцем на крупнейшую в мире инсталляцию Oracle (9i, 10g, 11g, RAC), так называемый Oracle on Demand в датацентре самого Oracle, также на Linux поверх NFS, и на несколько весьма крупных инсталяций VMware (десятки тысяч виртуальных машин).
Не все NFSы одинаково полезны, это факт.
Тем не менее при правильном использовании NFS на сегодня одна из лучших сетевых файловы систем. Собственно тот факт, что в этом сегменте работы практически не ведутся (NFS, CIFS, ну может еще три-четыре экспериментальных) говори о том, что NFS хороша и всех устраивает.
Ну и еще NFS развивается, конечно. Посмотрите на NFS4.1 AKA pNFS. Напрямую под HPC проект заточен, в этом году пройдет утверждение в RFC.
Так что из того факта, что кто-то в core team FreeBSD не разобрался с NFS говорит только об уровне core team FreeBSD, а не о недостатках NFS. ;)
Кроме HPC могу указать пальцем на крупнейшую в мире инсталляцию Oracle (9i, 10g, 11g, RAC), так называемый Oracle on Demand в датацентре самого Oracle, также на Linux поверх NFS, и на несколько весьма крупных инсталяций VMware (десятки тысяч виртуальных машин).
0
«Просто надо пользоваться NFS не из FreeBSD»
Я не в восторге от FreeBSD, но реализация тут не причем. Там есть недостатки в самом протоколе, которые приводят к возникновению взаимных блокировок. А вот то, что FreeBSD не умеет их разруливать и подхватывает при ребуте — это уже да, проблема реализации.
Я не в восторге от FreeBSD, но реализация тут не причем. Там есть недостатки в самом протоколе, которые приводят к возникновению взаимных блокировок. А вот то, что FreeBSD не умеет их разруливать и подхватывает при ребуте — это уже да, проблема реализации.
0
А, привет minnus :) Не разглядел ;)
0
Впечатляет
0
интересно какая ось всем этим управляет? или кластерная система?
+2
> задачи от художников собираются в иерархическую очередь с помощью продукта студии Pixar под именем Alfred – системы, которая по порядку отдает их на свободные процессоры кластера, загружая их на 100% одной задачей;
На самих процессорах Linux, под которым бежит приложение рендера, если правильно помню.
На самих процессорах Linux, под которым бежит приложение рендера, если правильно помню.
+2
Судя по тому что у них 7ое место в топ 500, то либо bsd либо линух.
0
Unix там конечно, какой только не совсем понятно
+1
И мне честно говоря интересна сама ОС. Если кто нибудь знает, скажите плиз
0
Вам версию ядра Linux надо знать? ;)
Там просто ядро, под которым, не удивлюсь если даже в single mode, пускается командлайновая утилита, которой на вход подают сцену. И таких утилиток 40 тысяч, на каждом процессоре по одной, каждая генерит один кадр.
Там просто ядро, под которым, не удивлюсь если даже в single mode, пускается командлайновая утилита, которой на вход подают сцену. И таких утилиток 40 тысяч, на каждом процессоре по одной, каждая генерит один кадр.
+1
С подобной процедурой знаком немного по Колорингу, довелось… там не 40 тыс, если система кластерная, просто UNIX based и UNIX Sertifited ОС в Киниматографе не мало… это я точно знаю, а вот названия и т.д. Копать нужно… вот и спрашиваю вдруг кто че знает.
Linux же может использоваться только для управлениями отдельных операций на UNIX, но скорее всего, Xsan от Apple… хз. мне интересно вот и спросил. ваш ответ не полон. Но спасибо
Linux же может использоваться только для управлениями отдельных операций на UNIX, но скорее всего, Xsan от Apple… хз. мне интересно вот и спросил. ваш ответ не полон. Но спасибо
0
Это не тот кластер, что обычно под этим словом понимают. Это именно render farm, там все гораздо проще. Основная ответственност лежит на управляющем компе-диспетчере, распределяющем задания, а выполняющие процесорв просто тупо молотят вычисления, и все. Прочитали модель сцены со стораджа, посчитали, записали на сторадж результат, получили новую сцену и пошли считать.
+3
Ну это я понимаю… говорю ж сталкивался… вот распределения задач — что за ОС/ядро, вывод картинок на что и так далее… если разбираетесь в этом, и не сложно будет ответить, может в хабрапочту?
0
Ну выше же написано.
Диспетчер — самописанная в Pixar система Alfred.
На процессорах рендерфермы — ядро Linux с единственной задачей в виде программы рендера.
Стораджи — NFS NAS, к которым подключены все системы рендера, берущие с них модель, и складываюшие на них отрендеренные картинки.
Канал передачи данных TCP по 10G Ethernet.
Аналогичная схема используется почти всеми, отличия только в реализации.
Диспетчер — самописанная в Pixar система Alfred.
На процессорах рендерфермы — ядро Linux с единственной задачей в виде программы рендера.
Стораджи — NFS NAS, к которым подключены все системы рендера, берущие с них модель, и складываюшие на них отрендеренные картинки.
Канал передачи данных TCP по 10G Ethernet.
Аналогичная схема используется почти всеми, отличия только в реализации.
+1
/зануда
34 стойки x 32 блейдами = 1088 PC
Up to two (2) Intel Xeon 5400 Series 4 core CPUs per server node
1088 x 2 x 4 = 8704
и даже с HT 8704 x 2 = 17408
Часть процов ушло на откаты.
/зануда
34 стойки x 32 блейдами = 1088 PC
Up to two (2) Intel Xeon 5400 Series 4 core CPUs per server node
1088 x 2 x 4 = 8704
и даже с HT 8704 x 2 = 17408
Часть процов ушло на откаты.
/зануда
+3
А вы правы! Поправил в тексте процессоры на процессорные ядра. Хотя, как говорится, «да какая разница!» :)
-1
/суперзануда
17408 — max количество виртуальных ядер.
Если вы имели ввиду 7е место в топе то
— 7 местО (о упало)
— по ссылке 4096 ядер. 40960 — Rpeak (GFlops).
/суперзануда
17408 — max количество виртуальных ядер.
Если вы имели ввиду 7е место в топе то
— 7 местО (о упало)
— по ссылке 4096 ядер. 40960 — Rpeak (GFlops).
/суперзануда
-1
выше уже неоднократно говорилось
не 7-ое место, а 7 различных мест
193, 194, 195, 196, 197, 274 и 449
не 7-ое место, а 7 различных мест
193, 194, 195, 196, 197, 274 и 449
0
Нет, я не имел) Имел в виду 7 мест (без о) в топе из 500 мест. Смотрите вот здесь: www.top500.org/site/systems/2343
0
Странно, нигде (в рускоязычных источниках) я не встречал что при создании аватара Аватара использовался модо 401 (новости на сайте: 1, 2). Использовался он в основном для моделинга, но надо сказать что и рендер у него приличный. Использовался он потому что модо очень удобен и прост. Кстати, модо также использовался при создании Района №9 и Валли (да и много где ещё). Такие проекты не могут создаваться в одной только программе, всегда используются несколько и модо в авангарде.
Я очень люблю модо :)
В любом случае всеми любимый 3д макс (я про страны СНГ) используется всё реже и реже.
Я очень люблю модо :)
В любом случае всеми любимый 3д макс (я про страны СНГ) используется всё реже и реже.
+1
«Район 9» тоже делали на WETA Digital, кстати. Когда отлежится сайт зайдите в порфолио, там много интересного.
+1
Спасибо, в данный момент изучаю вот эту страничку :)
0
Weta там создала только модель пришельцев:
3dyuriki.com/2009/11/09/rajon-9-district-9-process-sozdaniya-samye-interesnye-fakty/
3dyuriki.com/2009/11/09/rajon-9-district-9-process-sozdaniya-samye-interesnye-fakty/
0
думаю так или иначе в таких монстрах как WETA используется огромное количество софта, и модо в том числе, так что особенного тут ничего нет.
впрочем, говоря про моделлинг я бы не стал использовать слово «авангард» :)
впрочем, говоря про моделлинг я бы не стал использовать слово «авангард» :)
0
У них в работе сейчас всего три фильма, но какие люди их снимают: Спилберг, Кэмерон, Джексон. Вся большая тройка Голливуда! Это офигенно, наверное, работать в Weta.
+3
Ссылочка: www.wetafx.co.nz/in_production
И кстати, чтобы не спрашивали, почему «Аватар» у них ещё числится «в процессе»: доделываются сцены, которые не вошли в кинотеатральную версию, но которые были в сценарии и появятся, скорее всего, в режиссёрской версии фильма.
И кстати, чтобы не спрашивали, почему «Аватар» у них ещё числится «в процессе»: доделываются сцены, которые не вошли в кинотеатральную версию, но которые были в сценарии и появятся, скорее всего, в режиссёрской версии фильма.
+1
И им постоянно нужны новые люди: www.wetafx.co.nz/jobs :)
Как сейчас помню, как по ТВ рассказывали про нашего парня из Владивостока, который подал резюме в Weta и участвовал потом в создании Властелина колец. В частности — тех красавцев орлов.
Как сейчас помню, как по ТВ рассказывали про нашего парня из Владивостока, который подал резюме в Weta и участвовал потом в создании Властелина колец. В частности — тех красавцев орлов.
0
да, должно быть офигенно. но наверное как повезёт. шеф года 4 назад рассказывал о своём знакомом аниматоре из weta (он русский), который всё рабочее время занимался лицевой анимацией кинг конга. 8 часов в день с перерывом на обед, месяцы напролёт он занимался лицевой анимацией долбаной обезьяны
+11
Живописно описали. Я прям представил себе картинку: «уже на третий месяц иначе как fukin monkey они Кинг-Конга не называли».
+6
0
Лицом Кинг-Конга занимался Петр Сёмка. Он же делал лицо и эмоции главной героини Аватара — Нейтири.
+1
Нет, вру, он был первый, сейчас еще упоминают:
Ник Габченко (Харьков)
Дмитрий Краснокутский (Владивосток)
Ник Габченко (Харьков)
Дмитрий Краснокутский (Владивосток)
0
Помимо Аватара Ник Габченко делал District 9, а Дмитрий Краснокутский — The Lovely Bones
0
А он сходил потом на премьеру? :)
+3
На всякий случай, вот список наших ребят на Weta Digital:
Сергей Невшупов
Дмитрий Краснокутский
Николай Габченко
Петр Сёмка
Антон Огнев
Алексей Пузиков
Георгий Аревшатов
Наталья Цыганок
Андрей Коваль
Сергей Невшупов
Дмитрий Краснокутский
Николай Габченко
Петр Сёмка
Антон Огнев
Алексей Пузиков
Георгий Аревшатов
Наталья Цыганок
Андрей Коваль
+2
про Гильермо Дель Торо забыли!
0
Фантастика.
0
впечатляет
0
Не могу представить, что будет в будущем.
+1
В последний месяц перед премьерой фильма дата-центр Weta Digital обрабатывал в среднем по 1,3 млн. задач рендеринга в сутки – по 7-8 Гб данных в секунду, 24 часа в сутки!
Последний месяц он самый напряженный. Хорошо, что успели к запланированной дате :)
0
молодцы, не зря старались!
0
Достаточно интересное видео о том, как происходили съемки и чем были экипированны актеры. Как раз то, что было до рендеринга.
+1
… А через 7 лет у каждого школьника на столе будет стоять компьютер, сравнимой мощности. И сцену из Avatar он будет рендерить как пример.
0
Вот еще свеженькое о процессе создания Аватара (англ), какие технологии, программы и т.д.:
features.cgsociety.org/story_custom.php?story_id=5434
features.cgsociety.org/story_custom.php?story_id=5434&page=2
и тут немножко (рус):
3dyuriki.com/2010/01/12/film-avatar-interesnye-fakty-processa-sozdaniya/
features.cgsociety.org/story_custom.php?story_id=5434
features.cgsociety.org/story_custom.php?story_id=5434&page=2
и тут немножко (рус):
3dyuriki.com/2010/01/12/film-avatar-interesnye-fakty-processa-sozdaniya/
+1
Свежее видео making-of фильма Аватар (как они на Гаваи летали, жили в диком лесу, чтобы прочувствовать всю прелесть природы и т.д.):
Part 1: www.youtube.com/watch?v=o47vlm603QM
Part 2: www.youtube.com/watch?v=11DLOVLj8xo
Part 3: www.youtube.com/watch?v=uXX_yaDVLk8
Part 4: www.youtube.com/watch?v=Gf-D66t2AjM
Part 5: www.youtube.com/watch?v=n7D8mtVjaG8
Part 1: www.youtube.com/watch?v=o47vlm603QM
Part 2: www.youtube.com/watch?v=11DLOVLj8xo
Part 3: www.youtube.com/watch?v=uXX_yaDVLk8
Part 4: www.youtube.com/watch?v=Gf-D66t2AjM
Part 5: www.youtube.com/watch?v=n7D8mtVjaG8
+2
Статья ни о чем… реклама HP.
А обсуждение крайне интересное…
А обсуждение крайне интересное…
-2
Sign up to leave a comment.
Немного о том, как создавался «Аватар»