Comments 10
Крайне рекомендую посмотреть вот эти слайды: indico.cern.ch/event/192695/session/2/contribution/98/material/slides/0.pdf. В них описывается инфраструктура для всего лишь одного эксперимента под названием CMS, а точнее то, что планируется собрать к лету 2015 года. Лично меня особенно впечатлила EvenBuilder network — это сеть с суммарной пропускной способностью в 6 терабит в секунду!
Откуда берутся такие цифры? В процессе эксперимента каждый из 84 Readaut Unit'а (RU) генерирует свой кусочек события, и происходит это 100 тысяч раз в секунду. Событие — это данные со всех датчиков, собранные синхронно, в один момент времени. Суммарно эти кусочки составляют до 2 мегабайт данных. Все кусочки за какой либо конкретный момент времени в итоге должны оказаться на одном Builder Unit'е (BU), который отправит их в свою небольшую ферму компьютеров, на которой из всего потока выделяются только 0.5% интересных учёным событий.
Откуда берутся такие цифры? В процессе эксперимента каждый из 84 Readaut Unit'а (RU) генерирует свой кусочек события, и происходит это 100 тысяч раз в секунду. Событие — это данные со всех датчиков, собранные синхронно, в один момент времени. Суммарно эти кусочки составляют до 2 мегабайт данных. Все кусочки за какой либо конкретный момент времени в итоге должны оказаться на одном Builder Unit'е (BU), который отправит их в свою небольшую ферму компьютеров, на которой из всего потока выделяются только 0.5% интересных учёным событий.
Лично меня особенно впечатлила EvenBuilder network — это сеть с суммарной пропускной способностью в 6 терабит в секунду!
Вас легко удивить :)
Один-единственный ethernet свитч, набитый картами на 16 40G портов, может иметь суммарную емкость около 16тб/с.
Сколько моделей таких свитчей, по паре у самых крупных вендоров? :) А если серьёзно, у них разве совсем нету проблем с прокачкой между линейными картами? В этом эксперименте нагрузка на каждый порт порядка 20-25 гигабит. При этом каждый из 84 RU шлёт свои 20 гигабит в 64 BU, то есть каким либо образом разгрузить backplane (или как оно там у таких свитчей уже называется) не получится.
Ну и отдельный вопрос про стоимость, стойка довольно компактная, весь их инфинибанд на меди, судя по картинкам.
И если совсем уж начистоту, разве вам не хотелось бы участвовать в постройке инфраструктуры для таких потоков данных?
Ну и отдельный вопрос про стоимость, стойка довольно компактная, весь их инфинибанд на меди, судя по картинкам.
И если совсем уж начистоту, разве вам не хотелось бы участвовать в постройке инфраструктуры для таких потоков данных?
Сколько моделей таких свитчей, по паре у самых крупных вендоров?
Не совсем корректный вопрос. Корректный вопрос: сколько моделей шасси? Ответ — дофига.
у них разве совсем нету проблем с прокачкой между линейными картами?
У того, про который я писал, 1,3тб/с на слот. Так что о бекплейне можно не задумываться.
Ну или стандартный CLOS как у них, но на 40G аплинках. На spine поставить нечто
такое
Ага, все порты 40G, общая емкость каждого свитча 5тб/с, а оптика не такая уж и дорогая
Ага, все порты 40G, общая емкость каждого свитча 5тб/с, а оптика не такая уж и дорогая
разве вам не хотелось бы участвовать в постройке инфраструктуры для таких потоков данных?
Честно — не уверен :) Там своя специфика.
Статья интересная, спасибо за неё.
Но не смог понять почему они стоят новую систему OpenStack CERN (или CERN cloud как они называют её у себя на сайте).
Несколько дополнений (на основе того что мне удалось найти после прочтения этой статьи и насколько понимаю):
1. эта система приходит на смену ранее существовавшей системы грид EGEE, потому с EGEE и буду сравнивать;
2. в статье упомянуто (но я нашёл цифры) что они нацеленны на ввод в систему около 300000 ядер в 2015 году (у EGEE было около 40000 ядер);
3. система использует виртуализацию судя по их слайду 14 (EGEE использовало клиентский компьютер для передачи задачи в грид);
4. работать с ней можно через веб-браузер (чего, насколько помню, не было в EGEE) ( слайд 33), что упростит её использование для части пользователей;
5. эта система использует дистрибутив Scientific Linux (система EGEE так же использовала этот дистрибутив);
6. точно так же как и EGEE использует ключи для SSH, но я не смог понять будут ли они использовать аналог цифрового «паспорта» как было в EGEE;
7. в описании шагов по использованию этой системы на слайдах авторы забывают что система строится для использования физиками и их должны понять физики с достаточным уровнем навыков в сфере IT (но слайды изобилуют таким колличеством новой терминологии, что понять их не просто).
Но не смог понять почему они стоят новую систему OpenStack CERN (или CERN cloud как они называют её у себя на сайте).
Несколько дополнений (на основе того что мне удалось найти после прочтения этой статьи и насколько понимаю):
1. эта система приходит на смену ранее существовавшей системы грид EGEE, потому с EGEE и буду сравнивать;
2. в статье упомянуто (но я нашёл цифры) что они нацеленны на ввод в систему около 300000 ядер в 2015 году (у EGEE было около 40000 ядер);
3. система использует виртуализацию судя по их слайду 14 (EGEE использовало клиентский компьютер для передачи задачи в грид);
4. работать с ней можно через веб-браузер (чего, насколько помню, не было в EGEE) ( слайд 33), что упростит её использование для части пользователей;
5. эта система использует дистрибутив Scientific Linux (система EGEE так же использовала этот дистрибутив);
6. точно так же как и EGEE использует ключи для SSH, но я не смог понять будут ли они использовать аналог цифрового «паспорта» как было в EGEE;
7. в описании шагов по использованию этой системы на слайдах авторы забывают что система строится для использования физиками и их должны понять физики с достаточным уровнем навыков в сфере IT (но слайды изобилуют таким колличеством новой терминологии, что понять их не просто).
Физики — народ достаточно грамотный. Даже учёные околопенсионного возраста (ведущие активную научную деятельность, а не только звенящие званиями и медалями) обычно являются уверенными пользователями. Более молодое поколение зачастую облатает базовыми навыками программирования в соответствующих их задачам средах. В общем, по поводу п.7 особых сомнений нет. :)
Круто! Мечта многих айтишников в области биг дата и хай лоад)
А что это там такое синенькое на первой фотке? Кабель-каналы? O_O
А что это там такое синенькое на первой фотке? Кабель-каналы? O_O
Вот это я понимаю highload, не то что магазин шарфиков в черную пятницу )
Масштабы впечатляют. В нашей Дубне цифры по ВЦ поскромнее:
4000 ядер; 8Пб хранилище на HDD; 190Пб хранилище на лентах.
4000 ядер; 8Пб хранилище на HDD; 190Пб хранилище на лентах.
Sign up to leave a comment.
CERN планирует увеличение своих вычислительных возможностей до 150 000 ядер