Pull to refresh

Splunk глазами новичка: как мы делали систему инвентаризации хранилищ

Reading time4 min
Views6.1K


Недавно заказчик попросил нас реализовать систему учета дисковых мощностей. Стояла задача объединить информацию с более семидесяти дисковых массивов разных вендоров, от свичей SAN и ESX-хостов VMware. Затем данные нужно было систематизировать, проанализировать и иметь возможность выводить на дашборд и различные отчеты, например, о свободном и занятом объеме дискового пространства во всех или отдельно взятых массивах.

Мы решили реализовать проект с помощью системы анализа операционной деятельности — Splunk.
Читать дальше →
Total votes 29: ↑29 and ↓0+29
Comments10

СХД для HPC-инфраструктуры, или Как мы собрали 65 ПБ хранения в японском исследовательском центре RIKEN

Reading time5 min
Views6K

datacenterknowledge.com

В прошлом году была реализована самая крупная на данный момент инсталляция СХД на базе RAIDIX. Система из 11 отказоустойчивых кластеров была развернута в Центре вычислительных наук института RIKEN (Япония). Основное назначение системы — хранилище для инфраструктуры HPC (HPCI), которая реализована в рамках масштабного национального проекта по обмену академической информацией Academic Cloud (на базе сети SINET).

Знаковой характеристикой этого проекта является его суммарный объем — 65 ПБ, из которых полезный объем системы составляет 51,4 ПБ. Чтобы точнее понять эту величину, добавим, что это 6512 дисков по 10 ТБ (самых современных на момент установки). Это много.
Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments2

Перевезти дата-центр за 14 400 секунд

Reading time7 min
Views7.7K
Всем знакома пословица «Один переезд равен двум пожарам». Смысл этой народной мудрости в том, что процесс переезда сопряжен со стрессами, суетой, переживаниями и, конечно, беготней, которые бывают и при пожаре, а подчас и с утратами ценного имущества. К тому же, когда собираешься в спешке, пакуешь вещи для перевозки бессистемно, то велика вероятность что-то потерять, разбить, забыть.

Читать дальше →
Total votes 23: ↑21 and ↓2+19
Comments13

Реализация SSD кэширования в СХД QSAN XCubeSAN

Reading time6 min
Views4.3K

Технологии повышения производительности, основанные на использовании SSD и широко применяемые в СХД, уже давно изобретены. Прежде всего – это применение SSD в качестве пространства хранения, что на 100% эффективно, но дорого. Поэтому в ход идут технологии тиринга и кэширования, где SSD используются только для наиболее востребованных («горячих») данных. Тиринг хорош для сценариев долговременного (дни-недели) использования «горячих» данных. А кэширование, наоборот, для краткосрочного (минуты-часы) использования. Оба этих варианта реализованы в СХД QSAN XCubeSAN. В данной статье мы рассмотрим реализацию второго алгоритма – SSD кэширования.



Читать дальше →
Total votes 8: ↑7 and ↓1+6
Comments0

Быстрая настройка СХД Аэродиск Engine

Reading time6 min
Views7.6K


Мы продолжаем вас знакомить с российскими системами хранения данных AERODISK ENGINE N-серии. Предыдущая – вводная – статья находится здесь. Также у ребят появился свой YouTube канал с обучающими видео по настройке и работе с системой. А еще перед новым годом Аэродиск запустил промо-программу, в рамках которой можно купить СХД со скидкой до 60%! Предложение, на наш взгляд, отличное.

В этот раз Аэродиск нам предоставил систему хранения ENGINE N2 в All-flash конфигурации для самостоятельного изучения и настройки, и мы поделимся этим опытом.
В рамках знакомства с ENGINE мы сделаем цикл из 3-х статей:

  1. Базовая настройка
  2. Краш тесты
  3. Нагрузочные тесты

В рамках этой статьи мы выполним базовую настройку СХД: презентуем LUN-ы и файловые шары хосту, а также оценим юзабилити интерфейса управления. До этого мы прошли однодневный курс обучения по работе с системой и почитали документацию.
Читать дальше →
Total votes 12: ↑10 and ↓2+8
Comments24

SATA SSD Enterprise в 2-контроллерных СХД Infortrend — замер производительности

Reading time4 min
Views6.5K
В прошлых статьях: СХД Infortrend — альтернатива А-брендам и СХД Infortrend EonStor DS2024G2 делался акцент на одно из преимуществ систем хранения Infortrend — поддержка Enterprise SATA SSD в 2-контроллерных системах.
В комментариях читателей возник резонный вопрос: «Насколько отличается производительность SATA-дисков при работе напрямую и через MUX-плату?» В этой статье приводятся результаты тестирования SAN Infortrend DS 2012RE2, на которой был собран RAID10 из 6 Enterprise SSD Intel с интерфейсом SATA. Для тестов использовали 3 способа подключения дисков:

  • Прямое подключение (1-контроллерный вариант)
  • Подключение через MUX 3G (2-контроллерный вариант)
  • Подключение через MUX 6G (2-контроллерный вариант)

Результаты тестирования
Total votes 13: ↑13 and ↓0+13
Comments7

«Под капотом» СХД Huawei: фирменные технологии, и чего нет у других

Reading time7 min
Views15K
Представленные на рынке системы хранения данных, в основной своей массе, мало чем отличаются друг от друга, ведь многие вендоры заказывают оборудование едва ли не у одних и тех же ODM-производителей. У нас же почти все свое, начиная от шасси и заканчивая контроллерами, технологиями типа RAID 2.0+ и софтом.



Под катом немного деталей про то, что такого необычного может быть в каждом из узлов системы хранения данных.
Читать дальше →
Total votes 24: ↑21 and ↓3+18
Comments31

Опыт реального импортозамещения с использованием российской СХД AERODISK

Reading time7 min
Views12K
Сейчас очень много по телевизору говорят об очередных успехах российских компаний на поприще импортозамещения. Рисуются дорожные карты, создаются реестры отечественных разработчиков, организовываются форумы, вкладываются гос. деньги (как обычно, не совсем понятно, куда).

О том, что скоро наступит светлое будущее и всех нас ждут российские операционные системы, базы данных и прочие нужные вещи, телевизор уже всем рассказал.



В реальности все, как обычно, обстоит несколько иначе…
Читать дальше →
Total votes 41: ↑28 and ↓13+15
Comments36

AccelStor – собственный взгляд на работу All Flash

Reading time10 min
Views2.5K

В настоящее время flash накопители все прочнее занимают нишу носителей информации в Enterprise сегменте. Этому способствует как значительное снижение их стоимости, так и увеличение емкости отдельных накопителей. Там, где еще недавно использовались только механические жесткие диски, сейчас активно эксплуатируют SSD. Причем речь идет не только о внутренних накопителях в клиентских системах, но и о дисковой подсистеме серверов и систем хранения данных. И в этом сегменте отдельное место занимают конфигурации систем хранения, где в качестве носителей используется только SSD. Это — так называемые All Flash системы.




Читать дальше →
Total votes 7: ↑6 and ↓1+5
Comments16

Архитектура, сертифицированная по SQL Server Data Warehouse Fast Track (DWFT): что это значит и как устроено

Reading time10 min
Views4.3K
Крупные производители популярного софта заботятся о своих заказчиках по-разному. Один из способов — создать программу сертификации. Чтобы, когда заказчики в раздумьях блуждают между аппаратными конфигами для конкретного софта, производитель этого софта мог подойти и с уверенностью показать пальцем: «Бери вот это и все будет хорошо».

Такую программу для своего SQL Server разработал Microsoft — SQL Server Fast Track (DWFT). По ней сертифицируются конфигурации хранилищ данных — те, которые соответствуют требованиям рабочей нагрузки и могут быть внедрены с меньшим риском, стоимостью и сложностью. Звучит прекрасно, но интересно все-таки оценить эти критерии на практике. Для этого мы подробно разберем одну из конфигураций, имеющих сертификацию SQL Server Data Warehouse Fast Track.


Читать дальше →
Total votes 10: ↑10 and ↓0+10
Comments0

Использование All Flash массивов AccelStor в проектах VDI

Reading time6 min
Views1.3K

Виртуальные рабочие столы (VDI), казалось бы, обладают огромным преимуществом перед обычными персональными компьютерами сотрудников. Однако в реальности требуется весьма производительное и к тому же дорогое «железо», чтобы виртуальная среда работала с адекватной скоростью и VDI не были раздражителем в трудовой деятельности персонала. Одним из бутылочных горлышек в инфраструктуре VDI является система хранения данных: от ее производительности напрямую зависит, стоит ли связываться с данной технологией или нет.



Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments2

Использование компонентов сторонних производителей в СХД на примере Qsan

Reading time5 min
Views1.7K

Информационным поводом для написания данной статьи стала официальная поддержка со стороны Qsan подключения к СХД полок расширения сторонних производителей. Этот факт заметно выделяет Qsan среди прочих вендоров и даже в некоторой степени ломает привычное положение на рынке СХД. Однако просто написать о связке СХД Qsan + «чужой» JBOD нам показалось не так интересно, нежели затронуть отчасти холиварную тему использования компонентов сторонних производителей.



Читать дальше →
Total votes 3: ↑3 and ↓0+3
Comments1

Как делается российское железо для СХД Аэродиск Восток на Эльбрусах

Reading time9 min
Views25K


Всем привет. Как мы и обещали, погружаем читателей Хабра в детали производства российских аппаратных платформ для СХД Аэродиск Восток на процессорах Эльбрус. В этой статье мы пошагово опишем производство платформы Яхонт-УВМ Э124, которая в 5 юнитах эффективно вмещает 124 диска, может работать при температуре +30 градусов по Цельсию и при этом не просто работает, а хорошо работает.


Также 05.06.2020 мы организовывали вебинар, где подробно рассказали о технических нюансах производства СХД Восток и заодно ответили вопросы. Запись можно посмотреть по ссылкам ниже:


Промо-версия (краткое содержание за 5 минут)



Полная версия


Total votes 94: ↑88 and ↓6+82
Comments149

Dell EMC PowerStore: коротко о нашей новейшей СХД корпоративного класса

Reading time9 min
Views10K
Совсем недавно наша компания представила новый продукт – Dell EMC PowerStore. Это универсальная платформа с ориентированным на производительность дизайном, обеспечивающим многомерное масштабирование, постоянное сокращение данных (компрессия и дедупликация) и поддержку носителей нового поколения. PowerStore использует микросервисную архитектуру, передовые технологии хранения и интегрированное машинное обучение.

Именно об этом устройстве мы хотим вам подробно рассказать – информации пока мало и, надеемся, из первых рук получить её будет не только приятно, но и полезно. В сегодняшнем посте пробежимся по ключевым свойствам и особенностям решения, а в следующих погрузимся в технические детали и вопросы разработки глубже.


Читать дальше →
Total votes 1: ↑1 and ↓0+1
Comments9

Подключение СХД Qsan к гипервизору VMware ESXi

Reading time7 min
Views12K

Эксплуатация технически сложного оборудования, типа систем хранения данных, подразумевает наличие у администратора определенных навыков. Однако высокие технологии шагают в массы. И, соответственно, растет число пользователей, впервые столкнувшиеся с ними. Уверены, что статьи в стиле How To являются отличным способом пополнить багаж знаний как для новичков, так и узнать нюансы и особенности для опытных пользователей.


В данной статье мы рассмотрим порядок подключения СХД Qsan к гипервизору VMware ESXi, а также по возможности дадим практические советы по тюнингу настроек для достижения максимальной эффективности использования оборудования.

Читать дальше →
Total votes 1: ↑1 and ↓0+1
Comments0

Подключение СХД Qsan к серверам в среде Windows Server и Hyper-V

Reading time7 min
Views14K

Мы продолжаем цикл публикаций из серии How To для пользователей СХД Qsan. В данной статье пойдет речь о подключении СХД к серверам на базе Windows Server, в том числе при использовании функционала виртуализации Hyper-V.


Читать дальше →
Total votes 4: ↑4 and ↓0+4
Comments6

СХД Qsan в системах видеонаблюдения

Reading time6 min
Views1.1K

Окружающий мир определенно не такой, каким он был десяток лет назад. В то время никто бы не поверил, что за нами будет пристально следить 24 часа в сутки огромное количество видеокамер. Если раньше видеонаблюдение было развернуто лишь в наиболее уязвимых, с точки зрения безопасности, местах, то сейчас редко можно встретить даже мелкий магазинчик без собственных видеокамер. В крупных мегаполисах применяется масштабное наблюдение за улицами, дворами домов и прочими общественными местами. Можно по-разному относиться к постоянному наблюдению за людьми и объектами (кто-то видит в этом безопасность, а кто-то – признаки тотального контроля), но решать технические вопросы в данной сфере все равно необходимо.



Читать дальше →
Total votes 3: ↑3 and ↓0+3
Comments0

Организуем платформу обработки потоковых данных из Kafka, Spark и Greenplum

Reading time8 min
Views9.7K

Привет, Хабр! 

Меня зовут Иван Хозяинов, а работаю в ITSumma, где изучаю и применяю технологии, связанные с большими данными, машинным обучением и аналитикой. В этой статье хочу рассказать о системе хранения и обработки данных и инструментах, которые встречаются на пути от сырых исходников до представления, удобного для последующего анализа. 

Поговорим, как связаны серверы в дата-центре и распределенные приложения для обработки данных и почему пришлось написать свой коннектор для Spark и Greenplum.

Читать далее...
Total votes 19: ↑18 and ↓1+17
Comments28

Эксплуатация Ceph: как распределять пулы по разным типам (HDD/SSD) и группам серверов

Reading time9 min
Views13K


В Ceph можно распределять пулы с данными по разным типам серверов: «горячие» данные хранить и реплицировать на SSD, «холодные» — на HDD. Кроме того, пулы одного кластера можно разделять физически. В статье расскажем, как это сделать.


Статья подготовлена на основе лекции Александра Руденко, ведущего инженера группы разработки «Облака КРОК». Лекция доступна в рамках курса по Ceph в «Слёрме». Тема была добавлена уже после релиза видеокурса, в январе 2021. Также в январе в рамках развития курса появились новые практические задания:


  • Установка при помощи cephadm.
  • Установка при помощи Ansible.
  • Использование Ceph: объектное хранилище.
  • Пулы и классы хранения Ceph.
Читать дальше →
Total votes 17: ↑17 and ↓0+17
Comments4

Тестируем СХД OceanStor Dorado V6: производительность и отказоустойчивость

Reading time6 min
Views3.6K


Ранее я рассказывал о результатах проверки работы некоторых функций младшей модели OceanStor Dorado V6 от компании Huawei. Была протестирована работа мгновенного виртуального снимка HyperSnap, функций создания мгновенных снимков с высокой частотой HyperCDP и полных копий исходных данных с использованием расписания HyperClone, а также настройки приоритезации потоков ввода-вывода SmartQOS.


Более подробно об организации стенда, подключении оборудования и проведенных ранее испытаниях можно прочитать в предыдущей части.


Ну а теперь, как и обещал, перейдем к тестированию производительности и отказоустойчивости.

Читать дальше →
Total votes 9: ↑9 and ↓0+9
Comments4