Как стать автором
Обновить

Завершается техно-квиз Huawei

Время на прочтение1 мин
Количество просмотров1.5K

На форуме Huawei Enterprise - последний день нового квиза! Интересно будет как IP, так и IT специалистам. Ответив на него, вы сможете проверить свои знания в самых разных сферах. Вопросы касаются MPLS, сроков хранения данных на разных носителях, нейросетей и многого другого. Участвуйте до 29 декабря включительно и получайте награду за каждый верный ответ.

Поздравляем всех наших читателей с Новым годом и желаем всегда находиться в здравом уме, твердой памяти и давать верные ответы на вопросы, которые подбрасывает вам жизнь.

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

CSI и S3 в Kubernetes. Каждому свое: Ceph, Minio, TopоLVM

Время на прочтение5 мин
Количество просмотров6.7K

Без хранилища данных не заработает ни одно stateful-приложение, это известно всем. А вот как и какое хранилище развернуть - это вопрос к специалистам. Сегодня расскажем, как мы “готовим” Ceph и в каких случаях используем TopоLVM и Minio.

Ceph, Minio, TopоLVM
Всего голосов 4: ↑4 и ↓0+4
Комментарии1

Производительность софт nvme рейдов на основе mdadm, LVM, ZFS и LVM+vdo

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров5K

Тестирование программных рейдов с NVMe U.2 дисками для выбора основы блокового хранилища для виртуализации.

Читать далее
Всего голосов 12: ↑11 и ↓1+10
Комментарии20

«Сделайте мне красиво!» Выпуск №26

Время на прочтение1 мин
Количество просмотров492
Вашему вниманию очередной выпуск подкаста о веб-разработке «Сделайте мне красиво!»

Show notes:


Наши ссылки: RSS и лента на rpod.ru
Всего голосов 4: ↑3 и ↓1+2
Комментарии0

Почему в Kubernetes так сложно с хранилищами?

Время на прочтение5 мин
Количество просмотров23K


Когда пришли оркестраторы контейнеров, вроде Kubernetes, подход к разработке и деплою приложений изменился кардинально. Появились микрослужбы, а для разработчика логика приложения больше не связана с инфраструктурой: создавай себе приложения и предлагай новые функции.


Kubernetes абстрагируется от физических компьютеров, которыми управляет. Только скажите ему, сколько надо памяти и вычислительной мощности, — и все получите. Ифраструктура? Не, не слыхали.


Управляя образами Docker, Kubernetes и приложения делает переносимыми. Разработав контейнерные приложения с Kubernetes, их можно деплоить хоть куда: в открытое облако, локально или в гибридную среду, — и при этом не менять код.


Мы любим Kubernetes за масштабируемость, переносимость и управляемость, но вот состояния он не хранит. А ведь у нас почти все приложения stateful, то есть им нужно внешнее хранилище.

Читать дальше →
Всего голосов 25: ↑22 и ↓3+19
Комментарии5

STM32F103C8T6 как накопитель flash с файловой системой FAT12

Время на прочтение3 мин
Количество просмотров15K
При разработках устройств часто бывает необходимым хранить настройки вне рабочей программы. Еще лучше иметь возможность их модификации без использования специальных средств.

Рассмотрим вариант хранения в пожалуй самых распространенных микроконтроллерах STM серии F103. Способствовала распространенности также всем известная макетная плата Blue Pill

image
Имеющаяся в ней flash позволяет не только хранить и модифицировать настройки используя файловую систему FAT12 во внутреннем flash, но и организовать обновление прошивки.

Согласно документации в STM32F103C8T6 имеется 64К flash памяти. Однако практически во всех STM32F103C8T6 установлено 128К. Об этом также упоминается в разных источниках — обычно ставят на 64К больше. Такая «фича» позволяет использовать микроконтроллер как flash накопитель объемом 128К — 20К (системные нужды FAT12) — размер прошивки.

Многие энтузиасты, пытавшиеся использовать данный контроллер как накопитель flash, сталкивались с проблемой его использования в режиме файловой системы FAT12. Использовать для снятия/заливки образа диска получалось. А вот при работе как с файловым накопителем начинались проблемы.
Читать дальше →
Всего голосов 38: ↑37 и ↓1+36
Комментарии12

Архитектура AERODISK vAIR или особенности национального кластеростроения

Время на прочтение7 мин
Количество просмотров2.8K


Привет, Хабровчане! Мы продолжаем знакомить вас с российской гиперконвергентной системой AERODISK vAIR. В этой статье речь пойдет об архитектуре данной системы. В прошлой статье мы разобрали нашу файловую систему ARDFS, а в данной статье пройдёмся по всем основным программным компонентам, из которых состоит vAIR, и по их задачам.

Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии8

СХД AERODISK на отечественных процессорах Эльбрус 8С

Время на прочтение15 мин
Количество просмотров28K


Привет, читатели Хабра. Хотим поделиться крайне приятной новостью. Мы, наконец-то, дождались реального серийного выпуска нового поколения российских процессоров Эльбрус 8С. Официально серийный выпуск должен был стартовать аж в 2016 году, но, по факту, именно массовое производство началось только в 2019 году и на текущий момент выпущено уже около 4000 процессоров.


Практически сразу после старта серийного производства данные процессоры появились и у нас в Аэродиске, за что хотим отдельно поблагодарить компанию НОРСИ-ТРАНС, которая любезно предоставила нам свою аппаратную платформу Яхонт УВМ, поддерживающую процессоры Эльбрус 8С, для выполнения портирования программной части СХД. Это современная, отвечающая всем требованиям МЦСТ универсальная платформа. На данный момент платформа используется спец.потребителями и операторами связи для обеспечения выполнения установленных действий при проведении оперативно-розыскных мероприятий.


На текущий момент портирование успешно завершено, и уже сейчас СХД AERODISK доступна в варианте с отечественными процессорами Эльбрус.


В этой статье мы расскажем о самих процессорах, об их истории, архитектуре и, конечно же, о нашей реализации СХД на Эльбрусе.

Читать дальше →
Всего голосов 53: ↑46 и ↓7+39
Комментарии181

Как делается российское железо для СХД Аэродиск Восток на Эльбрусах

Время на прочтение9 мин
Количество просмотров25K


Всем привет. Как мы и обещали, погружаем читателей Хабра в детали производства российских аппаратных платформ для СХД Аэродиск Восток на процессорах Эльбрус. В этой статье мы пошагово опишем производство платформы Яхонт-УВМ Э124, которая в 5 юнитах эффективно вмещает 124 диска, может работать при температуре +30 градусов по Цельсию и при этом не просто работает, а хорошо работает.


Также 05.06.2020 мы организовывали вебинар, где подробно рассказали о технических нюансах производства СХД Восток и заодно ответили вопросы. Запись можно посмотреть по ссылкам ниже:


Промо-версия (краткое содержание за 5 минут)



Полная версия


Всего голосов 94: ↑88 и ↓6+82
Комментарии149

Web Storage API: примеры использования

Время на прочтение11 мин
Количество просмотров25K


Доброго времени суток, друзья!

В данной статье мы рассмотрим парочку примеров использования Web Storage API или объекта «Storage».

Что конкретно мы будем делать?

  • Научимся запоминать время воспроизведения видео.
  • Поработаем с формой входа на страницу.
  • Напишем логику списка задач.
  • Реализуем чат.
  • Схематично набросаем корзину для товаров.

Итак, поехали.
Читать дальше →
Всего голосов 11: ↑9 и ↓2+7
Комментарии7

Bcache against Flashcache for Ceph Object Storage

Время на прочтение11 мин
Количество просмотров2.5K

Fast SSDs are getting cheaper every year, but they are still smaller and more expensive than traditional HDD drives. But HDDs have much higher latency and are easily saturated. However, we want to achieve low latency for the storage system, and a high capacity too. There’s a well-known practice of optimizing performance for big and slow devices — caching. As most of the data on a disk is not accessed most of the time but some percentage of it is accessed frequently, we can achieve a higher quality of service by using a small cache.

Server hardware and operating systems have a lot of caches working on different levels. Linux has a page cache for block devices, a dirent cache and an inode cache on the filesystem layer. Disks have their own cache inside. CPUs have caches. So, why not add one more persistent cache layer for a slow disk?
Read more →
Всего голосов 16: ↑16 и ↓0+16
Комментарии0

Backblaze — статистика жестких дисков за 2019

Время на прочтение4 мин
Количество просмотров30K


На 31 декабря 2019 г. у нас 124 956 работающих жестких дисков. Из них 2 229 загрузочных и 122 658 с данными. В данном обзоре мы рассмотрим статистику по отказам среди жестких дисков с данными. Также рассмотрим 12 и 14 TB версии дисков и новые 16 TB, которые мы активно используем с начала четвертого квартала 2019 года.


Статистика за 2019 год


На конец 2019 года мы мониторили 122 658 жестких дисков, использующихся для хранения данных. Мы убрали из расчета диски, которые использовались для тестирования, и диски, у которых нет наработки ~5 000 диско-дней (на модель) в течение четвертого квартала. Таким образом, мы собрали данные на основе 122 507 жестких дисков. Таблица ниже отображает нашу статистику:

Читать дальше →
Всего голосов 47: ↑47 и ↓0+47
Комментарии21

Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами

Время на прочтение8 мин
Количество просмотров53K

TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.


Читать дальше →
Всего голосов 26: ↑24 и ↓2+22
Комментарии13

Эфемерные тома с отслеживанием емкости хранилища: EmptyDir на стероидах

Время на прочтение9 мин
Количество просмотров4.3K

Эфемерные тома CSI позволили расширять Kubernetes с помощью драйверов CSI для обеспечения поддержки легковесных локальных томов. Этим способом возможно применять произвольные структуры: настройки, секреты, данные для идентификации, переменные и так далее. CSI драйверы должны быть доработаны для поддержки этой функции Kubernetes, поскольку предполагается, что обычные стандартизированные драйверы не будут работать - но предполагается, что такие тома можно использовать на любом узле, выбранном для пода.

Читать далее
Всего голосов 8: ↑8 и ↓0+8
Комментарии0

AWS re:Invent 2021. Keynotes — хранение данных и IoT

Время на прочтение13 мин
Количество просмотров1.5K

Вот и подходит к концу AWS re:Invent 2021 - одно из главных событий года в мире облачных технологий. И в этой статье мы хотели бы поделиться финальной порцией анонсов. Очень много интересных новостей, начиная со снижения цен на хранилище S3, запуска EC2 на базе M1, расширения сетевых возможностей, заканчивая множеством новинок и для разработчиков. Можно не только почитать, но и подключиться к стриму, где архитекторы из AWS обсудят эти новинки и ответят на ваши вопросы. Регистрация здесь

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

LINSTOR — это как Kubernetes, но для блочных устройств (обзор и видео доклада)

Время на прочтение10 мин
Количество просмотров19K

В июне я выступил на объединенной конференции DevOpsConf & TechLead Conf 2022. Доклад был посвящен LINSTOR — Open Source-хранилищу от компании LINBIT (разработчики DRBD). Основной идеей выступления было показать [на примере Kubernetes], как работает и устроен LINSTOR, какие проблемы решает, как его правильно настроить и использовать. Эта статья — основная выжимка из доклада (его полное видео см. в конце).

Читать далее
Всего голосов 41: ↑39 и ↓2+37
Комментарии5

Хранение и управление доступом на данные в хранилище S3

Время на прочтение13 мин
Количество просмотров32K

Привет! Сегодня хотим рассказать о, как использовать бакеты, хранить данные, настраивать политики и управлять доступом на данные при работе c объектным хранилищем S3.

Читать далее
Всего голосов 12: ↑12 и ↓0+12
Комментарии2

Как мы создали единый электронный архив документов MOEX Group на основе open source

Время на прочтение7 мин
Количество просмотров4.7K

ОPEN SOURCE + КОМАНДА = ХРАНИЛИЩЕ НА 7+ МЛН ДОКУМЕНТОВ

Продукты с открытым кодом потенциально несут в себе большую ценность, но, чтобы ей воспользоваться, нужно инвестировать время команды в исследования, отстаивать их результаты и верить в успех.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии2

Внутреннее устройство DRBD: алгоритмы работы отказоустойчивого хранилища

Уровень сложностиСложный
Время на прочтение13 мин
Количество просмотров6.2K

DRBD


Глубокое понимание внутреннего устройства DRBD позволяет более тонко настраивать работу системы и правильно планировать ресурсы. К счастью, у команды DRBD уже есть отличная документация, которая довольно подробно разбирает эту тему. Мы опирались на нее в своей работе, и решили перевести и выложить в открытом доступе 17-ю главу — как удобную шпаргалку по внутреннему устройству DRBD. Так что это не обычная статья, а перевод части официальной документации (исходная нумерация разделов сохранена).


В этой главе представлена информация о внутренних алгоритмах и структурах DRBD. Она довольно подробно рассматривает внутреннюю работу DRBD, но делает это не настолько глубоко, чтобы служить справочником для разработчиков. Для этой цели рекомендуем обратиться к материалам, перечисленным в разделе Publications, и, естественно, к комментариям в исходном коде DRBD.

Читать дальше →
Всего голосов 26: ↑25 и ↓1+24
Комментарии1

Готовим из ванильного Kubernetes PaaS-платформу для создания кластера. Опыт dBrain

Время на прочтение8 мин
Количество просмотров3.4K

Сегодня Kubernetes — одно из наиболее оптимальных решений для работы с микросервисной архитектурой. Но это не традиционная комплексная система PaaS. В ванильный K8s входит несколько стандартных компонентов, которые отвечают только за минимальный набор необходимых функций. Но для эффективной работы приложений и деплоя продуктовой среды необходимо множество дополнений — CNI, СSI, DNS, Ingress контроллер, внешние LB и т. д. Цель нашей команды — готовая для комфортной работы с кластером PaaS‑платформа. В этой статье мы расскажем, как готовим Kubernetes в dBrain.cloud, чтобы ее достичь.

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии0
1
23 ...