Как стать автором
Обновить
163.69

Хранение данных *

Что имеем, то храним

Сначала показывать
Порог рейтинга
Уровень сложности

Эффективные вложения в ИТ: Как посчитать ROI при внедрении ПО на примере системы маскирования данных

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров718

Всем привет! Меня зовут Али Гаджиев, я Директор по продукту в компании Crosstech Solutions Group. Мы с моими коллегами Продакт-менеджером Дмитрием Симаком и Руководителем отдела анализа данных и машинного обучения Владимиром Коршуновым решили поднять ту тему, которую, зачастую, технари игнорируют. Мы умеем создавать классные продукты, готовы интересно их заносить функциональным заказчикам, но как только доходим до людей, которые внутри заказчиков выделяют деньги, мы оказываемся (не часто, но бывает) в тупике, слыша вопрос «А зачем мне выделять деньги на автоматизацию, если руками делать дешевле?».

Поэтому, в данной статье мы немного поговорим о функционале нашего продукта Jay Data и много о деньгах.

Итак, в современном мире, где данные являются одним из самых ценных активов компаний, обеспечение их безопасности становится приоритетной задачей. Сложный экономический климат заставляет компании уделять первоочередное внимание инициативам по сокращению затрат и тщательно проверять рентабельность инвестиций (ROI) перед тем, как они будут сделаны.

В данной статье мы рассмотрим важность применения систем маскирования баз данных для защиты конфиденциальной информации и, самое главное, подчеркнем, что инвестиции в такие системы оказываются рентабельными и приносят прибыль за счет автоматизации ранее использованного ручного труда, повышения продуктивности в жизненном цикле разработки программного обеспечения, уменьшения рисков финансовых потерь и повышения эффективность работы компании и безопасности бизнеса.

Читать далее
Всего голосов 11: ↑8 и ↓3+5
Комментарии2

Шардирование (sharding). Эпизод 1: Начало и шардирование по идентификатору

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров5.8K

Divide et impera (разделяй и властвуй) – древний принцип для управления чем-то большим и сложным.

Многие из нас программируют. Многие из нас делают системы, сложные системы. Но некоторым повезло работать в ситуации, когда объёмы по-настоящему огромны и требования кажутся невыполнимыми. Шардировние – один из излюбленных счастливчиками, которых зовут приключения, приемов.

Что-нибудь разбить на кусочки – это круто! Переходите на сторону шардирования у нас есть печеньки!

За кусочками!!!
Всего голосов 22: ↑22 и ↓0+22
Комментарии7

1 апреля — о серьёзном: факапы бэкапов

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров12K

Первое апреля — день, когда все смеются, а разработчики и админы могут плакать, потому что 31 марта, во всемирный день бэкапа, происходит лютый шабаш хакеров, мошенников, интернет-хулиганов и всех тех, кто не против попробовать на прочность IT-мир. Мы попросили пользователей Хабра рассказать о своих факапах с бэкапами, чтобы другие могли поучиться в том числе на чужих ошибках. И, конечно, желательно их не повторять. Ну и, конечно, за такую информацию положены симпатичные призы.

Боишься ли ты не делать бэкапы?
Всего голосов 65: ↑64 и ↓1+63
Комментарии80

Почему люди не делают бэкапы?

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров15K
Есть у меня вузовский товарищ Сашка. Математик, физик, а теперь и разработчик (умело монетизирует мозги), умный до безобразия. Ещё в университете он проявлял патологическую собранность в походах: чего бы ни понадобилось, всё было у него в рюкзаке. Год за годом он погружался в тему жизнеобеспечения всё глубже — и вот в ковидные времена общество получило выживальщика, продуманного до мелочей. Это тот случай, когда тушёнка, сгущёнка, йодид калия, триста способов разжечь костёр, землянка в пригородном лесу уже выкопана и меблирована обставлена по последнему слову выживания. Так вот, этот разработчик, математик, физик и человек, желающий во что бы то ни стало сохраниться вместе с тихоходками, с полгода назад истерически кричал мне в трубку, что у него «стёрся» проект длиной в год. Причина истерики проста: он не сделал бэкап. И это могла быть курьёзная байка, но таких — сотни и тысячи. Это люди, которые доверяют какому-то авосю свой труд, свои силы, свой опыт, свои деньги, данные, судьбы своих компаний. А авось почему-то оказывается ненадёжным.


Это всё чёрная кошка виновата, а не бэкапы там какие-то несделанные

Почему так происходит? Предлагаю рассмотреть 9 возможных причин.
Читать дальше →
Всего голосов 58: ↑55 и ↓3+52
Комментарии90

Истории

Нескучная стеганография, или как мы зашифровали секретные ключи пользователей в джипегах

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров3.9K

Рассказываем, как использовать методы стеганографии и шифрования в децентрализованных сервисах на IPFS. Исключаем риски, связанные с централизованным хранением логинов и паролей. Используем метод LSB, «наименьший значащий бит». Внутри статьи — примеры кода на C# и алгоритме AES для шифрования и расшифровки. 

Читать далее
Всего голосов 11: ↑9 и ↓2+7
Комментарии4

Как установить Nextcloud с помощью Docker в ispmanager 6

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров2.8K

В этом гайде шаг за шагом пройдем процесс настройки среды для запуска NextCloud. Покажем, как запустить NextCloud на собственном сервере с ispmanager 6, используя интерфейс панели для установки Docker, а также настройку и запуск контейнеров с необходимым ПО — Nginx, MySQL, PHP и Nextcloud.

Изучать Docker и его команды не потребуется, так как работать будем через интерфейс ispmanager 6.

Запустить NextCloud
Всего голосов 6: ↑4 и ↓2+2
Комментарии2

А в чем проблема работать с файлами?

Уровень сложностиСредний
Время на прочтение53 мин
Количество просмотров27K

Данные - это важный компонент системы. Приложение может хранить их где угодно, но в результате все сводится к файлам. Файлы - это хорошая абстракция, но она протекает: если не знать того, как работают ОС или гарантии файловой системы, то легко выстрелить себе в ногу.

Меня увлекла тема отказоустойчивости, а конкретно - отказоустойчивой работы с файлами. В этой статье я попытался соединить все полученные знания:

Кто участвует в процессе записи

Ошибки, которые могут произойти

Что от нас зависит, а что нет

И самое главное - как это этого защититься

Читать далее
Всего голосов 170: ↑169 и ↓1+168
Комментарии23

Развитие баз данных

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров5.4K

В 60-х годах прошлого века возникла потребность в надежной модели хранения и обработки данных, особенно важной для банков и финансовых организаций. В то время отсутствовали единые стандарты работы с данными и моделями, и вся работа сводилась к ручной упорядоченной организации информации. Банкам удавалось записывать информацию о транзакциях в виде файлов в заранее подготовленную структуру, причем у каждой организации было собственное представление о том, как это должно выглядеть и функционировать. Также отсутствовали понятия консистентности (согласованности данных) и целостности данных. В таких файлах часто встречались дубликаты клиентов и их транзакций, которые приходилось уточнять и приводить в порядок вручную.

Данная статья захватывает ключевые моменты в развитии систем управления базами данных, от первых иерархических моделей до современных реляционных, NoSQL и NewSQL систем.

Читать далее
Всего голосов 12: ↑9 и ↓3+6
Комментарии10

ClickHouse как бэкенд для Prometheus

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров7.4K

Привет! Меня зовут Михаил Кажемский, я Lead DevOps в IT‑интеграторе Hilbert Team. В последнее время к нам часто обращаются заказчики, которым нужна помощь с организацией хранения долгосрочных метрик в российских облаках. Так как для многих эта задача сейчас актуальная, в данной статье мы с моим коллегой Денисом Бабичевым решили рассказать, как мы используем мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье вы найдете рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics.

Читать далее
Всего голосов 22: ↑22 и ↓0+22
Комментарии2

HDD, SSD или NVMe: что выбрать для виртуального сервера (тесты внутри)

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров12K


В сегодняшней статье разберём настройку одного из параметров конфигурации при заказе виртуального выделенного сервера. Речь пойдёт о типе накопителя, который будет использоваться для виртуалки. Попробуем вместе разобраться, чем виды накопителей отличаются друг от друга, и на что может повлиять тот или иной выбор.
Читать дальше →
Всего голосов 42: ↑37 и ↓5+32
Комментарии65

iOmega JAZ. Жёсткие диски со сменными блинами

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров6.3K
Приветствую всех!
Думаю, даже для далёких от темы компьютеров хорошо известно, что вскрытие обычного жёсткого диска приведёт к стопроцентной его порче. Но, как оказалось, для некоторых носителей есть исключения. Более того, существовали не просто «разборные» HDD, а такие, для которых извлечение блинов и повторная их установка были штатной операцией. Как же такое было возможно? Давайте разбираться.



Итак, в сегодняшней статье поговорим про iOmega JAZ, поистине интересный накопитель, совмещающий в себе свойства сразу нескольких компьютерных носителей. Узнаем, как устроены и как работают такие девайсы. Традиционно будет много интересного.
Читать дальше →
Всего голосов 44: ↑44 и ↓0+44
Комментарии36

iOmega JAZ. Жёсткие диски со сменными блинами

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров6.3K
Приветствую всех!
Думаю, даже для далёких от темы компьютеров хорошо известно, что вскрытие обычного жёсткого диска приведёт к стопроцентной его порче. Но, как оказалось, для некоторых носителей есть исключения. Более того, существовали не просто «разборные» HDD, а такие, для которых извлечение блинов и повторная их установка были штатной операцией. Как же такое было возможно? Давайте разбираться.



Итак, в сегодняшней статье поговорим про iOmega JAZ, поистине интересный накопитель, совмещающий в себе свойства сразу нескольких компьютерных носителей. Узнаем, как устроены и как работают такие девайсы. Традиционно будет много интересного.
Читать дальше →
Всего голосов 44: ↑44 и ↓0+44
Комментарии36

Сотни миллионов рублей: посчитали, сколько тратит бизнес на российские BI-решения

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров1.7K

Из чего складывается стоимость BI-решения? Сколько стоят отечественные BI-системы? Достоверные ответы на эти вопросы вы не нагуглите просто так. Да и для заказчиков ценник часто становится сюрпризом, уже не говоря о полной стоимости владения BI-системами.

Мы решили подсчитать, во сколько же на самом деле обходится BI для российских компаний, и провели небольшое исследование. О результатах которого я и рассказываю в этой статье (плюс провожу небольшой опрос).

Читать статью и пройти опрос
Всего голосов 5: ↑3 и ↓2+1
Комментарии4

Ближайшие события

Есть ли жизнь после Microsoft Teams и OneDrive?

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров12K

Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure.

Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. А можно арендовать выделенные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания. И об этом мы хотим поговорить с вами на примере Microsoft Teams и OneDrive.

Читать далее
Всего голосов 7: ↑6 и ↓1+5
Комментарии27

Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring

Время на прочтение15 мин
Количество просмотров1.8K

Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кешей.

В этой статье будет вся история внедрения с теорией, вопросами, ответами, ошибками, о которых я говорил на выступлении. Но кроме того, в конце есть обновления: что произошло и изменилось за это время. Мы рассмотрим весь процесс от появления задачи до результата:

Какие подходы к доставке изменений мы использовали.

Почему выбрали переход на CDC и в чём были сложности в работе с изменениями до этого. 

Чем YDB CDC отличается от других решений, как настроить правильно, и на какие грабли мы наступили в процессе.

Какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями.

Как поддерживать решение после внедрения.

Читать далее
Всего голосов 22: ↑22.5 и ↓-0.5+23
Комментарии2

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных

Время на прочтение15 мин
Количество просмотров2.2K

Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя решать довольно сложные и нестандартные проблемы, что очень увлекательно само по себе, а удачные решения приносят огромное удовлетворение.


В статье я попытаюсь погрузить читателя в проблемы, с которыми нам, инженерам YADRO, приходится сталкиваться при отладке программного обеспечения СХД. Также покажу особенности работы с такими системами. Расскажу, какие инструменты, а иногда и решения, которые мы пишем сами, приходится для этого применять. А еще постараюсь сформулировать условия, которые необходимы для нахождения причин возникновения ошибок обработки данных в системе.

Текст про особенности поиска багов был бы пустым без конкретных примеров, поэтому под катом вас ждет разбор случая, который как-то произошел в нашей лаборатории при тестировании производительности СХД.  

Читать далее
Всего голосов 17: ↑17 и ↓0+17
Комментарии2

Облачный апокалипсис. Файлохранилище на своём сервере

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров11K


Компания Microsoft сегодня (или с 1 апреля) блокирует доступ к облачным сервисам для корпоративных клиентов из России. С этого дня хранилище OneDrive станет недоступно, как и 50 других сервисов Microsoft. Аналогичная ситуация может сложиться с сервисами Amazon и Google. Это вызовет некоторые проблемы у компаний, хранящих файлы в облаке.

Если у пользователей нет резервных копий, им придётся в экстренном порядке переносить их на другой сервер, спасая с «тонущего корабля». К счастью, на этот случай есть удобные инструменты вроде Rclone, который одной командой копирует файлы с популярных облачных хостингов на свой сервер.
Читать дальше →
Всего голосов 42: ↑37 и ↓5+32
Комментарии48

Безопасность данных в BI-системе

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров586

Привет, Хабр! На связи Александр Чебанов, product owner Modus. Сегодня хочу поговорить о том, что такое безопасность данных, и какие свойства информации ее обеспечивают, где в BI-системах уязвимые места и как защитить свои данные. Поехали!

Читать далее
Рейтинг0
Комментарии0

Современные тенденции и проблемы управления данными на рынке РФ: вызовы 2024 года

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.5K

В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль.

Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ. 

Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения.

Читать далее
Всего голосов 7: ↑5 и ↓2+3
Комментарии1

Живы ли жесткие диски в 2024 году, и где их стоит применять

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров5.9K

Кажется, что эпоха жестких дисков давно ушла. SSD-накопители если не вытеснили HDD с рынка комплектующих для консьюмерских ПК, то сильно пошатнули их позиции. Иначе и быть не могло, когда имеешь дело с очевидно превосходящим решением, которое развивается семимильными шагами. Несмотря на это, жесткие диски все еще продаются и даже пользуются определенной популярностью. Эту статью мы подготовили для тех, кто сомневается и не уверен в рациональности приобретения (или, наоборот, не-приобретения) HDD в 2024 году. Никакого rocket science под катом -- только факты и их анализ, а также сегодня мы расскажем про пять сфер, в которых HDD остаются лучшее SSD.

Читать далее
Всего голосов 15: ↑9 и ↓6+3
Комментарии38