Хранение данных *

В сети достаточно много информации о SMART и значениях атрибутов. Но мне не встречались упоминания о нескольких важных моментах, про которые знаю от людей, занимающихся исследованием носителей информации.

Когда я в очередной раз рассказывал знакомому о том, почему показаниям SMART не следует безоговорочно верить и почему лучше не использовать классические «мониторилки СМАРТа» постоянно, пришла в голову идея записать сказанные слова в виде набора тезисов с пояснениями. Чтобы давать ссылки, вместо того, чтобы каждый раз пересказывать. И для ознакомления широкой аудитории.

Intel Optane PMem серии 200 — это новое поколение высокопроизводительной памяти в формате DIMM на базе чипов Intel Optane, оптимизированное для работы с процессорами Intel Xeon Scalable Gen3. По сравнению с предыдущим поколением серия 200 обеспечивает до 25% прироста скорости данных при неизменном энергопотреблении — не более 18 Вт TDP для модуля объемом 512 Гб. Под катом — более подробные характеристики линейки, а также шпаргалка-напоминалка о принципах работы PMem.

Две недели назад, на форумах обнаружили базы данных 600 тысяч клиентов сервисов Avito и Юла, среди которых фигурируют реальные адреса и номера телефонов. Базы до сих пор размещены в свободном доступе, их может скачать любой желающий. А представьте сколько человек уже скачало базу с умыслом разослать спам или, что еще хуже, выманить данные платежных карт пользователей. Администрация форумов не удаляет базы, так как

Повторяться, но каждый раз по-новому – разве не это есть искусство?

Станислав Ежи Лец, из книги «Непричёсанные мысли»

Словарь определяет репликацию как процесс поддержания двух (или более) наборов данных в согласованном состоянии. Что такое «согласованное состояние наборов данных» – отдельный большой вопрос, поэтому переформулируем определение проще: процесс изменения одного набора данных, называемого репликой, в ответ на изменения другого набора данных, называемого основным. Совсем не обязательно наборы при этом будут одинаковыми.



Поддержка репликации баз данных – одна из важнейших задач администратора: почти у каждой сколько-нибудь важной базы данных есть реплика, а то и не одна.

Среди задач, решаемых репликацией, можно назвать как минимум

• поддержку резервной базы данных на случай потери основной;
• снижение нагрузки на базу за счёт переноса части запросов на реплики;
• перенос данных в архивные или аналитические системы.

В этой статье я расскажу о видах репликации и о том, какие задачи решает каждый вид репликации.

Может быть пора? Такой вопрос рано или поздно появляются у коллег, которые используют Lotus в качестве почтового клиента или системы документооборота. Запрос на миграцию (по нашему опыту) может возникнуть на совсем разных уровнях организации: от топ-менеджмента до пользователей (особенно, если таких много). Вот несколько причин, почему миграция с Lotus в Exchange — не такая уж и простая задача:

• RTF формат IBM Notes не совместим с форматом RTF Exchange;
• IBM Notes использует SMTP-формат адресов только для внешних писем, Exchange для всех;
• Необходимость сохранения делегирований;
• Необходимость сохранения метаданных;
• Часть писем может быть зашифрована.

А если Exchange уже есть, но Lotus ещё используется, возникают проблемы сосуществования:

• Необходимость использования скриптов или сторонних систем для синхронизации адресных книг между Domino и Exchange;
• Domino использует plain text для отправки писем в другие почтовые системы;
• Domino использует формат iCalendar для отправки приглашений в другие почтовые системы;
• Невозможность Free-Busy запросов и совместного бронирования ресурсов (без использования сторонних решений).

В этой статье мы разберем специализированные программные продукты Quest для миграции и сосуществования: Migrator for Notes to Exchange и Coexistence Manager for Notes соответственно. Под катом пошаговый алгоритм миграции и другие подробности по процессу миграции.

Четвертая стадия эмоционального реагирования на изменения – депрессия. В этой статье мы расскажем вам о нашем опыте прохождения самой затяжной и малоприятной стадии – об изменениях бизнес-процессов компании с целью достижения их соответствия стандарту ISO 27001.

Ожидание

Первый вопрос, которым мы задались после выбора сертифицирующего органа и консультанта – сколько времени нам реально понадобится на все необходимые изменения?

Изначальный план работ был расписан так, что мы должны были уложиться за 3 месяца.

Storage Corridor by St-Pete

Всем привет! Я Mons Anderson, архитектор платформы Mail.ru Cloud Solutions, расскажу, как мы построили наше S3-хранилище, как оно работает, какие решения оказались удачными, а какие стоило изменить, если бы мы начали такой же проект с нуля сейчас.

Статья подготовлена на основе доклада на @Databases Meetup by Mail.ru Cloud Solutions & Tarantool. В статье поговорим:

• как было устроено хранилище Mail.ru, поверх которого мы строили S3-хранилище;
• что мы добавили, чтобы сделать Mail.ru Cloud Storage;
• как работает объектная модель хранения и какие сделаны шаги для выхода в продакшен;
• про доработки боевой системы: фейловер и масштабирование;
• как мы реализовали шардирование и решардинг;
• а также про работу с SSL-сертификатами.

Если не хотите читать, можно посмотреть.

C мая 2020 года в России стартовали официальные продажи внешних винчестеров WD My Book, поддерживающих аппаратное шифрование AES с 256-битным ключом. В силу законодательных ограничений, ранее подобные устройства можно было приобрести лишь в зарубежных интернет-магазинах электроники либо на «сером» рынке, однако теперь обзавестись защищенным накопителем с фирменной 3-летней гарантией от Western Digital может любой желающий. В честь этого знаменательного события мы решили сделать небольшой экскурс в историю и разобраться, как появился Advanced Encryption Standard и чем же он так хорош по сравнению с конкурирующими решениями.

TL;DR Пожалуйста, выносите код миграции данных в Rake-задачи или пользуйтесь полноценными гемами в стиле миграций схемы. Покрывайте тестами эту логику.

Intro

16 июля 2020 года Европейский Суд (CJEU) обнародовал свое решение по делу C-311/18, известное как Schrems II. CJEU постановил, что EU-U.S. Privacy Shield должен быть признан недействительным. В свою очередь, Standard Contractual Clauses (SCCs), юридический инструмент, который позволяет осуществлять передачу данных из ЕС в третьи страны, признан действительным.

EU-U.S. Privacy Shield

EU-U.S. Privacy Shield был механизмом “адекватности”, который позволял организациям, которые придерживались регулирующих принципов, передавать персональные данные из ЕС в США.

Что дальше?

На момент написания данной статьи, вердикт CJEU оставляет передачу данных из ЕС в США в подвешенном состоянии. Очевидно, что Privacy Shield больше не может быть использован, но остается много вопросов относительно того, остаются ли SCC действительными для передачи данных между ЕС и США или другими странами с эффективными национальными системами надзора.

FAQs:

Мы в коммуникационной группе Dentsu Aegis Network ежегодно проводим исследование Digital Society Index (DSI). Это наш глобальный ресерч в 22 странах мира, включая Россию, о цифровой экономики и ее влиянии на общество.

В этом году мы, конечно, не могли обойти стороной COVID-19 и решили посмотреть на то, как пандемия повлияла на цифровизацию. В итоге DSI 2020 вышел в двух частях: первая посвящена тому, как люди стали использовать и воспринимать технологии на фоне коронавирусных событий, вторая – как они теперь относятся к приватности и оценивают уровень своей уязвимости. Делимся результатами нашего исследования и прогнозами.

Затраты на хранение данных зачастую становятся основным пунктом расходов при создании системы видеонаблюдения. Впрочем, они были бы несравнимо больше, если бы в мире не существовало алгоритмов, способных сжимать видеосигнал. О том, насколько эффективны современные кодеки, и какие принципы лежат в основе их работы, мы и поговорим в сегодняшнем материале.

С пониманием смотрим на реалии

Все мы с вами знаем текущую ситуацию "технологического прорыва", "скачка", "прыжка" в технологиях микроэлектроники России. Но все мы так или иначе в глубине души верим в светлое будущее, ведь у нас много умных ребят, развитость ИТ-инфраструктуры и открытый внутренний сегмент процессоров внутри страны.

Микропроцессорные решения мировых компаний

Говоря о микропроцессорах на архитектуре х86 и ARM v7, самым показательным будет то, что практически каждый из нас при покупке ПК даже не задумывается о чем-то альтернативном от

Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт».

Я расскажу вам о замечательном инструменте для разработки ETL-процессов — Apache Airflow. Но Airflow настолько универсален и многогранен, что вам стоит присмотреться к нему даже если вы не занимаетесь потоками данных, а имеете потребность периодически запускать какие-либо процессы и следить за их выполнением.

И да, я буду не только рассказывать, но и показывать: в программе много кода, скриншотов и рекомендаций.

Что обычно видишь, когда гуглишь слово Airflow / Wikimedia Commons

Как-то понадобилось интегрировать Росплатформу (Р-Виртуализацию и Р-Хранилище) с аппаратным СХД( 3PAR), и это может очень пригодится в различных сценариях.
 

Конфигурация Synergy

Ранее такого рода интеграция тестировалась на лезвиях(Blade CH121 v5) блейд центра Huawei c СХД Dorado 5000 v3, где SDS(software-defined storage) Р-Хранилище Росплатформы поверх СХД показал себя довольно хорошо за счет all flash, но с Synergy, при наличии JBOD дисков с модуля D3940, все намного интереснее и гибче.

CAP-теорема является краеугольным камнем теории распределённых систем. Конечно, споры вокруг неё не утихают: и определения в ней не канонические, и строгого доказательства нет… Тем не менее, твёрдо стоя на позициях бытового здравого смысла™, мы интуитивно понимаем, что теорема верна.



Единственное, что не очевидно, так это значение буквы «P». Когда кластер разделился, он решает – то ли не отвечать, пока не будет набран кворум, то ли отдавать те данные, которые есть. В зависимости от результатов этого выбора система классифицируется либо как CP, либо как AP. Cassandra, например, может вести себя и так и так, в зависимости даже не от настроек кластера, а от параметров каждого конкретного запроса. Но если система не «P», и она разделилась, тогда – что?

Ответ на этот вопрос несколько неожиданный: CA-кластер не может разделиться.
Что же это за кластер, который не может разделиться?

Скандал с утечкой данных водительских удостоверений через Telegram-бота прогремел на всю Украину. Подозрения изначально пали на приложение государственных услуг “ДІЯ”, но причастность приложения к этому инциденту быстро опровергли. Вопросы из серии “кто и как слил данные” доверим государству в лице украинской полиции, СБУ и компьютерно-технических экспертов, но вот вопрос соответствия нашего законодательства о защите персональных данных реалиям диджитал эпохи рассмотрел автор публикации Вячеслав Устименко, консультант юридической компании Icon Partners.

Поправки в закон двадцатилетней давности расширили полномочия западных правоохранительных органов. Инициативу встретили прохладно, и мы решили разобраться в сути дела.

Привет, Хабр! У нас отличная новость для тех, кто предпочитает обезопасить свои данные, которые хранятся не только на внутренних накопителях ПК и ноутбуков, но и на съемных носителях. Дело в том, что 20 июля наши американские коллеги из Kingston объявили о выпуске трех USB-накопителей с поддержкой стандарта USB 3.0, емкостью 128 Гбайт и функцией шифрования. Если быть точнее, речь идет о моделях Kingston DataTraveler Locker+ G3, Kingston DataTraveler Vault Privacy 3.0 и Kingston DataTraveler 4000 G2. Далее по тексту мы детально поговорим о каждом из накопителей и расскажем, что они умеют, помимо обеспечения безопасности.

В современном мире наиболее ценным активом является информация. Информация помогает оптимизировать бизнес-процессы, анализировать рынок и принимать стратегически важные решения, определяющие будущее вашей компании, и даже выстраивать доверительные отношения с клиентами, повышая их лояльность. Однако по мере роста объема обрабатываемых данных любое предприятие неизбежно сталкивается с проблемой нехватки места для их хранения. В ситуациях, когда на первый план выходят не вычислительные мощности, а объем доступного дискового пространства, наиболее рентабельным решением для масштабирования IT-инфраструктуры оказываются дисковые полки JBOD. Именно о них мы и поговорим в сегодняшнем материале.