Всегда странно представлять себе времена, когда чего-то не было. Сложно сегодня представить себе, как мы жили без персональных компьютеров, без интернета, без торрентов, mp3, или без электрокопировальных аппаратов, в просторечии «ксероксов». Тем не менее всегда были времена, когда что-то привычное нам еще не существовало. Также обстояло дело и с понятием «снэпшота данных». Но сперва — что же такое «снэпшот»?

"Снэпшот" (дословно — «фотография», «моментальный снимок», здесь и далее под этим словом мы будем понимать конкретно, не уточняя, «снэпшот данных») это моментальная копия состояния данных в системе хранения, или программе, зафиксированная на определенный момент времени. Это может быть моментальное состояние содержимого файла, базы данных, или файловой системы (как частного случая «базы данных»).
В применении к системам хранения данных этот термин появился вместе с первыми системами хранения NetApp и был, на тот момент первой и главной их «фичей».

Впервые начавших использовать NetApp иногда сильно поражает вид «человека с толстой сумкой на ремне», курьера компании UPS, в понедельник утром принесшего коробку с новым жестким диском на замену вышедшему из строя в их системе вечером, после окончания рабочего дня, о факте чего админы, иногда, еще и сами не знали.
Админы не знали, а отдел поддержки NetApp уже узнал из сообщения системы Autosupport, обработал заявку, проанализировал ситуацию, и отправил жесткий диск на замену.

Дедупликация данных — это технология, при помощи которой обнаруживаются и исключаются избыточные данные в дисковом хранилище. В результате это позволяет сократить объёмы физических носителей для хранения тех же объёмов данных.
Дедупликация данных это одна из самых «горячих» тем в области систем хранения данных последних двух-трех лет. Ведь очевидно, что в том гигантском объеме данных, который сейчас приходится хранить современным системам хранения, неизбежно встречаются дубликаты и идентичные данные, за счет устранения которых можно было бы значительно сократить объемы хранения.
Пожалуй наибольшего успеха снискали реализации технологий дедупликации в области систем дискового резервного копирования (например EMC Avamar, Data Domain), однако компания NetApp первой объявила о возможности использования дедупликации для так называемых «primary storage», то есть основного, «боевого» хранилища активных данных, так как смогла предложить технологию дедупликации, практически не снижающую производительность его работы.
Сегодня я бы хотел рассказать как и за счет чего это удалось, и почему пока не получается у других.

Вот уже около 20 лет назад в жизнь IT-отделов компаний вошло понятие SAN — Storage Area Network или специализированная сеть устройств хранения данных. Использование централизованных хранилищ, на которых размещаются используемые на серверах приложений их дисковые разделы, подключенные по специальным высокоскоростным протоколам, позволило значительно повысить эффективность и гибкость использования дискового пространства.

Причины, стоявшие за созданием SAN, отчасти были теми же, что стояли ранее за созданием обычной локальной сети LAN и shared-устройств в ней. Вместо того, чтобы давать каждому клиентскому компьютеру по лазерному принтеру, который будет простаивать в 99% времени, лучше дадим ему доступ к коллективно используемому принтеру, пусть более мощному и дорогому, но используемому с более высокой средней загрузкой, и тем самым повысим уровень использования ресурса и его экономическую эффективность.
В том числе использование «общего дискового ресурса» решило и проблему «недоиспользования». Если минимально доступный диск SATA на сегодня обычно не менее 500GB, то если мы не используем его для хранения накачанного из торрентов видео, то обычно, в рядовом использовании, он пуст на 90-95%. Типовая установка OS занимает 2-8 GB, приложения и его данные еще сколько-то, чаще всего несколько гигабайт, все же остальное пространство остается свободным, но увы, недоступным для, возможно, нуждающихся задач на других компьютерах.

Unified Storage называется «мультипротокольная» система хранения, такая, когда с данными, которые на ней хранятся, можно работать по разным протоколам в рамках одной и той же системы. Обычно под unified storage понимают систему, которая способна работать одновременно и в SAN-сети, то есть с «блочным доступом» по протоколам FC или iSCSI, и как NAS-устойство, для хранения файлов.

А началось все в начале 2000-х, когда компания NetApp выпустила на рынок свою новую серию хранилищ под названием FAS — Fabric Attached Storage — что-то типа «подключаемая в сетевую инфраструктуру система хранения», дело в том, что инфраструктура Fibre Channel, состоящая из коммутаторов, традиционно называется Fabric, «фабрика».
Такие системы могли работать как хорошо себя зарекомендовавшие с 1994 года NAS-системы компании, то есть как сетевые файловые хранилища по протоколам NFS и CIFS, но также одновременно и как SAN-устройства хранения, по протоколу FibreChannel (а вскоре к ним добавился и «IP-SAN», «блочный» протокол iSCSI).

В своем первом посте в этом блоге я обещал рассказать вам о NetApp «с технической стороны». Однако прежде чем рассказать о большинстве из имеющихся в системах NetApp возможностей, мне придется рассказать о «фундаменте», о том, что лежит в основе любой системы хранения NetApp — о специальной структуре организации данных, которую традиционно принято называть «файловой системой WAFL» — Write Anywhere File Layout — Файловой Структурой с Записью Повсюду, если перевести дословно.

Если вы сочтете, что «для Хабра» текст суховат, то потерпите, дальше будет интереснее, но не рассказать об устройстве того, что лежит в основе подавляющего большинства практических «фич» NetApp я не могу. В дальнейшем будет куда сослаться «для интересующихся» на подробное объяснение в следующих постах, о более практических «фишках».
Так, или иначе, но почти все, что NetApp умеет уникального растет именно из придуманной в начале 90-х Дэвидом Хитцем и Джеймсом Лау, сооснователями «стартапа» Network Appliance, файловой системы. Хороший аргумент за то, насколько важной и полезной может оказаться в будущем развитии изначально грамотная и продуманная «архитектура» продукта.

Шум вокруг планов в отношении Fibre Channel over Ethernet (FCoE), объявление о поддержке его почти каждым производителем в нашей индустрии, все выглядит так, словно этот транспорт намеревается в ближайшее время окончательно вытеснить существующие сети Fibre Channel. Усилия по стандартизации завершились ратификацией, в 2009 году, поэтому многие производители, в том числе (и одними из первых) NetApp, и наш давний партнер Cisco, активно выводят продукты с использованием FCoE на рынок.

Если вы сегодня используете технологию Fibre Channel, вам следует разобраться и подготовиться к приходу этой новой технологии. В этой статье, я попробую ответить на некоторые важные вопросы, которые могут возникнуть о технологии FCoE, такие как:

• Что такое FCoE?
• Почему именно FCoE?
• Каковы возможности FCoE?
• К чему нам готовиться в будущем?

Внимательно читающие Хабр в последние несколько месяцев не могли не заметить, что тема энергоэффективности, экономии ресурсов и «альтернативных источников энергии» поднимается здесь все чаще (например: раз и два). Многие читатели до сих пор отчего-то считают, что «green»-технологии в IT это какая-то "придурь зажравшихся американцев", которые борются зимой против «глобального похолодания», летом — против «глобального потепления», и все это «не для нас», мы прекрасно обойдемся и без этого.

Однако, кроме «экологичности», которая, без сомнения, важна, основную роль в столь большом интересе к энергосберегающим технологиям играют прежде всего простые и вполне очевидные, меркантильные, практические соображения. Если вам кажется, что экономия электричества в датацентре это только лишь «придурь экологов», значит вам не приходилось еще встречаться с по настоящему большими проектами и по настоящему большими счетами за электричество, или же сталкиваться с тем фактом, что лимиты по электропитанию в датацентре останавливают рост вашей IT-инфраструктуры, и, как следствие, прибылей вашей компании.
Например, в конце 2008 года компания Facebook платила около миллиона долларов ежемесячно только по счетам за электричество в своих датацентрах.

Переход на более высокие нормы энергоэффективности в датацентре и экономия ресурсов, в первую очередь электропитания и охлаждения, может принести компаниям экономию средств, выражающуюся во вполне полновесных, и немалых, долларах.
Компания NetApp давно и успешно занимается исследованиями по поиску эффективных решений в IT и «начала перестройку с себя», использовав эти решения в разработке своих собственных датацентров.
Именно об этом сегодняшняя статья.

Хотя на Хабре уже публиковались некоторые заметки о технической стороне создания фильма Avatar, например в блоге компании HP была заметка о создании рендерфермы, построенной на blade-системах HP, мне показалось, что эта тема остается весьма любопытной для «технарей», как же там все делается «за кадром», в проектах такого масштаба, тем более, что системы NetApp непосредственно участвовали в создании фильма. Поэтому я решил перевести эксклюзивно для Хабра статью из недавно вышедшей свежей «электронной ежемесячной газеты» Tech Ontap. Кстати, можно подписаться и на русскую ее версию.

Фильм Avatar, вышедший на экраны в этом году, побил все рекорды сборов, добравшись до величины в 2.7 миллиардов долларов, и продолжая собирать кассу. Weta Digital, компания создания визуальных эффектов, занимавшаяся созданием спецэффектов и компьютерной анимации для этого фильм, также побила несколько своих собственных рекордов при создании впечатляющего 3D-мира Avatar. Weta Digital получила широкую известность в профессиональной среде после выхода трилогии «Властелин Колец» (The Lord of the Rings) и ряда последующих фильмов, таких, как King Kong и District#9, но создание Avatar потребовало совершенно особых технических усилий.

«NetApp? Это еще кто?» — возможно скажет рядовой российский IT-шник, прочитав заголовок поста.
Хотя, безусловно, как компания и ее продукты, NetApp рядовому хабраюзеру пока знакома гораздо меньше, чем, например, HP, или Microsoft, тем не менее пришла пора и ей появиться на Хабре. Тем более, я уверен, ей есть что рассказать интересного. NetApp всегда была «комьюнити-ориентированной» компанией, любящей и ценящей своих пользователей, я искренне хотел бы, чтобы в России она стала такой-же юзеролюбивой, как, например, у себя на родине, в США. Попробуем сделать этот шаг здесь.

Начав в 1993-м году как классический стартап, с идеи создания недорогого, простого в управлении, установке и обслуживании «устройства» (appliance) хранения данных, доступного любому, кому нужно хранить много данных на дисках, и быстро получать к ним доступ, компания угадала «волну» и получила широчайшую популярность в годы интернет-бума конца 90-х, когда молодым интернет-компаниям массово требовались такие несложные и производительные системы хранения на базе недорогих в использовании ethernet-технологий, которые «просто работают».

На конференции на прошлой неделе мне пришлось потратить немало времени, убеждая одного заказчика, что NetApp производит устройства, работающие в SAN. Имидж NetApp как компании, являющейся в первую очередь лидером на рынке NAS, очень силен, и далеко не все знают, что первые SAN устройства в рамках идеи Unified Storage были выпущены NetApp в 2002 году.

Сейчас, когда производители оборудования (в первую очередь Cisco) раскручивают идею FCoE как SAN следующего поколения (SAN 2.0 так сказать), и обращаются к идее использования единого провода для совмещения блочного и файлового трафика, NetApp пока остается первым и единственным, у кого есть end-to-end FCoE решение. Если коротко — в существующие СХД можно установить FCoE адаптеры. У других — нет родной поддержки FCoE. Интересность таких адаптеров именно в совмещении типов трафика – по ним можно передавать и блочные данные (FCoE, iSCSI – доступно сейчас), и файловые данные (CIFS, NFS – будет доступно позднее).

UPD. Чтобы было понятно, о каком конкретно железе говорим:

Возвращаясь с тренинга NetApp по новой ОС ONTAP8, я разговорился с соседом в самолете. Так как в руках у меня были материалы по курсам, речь, конечно же, зашла про IT-технологии. Оказалось, Марк директор продаж интернет-магазина модной одежды и переводит свои вычислительные ресурсы к провайдеру – то есть становится потребителем «облаков». Теперь он знает, что его «облака» поддерживаются системами NetApp :). Одним словом, облака рядом, они вокруг вас!

Эта и многие другие подобные случайные встречи с людьми, в чьих компаниях установлены системы NetApp вдохновили меня на создание этого блога! Мне хотелось бы расширить круг общения и вовлечь людей в жизнь нашей компании. Исходя из универсальности СХД NetApp, буду писать в этом блоге о широком спектре задач, решаемых нашими системами. Обязательно приведу пару интересных кейсов.

Сергей Сызько.
Системный инженер