23 July 2009

Cloud computing: кто и как летает в облаках?

Оверсан-Скалакси corporate blog
Сегодня «облачными» вычислениями не удивишь никого: они везде и повсюду. А в условиях мирового финансового кризиса многие крупные компании, изначально не обращающие внимания на «облачные» сервисы и услуги, резко перенаправили свои денежные потоки именно туда, осознав давние ошибки и просчеты. В этой статье я не буду рассказывать Вам все о cloud computing’e — это мы сделаем как-нибудь в другой раз. Наша цель — рассказать об обстановке в мире, т.е. рассмотреть вопросы, по типу «кто есть who» в мире «облачных» вычислений.

Hardware in the cloud

«Железо в облаках» — это не самолеты в небе, как можно подумать :) Это всего лишь навсего аппаратное обеспечение, без которого не возможно (пока что) построение каких-либо сложных сетевых архитектур.

Основными hardware-игроками здесь являются такие мировые гиганты как Sun Microsystems, IBM, Dell, Hewlett Packard и Cisco. Все они предоставляют различные аппаратные решения, в том числе и готовые комплексные (купил и радуйся). Sun и HP славятся на весь мир своими серверами, хотя решения от Dell и IBM ничем не хуже. В принципе, каждое серверное решение может идеально подходить для одних задач, а для других — ну никак. Поэтому, выбирая комплексное сбалансированное решение, ты сильно переплачиваешь, но в итоге получаешь качественное «железо». По крайней мере, так считают сами hardware-гиганты. Вообще, тема выбора того или иного железа довольно обширная, и в рамках данной статьи мы не будем спорить, что же выбрать.

Также практически все из вышеперечисленных компаний предлагают хранилища для SAN, а также оборудование для организации оной сети.

Стоит также упомянуть о фирме Mellanox, которая занимает лидирующие позиции в мире по производству сетевых адаптеров и другого «железа» для Infiniband-технологии.

Но и это еще не все. Нельзя не рассказать еще о двух интересных компаниях F5 и Force10, с которыми в тесном сотрудничестве находятся IBM, Microsoft, VMware, Oracle, Citrix и многие другие известные компании с мировым именем. F5 или F5 Networks выпускают аппаратные решения для ускорения, сжатия трафика и балансировки нагрузки (global, local, link). Помимо этого они выпускают неплохие и недорогие решения для миграции данных и виртуализации. Компания Force10 Networks является крупнейшим поставщиком сетевого оборудования, ориентированного для работы в виртуальных сетях и с виртуальными серверами, а также устройств для агрегации трафика.

Теперь поговорим о сервисах, которые используют «облачные» вычисления и предоставляют какие-либо услуги, как для рядовых пользователей, так и для мега-корпораций с завышенными «аппетитами». Обычно, выделяют три вида сервисов: IaaS, PaaS и SaaS.

IaaS (Infrastructure-as-a-Service)

Суть IaaS проста: предоставить пользователю какую-либо инфраструктуру в виде сервиса. Это может быть VPS-площадка или просто хранилище данных с возможностью автоматического увеличения места (автомасштабирование), если оно вдруг закончится.

Первопроходцами в IaaS считается компания Amazon, которые на сегодняшний день предлагают 2 основных IaaS-продукта: EC2 (Elastic Compute Cloud) и S3 (Simple Storage Service). EC2 представляет собой Xen-хостинг со статическими VPS-характеристиками, которые не расширяются на лету (хотя многие подобные сервисы уже предоставляют т.н. auto scaling). Хранилище S3 имеет интерфейс WebDAV и поддерживает работу со многими известными языками программирования.

Среди крупных инфра-сервисных компаний следует выделить GoGrid и Gandi.

GoGrid имеет очень удобный интерфейс для управления VPS, а также cloud storage с поддержкой протоколов SCP, FTP, SAMBA/CIFS, RSYNC, причем размер хранилища масштабируется на лету. В скором времени разработчики обещают добавить управление посредством API. Но самая главная «вкусность» в том, что GoGrid предоставляет балансировщик нагрузки от компании F5, при чем абсолютно бесплатно.

Разработчики Gandi собираются запустить к середине 2009 года Gandi Auto Flex для автоматического масштабирования нагрузки VPS. Пока же пользователи могут лишь вручную изменять параметры виртуальных машин, и эти изменения производятся без остановки оных, что тоже неплохо.

Среди прочих Xen-хостинг компаний можно назвать Linode.com, Slicehost.com, WebbyNode.com, LeaseWeb (от компании VMware) и AppNexus (также используют балансировщик от F5).

Особняком сюда можно отнести такие программные продукты, как Enomaly и Eucalyptus.

Enomaly представляет собой решение для развертывания и управления виртуальными приложениями в облаке, при этом управление услугами осуществляется через браузер. Приятным дополнением является автоматическое масштабирование виртуальных машин под текущую нагрузку, а также автобалансировка нагрузки. Среди поддерживаемых виртуальных архитектур поддерживаются Linux, Windows, Solaris и BSD Guests. Для виртуализации применяют не только Xen, но и KVM, а также VMware.

Eucalyptus представляет собой программный комплекс с открытым кодом для реализации cloud computing на кластерных системах. В настоящее время интерфейс совместим с Amazon EC2, но заявлена поддержка и других.

PaaS (Platform-as-a-Service)

PaaS подразумевает предоставление пользователям какой-либо платформы (например, для разработки ПО или хостинга веб-приложений).

Самым известным примером такой платформы является AppEngine от Google, которая предлагает хостинг для веб-приложений с возможностью покупать дополнительные вычислительные ресурсы (например, для тестирования высоких нагрузок). Для запуска приложений Google AppEngine на виртуальных кластерных системах была разработана платформа AppScale, не имеющая, тем не менее, никакого отношения к Google.

В системах веб-поиска и контекстной рекламы компании Yahoo используется платформа Hadoop, ориентированная на передачу больших объемов данных между сетевыми серверами. На базе Hadoop построены HBase (аналог базы данных Google BigTable), а также HDFS (Hadoop Distributed File System, аналог Google File System).

Еще одним ярким представителем PaaS являются продукты компании Mosso:

— Cloud Sites — веб-хостинг (Linux, Windows, Mail) для нагрузочных веб-проектов с возможностью расширять базовые бесплатные — возможности за дополнительную плату (трафик, хранилище данных, вычислительная мощность).
— Cloud Files — файловый cloud-хостинг с ежемесячной погигабайтной оплатой за объем хранимых файлов. Управление осуществляется через браузер, либо посредством API (PHP, Python, Java, .NET, Ruby).
— Cloud Servers — почасовая аренда серверов (RAM в час), с возможностью выбора серверной ОС. Можно изменять характеристики сервера, но не в режиме реального времени. В скором времени разработчики обещают сделать API для управления серверами.

Для Ruby-разработчиков существуют неплохие платформы: Engineyard.com и Heroku.com. Engineyard основан на Amazon EC2 и Amazon S3. Обязательный минимальный платеж $25, независимо от того, сколько клиент израсходовал за месяц. Платформа Heroku только-только начала набирать обороты, поэтому на сайте еще нет полной информации и какой-либо документации, чтобы полноценно понять о ее возможностях.

SaaS (Software-as-a-Service)

Идея перенести весь софт в веб давно не нова. И SaaS тому подтверждение. Сейчас я приведу описание самых интересных, на мой взгляд, SaaS-продуктов.

Весьма схожими являются продукты MobileMe (Apple), Azure (Microsoft) и LotusLive (IBM). Суть данных сервисов в том, что они предоставляют пользователям доступ к хранению своих данных (контакты, почта, файлы), а также для совместной работы нескольких пользователей с документами.

Также вопросами хранения пользовательских данных в Интернет озадачена и компания Google, которая разрабатывает проект GDrive, который будет представлять собой виртуальный жесткий диск, который будет определяться ОС как локальный. Также заявлено, что можно будет хранить неограниченное количество данных, что звучит весьма заманчиво.

Хранение файлов без ограничений также предлагает MediaFire.com. Имеется как полностью бесплатное использование (правда, с некоторыми ограничениями, например, на максимальный размер загружаемого файла), так и покупка премиум-аккаунта, расширяющего возможности (например, шифрование файлов, получение прямых ссылок на скачивание).

Еще одним интересным представителем вида SaaS является продукт iCloud, представляющий собой операционную систему, работать с которой можно непосредственно через браузер. Интерфейс операционки выполнен в стиле Windows Vista/XP. На сегодняшний день проект находится в стадии беты и в самой ОС реализован минимум приложений.

Также к SaaS относятся услуги Online backup, или, проще говоря — резервному копированию данных. Пользователь просто платит абонентскую плату, а сервисы сами автоматически в определенное время шифруют данные с компьютера или другого устройства и отправляют их на удаленный сервер, тем самым данные могут быть доступны из любой точки земного шара. Данную услугу сейчас предоставляют множество компаний, в том числе, такие как Nero и Symantec.

Также многие SaaS-продукты строятся на технологии OLAP, которая, как известно, предназначена для организации быстрого доступа к большим объемам информации. Большинство OLAP-SaaS-решений — это бизнес-решения для построения отчетов и подсчетов статистических данных.

Интересное применение cloud-технологиям нашли и разработчики компьютерных игр: теперь современным компьютерам и игровым приставкам не будут нужны мощные графические адаптеры (видеокарты), ведь вся обработка данных и рендеринг будут производиться cloud-серверами, а игроки будут получать уже отрендеренное видео. Одним из первых заявил о себе сервис OnLive, и совсем недавно об этом заговорила и компания Sony, которая собирается внедрить данную идею в Playstation 3.

Virtualization software

Выбор ПО для построения «облачных» систем является, чуть ли не самым важным вопросом, наряду с выбором «железа». А выбрать есть из чего.

Крупнейшим мировым производителем технологий виртуализации IT-инфраструктуры является компания VMware (думаю, что все наслышаны о ее продуктах, поэтому заострим внимание на других компаниях).
Для мониторинга виртуальных машин, как известно, используют гипервизоры. Самыми популярными считаются Xen и Hyper-V от Microsoft.

Xen работает в паравиртуальном режиме и режиме аппаратной виртуализации (HVM). Гипервизор использует аппаратные возможности процессоров, поэтому не имеет привязки к конкретной ОС и может быть установлен «поверх» только лишь аппаратного обеспечения. Xen получил большое количество поклонников за свою возможность одновременной работы большого числа виртуальных машин на одной физической с минимальными затратами вычислительных ресурсов.

Технология, на которой построен Hyper-V, была ранее известна как Windows Server Virtualization — система виртуализации на основе гипервизора для х64-систем.

Интересным продуктом является QEMU — ПО с открытыми исходниками для эмуляции аппаратного обеспечения различных платформ (эмуляция процессоров Intel x86 и устройств ввода-вывода). Может эмулировать 80386, 80486, Pentium, Pentium Pro, AMD64 и другие; PowerPC, ARM, MIPS, SPARC, SPARK64 и m68k — лишь частично. При использовании специального модуля kqemu достигается очень быстрая эмуляция.

Другое х86-платформное решение для виртуализации в Linux — KVM (Kernel-based Virtual Machine). Поддерживает аппаратную виртуализацию на базе Intel VT (Virtualization Technology) и AMD SVM (Secure Virtual Machine). Интересно, что KVM позволяет виртуальным машинам использовать немодифицированные образы дисков Qemu, содержащие ОС. Каждая виртуальная машина имеет свое собственное виртуальное аппаратное обеспечение: сетевые карты, диск, видеокарту и т.д.

Еще один продукт виртуализации, который с февраля 2008 года находится под крылом Sun — VirtualBox. Поддерживает такие ОС, как Windows, DOS, GNU/Linux, Mac OS и Sun Solaris/OpenSolaris.

Также среди коммерческих продуктов известен Parallels Workstation. Здесь ничего необычного: виртуальные машины создаются при помощи набора мастеров, а затем конфигурация может изменяться через графический интерфейс программы.

Research labs

Cloud computing заявляет о себе как технология будущего, а посему во всем мире ярые поклонники «облаков» строят различные исследовательские центры и лаборатории, в том числе на базе крупных ВУЗов. Так, компания Yahoo ведет исследование сразу в нескольких крупных университетах США: University of California at Berkeley, Cornell University, University of Massachusetts at Amherst, Carnegie Mellon University.

Также Yahoo совместно с HP и Intel относительно недавно построили лабораторию Cloud Computing Test Bed, которая предоставляет глобально распределенную испытательную Интернет-среду, которая поддерживает исследования, направленные на развитие ПО, совершенствование управления центрами обработки данных и решение аппаратных проблем, связанных с «облачными» вычислениями. В сотрудничестве с лабораторией: Infocomm Development Authority (Сингапур), Университет штата Иллинойс и Технологический институт в Карлсруэ (Германия), а также Национальный научный фонд штат Иллинойс. Известно, что для поддержки вычислений будут задействованы 1000-4000 вычислительных ядер, что вполне может обеспечить мощностями исследователей во всем мире.
IBM также не отстает в этих исследованиях: по всему миру у IBM открыто уже 7 крупных Cloud computing центров в США, Бразилии, Ирландии, Великобритании, Индии, Китае и Корее.

Компания Mellanox также сотрудничает с рядом ВУЗов и лабораторий:

— Ohio State University — предоставляют MPI для реализации одного из слоев InfiniBand;
— DiscoLab — разработали и тестируют Split-OS, на которой хостят некоторые проекты. Занимаются распределением нагрузки в крупных сетях;
— University of New Hampshire InterOperability Laboratory — тестируют сети и передачу данных;
— Virginia Tech – Research Computing Department — предоставляют самые большие вычислительные ресурсы среди всех ВУЗов США.

Также известно о сотрудничестве компании Force10 с Georgia Institute of Technology.

Жирная черта

Итак, в данной статье я привел краткие сведения о текущей ситуации в мире по вопросам «облачных» вычислений. На самом деле, данный обзор может разрастись на сотни страниц, но кто тогда читать будет? :)

Пишите, всегда рады узнать что-то новенькое из мира Cloud computing. До новых встреч, Оверсан-Скалакси.

P.S. Посетите на iCamp-Russia мероприятия компании «Оверсан-Скалакси» и узнайте подробности об облачном хостинге:

1. Нижний Новгород. Семинар «Облачные вычисления — будущее хостинга: преимущества и новые возможности».
Место «Сцена будущего». 24 июля, 17:40 — 18:10.
2. «Облачная» вечеринка. Шампанское на закате дня и лёгкое настроение.
Теплоход, 25 июля, 21:00 — 24:00.
3. Казань. Семинар «Облачные вычисления – будущее хостинга: преимущества и новые возможности».
Теплоход, 26 июля, 11:00 — 11:30.
4. Казань. Мозговой штурм «Хостинг нового поколения».
Теплоход, 26 июля, 11:45 — 14:00.

Узнать больше:
• подпишись на новости по RSS на официальном сайте scalaxy.ru;
• страница компании на Facebook.
Tags:cloud computingоблачные вычисленияоблачный хостинговерсан-скалакси
Hubs: Оверсан-Скалакси corporate blog
+34
23.5k 51
Comments 66
Information
Founded

8 September 2008

Location

Россия

Website

scalaxy.ru

Employees

31–50 employees

Registered

1 July 2009