Подготовка шаблона vApp тестовой среды VMware vCenter + ESXi

Вложенная виртуализация позволяет запускать гипервизор внутри виртуальной машины. Это необходимо, чтобы не экспериментировать на боевой системе, рискуя уронить всё и сразу, а потом долго и мучительно поднимать её под добрые слова коллег о прямизне конечностей и чьей-то матери. Если вы хотите потестить вложенную виртуализацию, изучите наш туториал.

Перед вами пошаговое руководство по подготовке шаблона vApp для VMware Cloud Director, включающего в себя vCenter Server Appliance и 3 гипервизора ESXi, с целью снижения временных затрат на развертывании тестовой инфраструктуры VMware.

1.    Что мы будем делать

Мы подготовим максимально гибкий шаблон без привязки к адресу подсети, доменному имени, количеству выделяемых ресурсов и т.п. Будем делать так, чтобы при развертывании шаблона администратор мог произвести тонкую настройку. Подготовка шаблона выполняется в сети 10.0.0.0/24, а за стандартные значения при развертывании готового шаблона примем домен Domain.local и сеть 192.168.2.0/24.

Имя домена domain.local и сеть 192.168.2.0/24 выберем как значения по умолчанию, которые можно изменять в процессе развёртывания шаблона.

Мы подготовим шаблон, включающий в себя 6 виртуальных машин.

1.1.  Список VM в шаблоне

1. VMware ESXi – 1 Гипервизор;

2. VMware ESXi – 2 Гипервизор;

3. VMware ESXi – 3 Гипервизор;

4. VMware vCenter Server Appliance with Embedded Platform Services Controller в конфигурации Tiny;

5. Ubuntu 18.04 LTS в качестве общего NFS хранилища;

6. Windows Server 2019 в качестве DNS сервера и Management machine. В последствии, с нее будет производится управления vCenter.

1.2.  Требования

1. VDC в VMware Cloud Director:

   a.       28 vCPU;

   b.       50GB RAM;

   c.       2TB Storage.

2. Дистрибутивы ПО:

   a.       ISO с дистрибутивом VMware ESXi 6.7U3b;

   b.       ISO (или OVA) с дистрибутивом VMware vCenter Server Appliance 6.7U3b;

   c.       ISO (или OVA) с Windows Server 2019;

   d.       ISO (или OVA) с Ubuntu1804.

3. Дополнительное ПО (опционально):

   a.       Браузер Google Chrome;

   b.       Текстовый редактор Notepad++;

   c.       SFTP клиент WinSCP.

   d.       7-Zip

4. Убедитесь, что в нашей локальной сети на уровне vCenter облачного провайдера переключены в состоянии Accept политики Promiscuous mode и Forged transmits. Иначе не будет связи между сетью виртуального дата-центра и сетью внутри подготавливаемого шаблона. Здесь об этом рассказывается подробнее.

Дистрибутивы продуктов VMware можно скачать с официального сайта, зарегистрировавшись в программе обучения и получив VMware Evaluation License на 60 дней.

Возможностей VMware Cloud Director для подготовки данного шаблона будет недостаточно, поэтому сначала развернём нашу рабочую среду «Working Environment» в виртуальном дата-центре VMware Cloud Director.

В рабочую среду мы установим ESXi гипервизор, vCenter Server Appliance и Windows Server 2019 в качестве ManagementVM. Подготовку шаблона будем выполнять, используя интерфейс vSphere Client в рабочей среде.

2.    Схема логической топологии

3.    Подготовка Working Environment

3.1.  Установка ESXi

В VDC создаём каталог (Libraries -> Catalogs -> New) и загружаем в него ISO с установщиком ESXi.

Создаём VM temp-ESXi1 – ESXi 6.7.

Выбираем загрузку с ISO.

Назначаем VM 24 vCPU, 24 Cores per socket, 32GB RAM и 5GB Storage. Подключаем сеть к виртуальной машине.

ESXi требует для развёртывания минимум двухъядерные процессоры. Установка на 24 одноядерных vCPU завершится ошибкой, поэтому необходимо задать отличный от единицы параметр Cores per socket.

Запускаем VM.

Выполняем установку, нажимая Enter или F11

В процессе установки задаём пароль root

Нажимаем F11 и дожидаемся завершения установки

По завершению установки нажимаем Enter и перезагружаемся

Дожидаемся окончания загрузки, нажимаем F2, вводим пароль root

Переходим в настройки сети Configure Management Network.

Задаём статический IP.

Отключаем IPv6.

Перезагружаем VM для применения отключения IPv6. Для применения остальных настроек достаточно перезапуска сетевого адаптера.

В VMware Cloud Director подключаем к temp-ESXi1 ещё один диск на 1ТБ. Это будет наш Datastore. Перезагружаем VM temp-esxi1.

3.2.  Установка ManagementVM

Разворачиваем VM с Windows Server 2019. Настраиваем доступ по RDP.

Подключаемся по RDP к VM c Windows Server. Устанавливаем роль DNS сервера.

Создаём Forward Lookup Zone template.local

Создаём Reverse Lookup Zone для 0.0.10.in-addr.arpa

Создаём A и PTR записи в созданных зонах для temp-esxi01 и vcentersa1.

Важно! PTR запись для vCenter должна быть обязательно. Без неё установка vCenter завершится ошибкой.

Настраиваем DNS Forwarders.

Настраиваем DNS сервер 127.0.0.1 на сетевом интерфейсе.

3.3.  Установка vCenter Server Appliance

Монтируем образ VMware-VCSA-all-6.7.0-14367737.iso на ManagementVM и извлекаем из ISO E:\vcsa\VMware-vCenter-Server-Appliance-6.7.0.40000-14367737_OVF10.ova

Переходим в vcd.cloud4y.ru в свой VDC. Загружаем в каталог OVA шаблон с vCenter. Для загрузки понадобится 300 ГБ свободного места в VDC.

Получаем ошибку

В логе видим текст ошибки Validation failed for the OVF file you provided: Fatal: Line/char 867/92: cvc-minInclusive-valid: Value '-100' is not facet-valid with respect to minInclusive '0' for type 'unsignedShort'. Fatal: Line/char 867/92: cvc-attribute.3: The value '-100' of attribute 'ovf:id' on element 'OperatingSystemSection' is not valid with respect to its type, 'unsignedShort'..

VMware Cloud Director не принимает значение -100 на строке 867 *.ovf файла.

Возвращаемся на ManagementVM и с помощью архиватора 7-zip извлекаем *.ovf и *.mf файлы. OVA представляет из себя архив tar, и, как правило, содержит файлы виртуальных дисков *.vmdk, файл конфигурации VM/vApp *.ovf, список файлов в архиве и их контрольные суммы *.mf

Открываем *.ovf через текстовый редактор и ищем -100 на 867 строке и заменяем на 1

Теперь нам нужно пересчитать SHA1 для *.ovf файла и изменить это значение в *.mf файле

Для расчета хеша используем PowerShell

(Get-FileHash C:\Users\Administrator\Desktop\VMware-vCenter-Server-Appliance-6.7.0.40000-14367737_OVF10.ovf -Algorithm SHA1).Hash.ToLower()

Заменяем значение в *.mf файле

Запаковываем *.ovf и *.mf обратно в OVA шаблон

Пробуем загрузить OVA в VDC ещё раз.

По завершению загрузки разворачиваем vApp с vCenter в нашем VDC

Выделяемые ресурсы vCPU, RAM, Storage не меняем. Больше ресурсов не требуется, а при меньшем значении могут возникнуть проблемы с производительностью.

Конфигурируем сеть.

На шаге 8 ничего не меняем. Мы изменим эти параметры позже. Нажимайте Next. Если при развёртывании шаблона что-то пойдёт не так, придётся заполнять эти поля ещё раз при повторном развёртывании.

Дожидаемся окончания развёртывания и перемещаем VM в vApp vcsa + esxi для наглядности. С технической точки зрения разницы нет.

По окончанию перемещения наш vApp vcsa + esxi выглядит следующим образом.

Переходим в Guest Properties temp-vcentersa1 и нажимаем Edit

Заполняем поля, указанные в таблице ниже. Остальные поля заполнять не обязательно

На случай, если мы где-то ошиблись в заполнении параметров, можно создать Snapshot перед первым запуском.

Запускаем VM и ждём 5-10 минут.

Через браузер с ManagementVM переходим на https://temp-vcentersa1.template.local:5480/ и дожидаемся окончания установки.

Нажимаем Set Up

Вводим пароль root, указанный ранее в Guest Properties

На шаге 2 проверяем корректность настроек. Редактируем при необходимости.

На шаге 3 создаём новый SSO домен.

Проверяем корректность параметров и нажимаем Finish.

Если установка завершится ошибкой на 2%, то проблема почти наверняка кроется в некорректно созданной PTR записи для vCenter.

Дожидаемся окончания установки

Переходим по адресу https://temp-vcentersa1.template.local:443, выбираем LAUNCH VSPHERE CLIENT (HTML5)

Вводим учётные данные Администратора SSO домена

Скачиваем сертификат CA и устанавливаем в систему https://temp-vcentersa1.template.local/certs/download.zip .

Необходимо установить сертификат download.zip\certs\win\*.crt в доверенные корневые центры сертификации ManagementVM и перезапустить браузер.

В vCenter создаём дата-центр.

В дата-центре создаём кластер.

Включаем vSphere DRS.

vSphere HA и VSAN оставляем выключёнными. C 1 ESXi гипервизором DRS работать не будет, но он должен быть включён для работы с vApp.

Переходим в Configure - > Configuration –> Quickstart кластера temp-Cluster и добавляем temp-ESXi1, нажав ADD.

Выбираем наш хост temp-esxi1.template.local и вводим учётные данные root.

Принимаем его сертификат и завершаем работу с Quickstart. Нужно добавить temp-esxi1 в кластер. Продолжать настройку кластера необходимости нет.

Добавляем Datastore в наш кластер. Кликаем правой кнопкой мыши по кластеру и выбираем Storage -> New Datastore.

Выбираем тип VMFS

Задаём имя Datastore и выбираем подключенный ранее диск на 1 ТБ на temp-ESXi1.

На шаге 4 указываем использование всего раздела на 1 ТБ и завершаем работу мастера.

Выводим temp-esxi1 из Maintenance Mode

Подготовка инфраструктуры для создания шаблона завершена.

4.    Создание шаблона vApp

4.1.  Подготовка vApp

Кликаем на кластер правой кнопкой мыши и создаём новый vApp: vApp_vCenter6.7_3ESXi6.7_UbuntuNFS_WindowsDNS

В vApp будут следующие VM:

1. ESXi01

2. ESXi02

3. ESXi03

4. vCenterSA01

5. WindowsDNS

6. UbuntuNFS01

UbuntuNFS — это имитация внешней СХД. На ней будет Datastore, доступный всем ESXi хостам.

ESXi0x устанавливаем из ISO. vCenterSA01, WindowsDNS, UbuntuNFS можно развернуть из OVA шаблонов.

Добавим ISO с установщиком ESXi в temp-Datastore. Переходим в Datastores -> temp-Datastore -> Files, создаём папку ISO и загружаем в неё ISO образ установщика ESXi

4.2.  Создание ESXi VM в vApp

На шаге 2 задаём имя VM.

На шаге 3 выбираем vApp, в котором будут размещены VM.

На шаге 6 выбираем тип гостевой ОС.

На шаге 7 выбираем 2 vCPU, 4GB RAM, 5GB Storage и подключаем ISO. Разверните подраздел CPU и отметьте пункт Hardware virtualization.

Перейдите на вкладку VM Options и снимите отметку с пункта Secure Boot.

Клонируем VM ESXi01 в VM ESXi02 и в VM ESXI03.

Запускаем vApp и выполняем установку ESXi01, ESXi02, ESXi03.

Настраиваем на ESXi IP адреса:

ESXi01 - 10.0.0.11

ESXi02 - 10.0.0.12

ESXi03 - 10.0.0.13

На каждом ESXi хосте включаем доступ по SSH (F2 -> Troubleshooting Options - > Enable SSH)

4.3.  Кастомизация ESXi в vApp

Добавим ESXi хостам возможность кастомизации сетевых параметров из интерфейса VMware Cloud Director (и vSphere Client). Для этого подключимся с помощью WinSCP к хосту, перейдём в каталог /etc/rc.local.d и откроем текстовым редактором файл local.sh

Заменим содержимое local.sh следующим скриптом:

#!/bin/sh
#Customization script for ESXi01
getprops_from_ovfxml() {
/bin/python - <<EOS
from xml.dom.minidom import parseString
ovfEnv = open("$1", "r").read()
dom = parseString(ovfEnv)
section = dom.getElementsByTagName("PropertySection")[0]
for property in section.getElementsByTagName("Property"):
key = property.getAttribute("oe:key").replace('.','_')
value = property.getAttribute("oe:value")
print ("{0}={1}".format(key,value))
dom.unlink()
EOS
}

#С помощью VMware Tools получаем ovf.xml с параметрами, переданными через Guest Properties
/sbin/vmtoolsd --cmd='info-get guestinfo.ovfEnv' >/tmp/ovf.xml 2>/dev/null
eval `getprops_from_ovfxml /tmp/ovf.xml`
#Проверяем, что в Guest Properties включена кастомизация
if [ $enablecustomization1 = "enabled" ] ;
then
esxcfg-init --set-boot-progress-text "Applying OVF customization..."
#Изменяем пароль root
echo $rootpassword1 | passwd --stdin root
#Задаем FQDN ESXi хоста
esxcli system hostname set --fqdn=$fqdn1
#Задаем настройки IP
esxcli network ip interface ipv4 set -i vmk0 -I $ipaddr1 -N $netmask1 -g $defaultgateway1 -t static
#Очищаем список DNS серверов
esxcli network ip dns server remove -a
#Добавляем DNS сервер
esxcli network ip dns server add --server=$dnsserver1
#Перезапускаем сетевой интерфейс для применяния настроек
esxcli network ip interface set -e false -i vmk0
esxcli network ip interface set -e true -i vmk0
esxcfg-init --set-boot-progress-text "OVF customization applied"
else
esxcfg-init --set-boot-progress-text "OVF customization disabled."
fi
rm -f /tmp/ovf.xml
exit 0

Сохраним файл и выключим хост ESXi из меню выключения.

Важно: для каждого ESXi хоста применятся своя версия скрипта.

Это связано с тем, что в ovf.xml передаются все параметры Guest Properties каждой VM в vApp.

Для ESXi02 в скрипте нужно у всех переменных заменить число в конце переменной на 2.

$rootpassword1 заменить на $rootpassword2

$ipaddr1 заменить на $ipaddr2

и т.д.

#!/bin/sh
#Customization script for ESXi02
getprops_from_ovfxml() {
/bin/python - <<EOS
from xml.dom.minidom import parseString
ovfEnv = open("$1", "r").read()
dom = parseString(ovfEnv)
section = dom.getElementsByTagName("PropertySection")[0]
for property in section.getElementsByTagName("Property"):
key = property.getAttribute("oe:key").replace('.','_')
value = property.getAttribute("oe:value")
print ("{0}={1}".format(key,value))
dom.unlink()
EOS
}

#С помощью VMware Tools получаем ovf.xml с параметрами, переданными через Guest Properties
/sbin/vmtoolsd --cmd='info-get guestinfo.ovfEnv' >/tmp/ovf.xml 2>/dev/null
eval `getprops_from_ovfxml /tmp/ovf.xml`
#Проверяем, что в Guest Properties включена кастомизация
if [ $enablecustomization2 = "enabled" ] ;
then
esxcfg-init --set-boot-progress-text "Applying OVF customization..."
#Изменяем пароль root
echo $rootpassword2 | passwd --stdin root
#Задаем FQDN ESXi хоста
esxcli system hostname set --fqdn=$fqdn2
#Задаем настройки IP
esxcli network ip interface ipv4 set -i vmk0 -I $ipaddr2 -N $netmask2 -g $defaultgateway2 -t static
#Очищаем список DNS серверов
esxcli network ip dns server remove -a
#Добавляем DNS сервер
esxcli network ip dns server add --server=$dnsserver2
#Перезапускаем сетевой интерфейс для применяния настроек
esxcli network ip interface set -e false -i vmk0
esxcli network ip interface set -e true -i vmk0
esxcfg-init --set-boot-progress-text "OVF customization applied"
else
esxcfg-init --set-boot-progress-text "OVF customization disabled."
fi
rm -f /tmp/ovf.xml
exit 0

#!/bin/sh
#Customization script for ESXi03
getprops_from_ovfxml() {
/bin/python - <<EOS
from xml.dom.minidom import parseString
ovfEnv = open("$1", "r").read()
dom = parseString(ovfEnv)
section = dom.getElementsByTagName("PropertySection")[0]
for property in section.getElementsByTagName("Property"):
key = property.getAttribute("oe:key").replace('.','_')
value = property.getAttribute("oe:value")
print ("{0}={1}".format(key,value))
dom.unlink()
EOS
}

#С помощью VMware Tools получаем ovf.xml с параметрами, переданными через Guest Properties
/sbin/vmtoolsd --cmd='info-get guestinfo.ovfEnv' >/tmp/ovf.xml 2>/dev/null
eval `getprops_from_ovfxml /tmp/ovf.xml`
#Проверяем, что в Guest Properties включена кастомизация
if [ $enablecustomization3 = "enabled" ] ;
then
esxcfg-init --set-boot-progress-text "Applying OVF customization..."
#Изменяем пароль root
echo $rootpassword3 | passwd --stdin root
#Задаем FQDN ESXi хоста
esxcli system hostname set --fqdn=$fqdn3
#Задаем настройки IP
esxcli network ip interface ipv4 set -i vmk0 -I $ipaddr3 -N $netmask3 -g $defaultgateway3 -t static
#Очищаем список DNS серверов
esxcli network ip dns server remove -a
#Добавляем DNS сервер
esxcli network ip dns server add --server=$dnsserver3
#Перезапускаем сетевой интерфейс для применяния настроек
esxcli network ip interface set -e false -i vmk0
esxcli network ip interface set -e true -i vmk0
esxcfg-init --set-boot-progress-text "OVF customization applied"
else
esxcfg-init --set-boot-progress-text "OVF customization disabled."
fi
rm -f /tmp/ovf.xml
exit 0

После того, как мы добавили скрипты на каждый ESXi хост, через vCenter кликаем на VM -> Configure -> vApp Options -> Edit

Отмечаем пункт Enable vApp options, а на вкладке OVF Details отмечаем пункт VMware Tools. Это нужно для того, чтобы VMware Tools передали ovf.xml внутрь гостевой ОС ESXi

Переходим VM -> Configure -> vApp Options, пролистываем вниз и нажимаем ADD.

Для ESXi01 нужно добавить следующие Properties:

1. enablecustomization1;

2. rootpassword1;

3. fqdn1;

4. ipaddr1;

5. netmask1;

6. defaultgateway1;

7. dnsserver1.

В поле Category указываем название подраздела, в поле Label – отображамое имя параметра, а в поле Key ID – имя переменной, которую обрабатывает скрипт кастомизации.

Эти параметры можно будет задать в интерфейсе VMware Cloud Director в процессе развёртывания шаблона. Скриншот для наглядности ниже.

Нажимаем ADD и добавляем Properties.

На вкладке Type мы можем выбрать тип параметра, в нашем случае все параметры строковые (String), и выбрать значение по умолчанию (Default value). Это значение будет автоматически подставлено при развёртывании шаблона.

Создаём property для каждого параметра на каждом ESXi хосте.

Корректно заполненные Properties должны выглядеть, как на скриншотах ниже.

4.4.  Установка vCenter Server Appliance в vApp

Добавим OVA с vCenter Server Appliance vApp. Конфигурировать и запускать не будем.

Выбираем OVA шаблон vCenter

В процессе развёртывания оставляем все значения «По умолчанию». Просто нажимаем Next на каждом этапе и дожидаемся окончания развёртывания.

Затем необходимо установить Windows Server 2019 и Ubuntu 18.04 LTS. Это можно сделать, используя ISO-образы, но я пойду более простым путём и разверну их из OVA шаблонов, предварительно скачанных из публичных каталогов VMware Cloud Director (vcd.cloud4y.ru).

4.5.  Установка Windows Server 2019 в vApp

Разворачиваем Windows Server из OVA шаблона. Запускаем VM.

Включаем удалённое управление по RDP.

Устанавливаем роль DNS сервера.

Создаём Forward Lookup Zone для domain.local.

Создаём Reverse Lookup Zone для 2.168.192.in-addr.arpa.

Выключаем VM.

4.6.  Установка Ubuntu 18.04 LTS в vApp

Концепция следующая:

При развёртывании шаблона в VMware Cloud Director подключаем к VM с Ubuntu 18.04 LTS дополнительный диск, форматируем его в ext4 и расшариваем в нашей подсети средствами NFS.

Настраиваем сеть. Устанавливаем обновления: apt install update && apt install upgrade -y

Устанавливаем NFS сервер: apt install nfs-kernel-server nfs-common -y

Внесём закомментированные строки, которые будет достаточно раскомментировать в случае развёртывания в стандартной конфигурации.

Редактируем /etc/fstab

Редактируем /etc/exports

Выключаем все запущенные VM в vApp.

4.7.  Удаление ISO приводов и сетевых адаптеров

Переходим в настройки каждой VM и удаляем все CD-приводы и сетевые адаптеры каждой VM в vApp. CD-приводы нам более не требуются. Сетевые адаптеры удаляем во избежание конфликтов при развёртывании шаблона.

5.    Выгрузка vApp шаблона из Working Environment

Выгрузка шаблона из vCenter.

Теперь мы можем выгрузить шаблон.

По окончанию скачивания получаем набор файлов, готовых к загрузке в VMware Cloud Director. Общий размер 11,5 ГБ, но в VMware Cloud Director потребуется около 350ГБ, т.к. у нас используются Thin (тонкие) диски, а VMware Cloud Director рассчитывает размер не по текущему размеру диска, а по максимальному (до которого диски могут быть расширены).

6.    Загрузка vApp в VMware Cloud Director

Переходим в vcd.cloud4y.ru и загружаем vApp из OVF.

Нажимаем Browse и выбираем все файлы, которые мы экспортировали из vCenter.

На последующих шагах принимаем EULA и не вносим изменений в параметры развёртывания. Нажимаем Next-> Next -> … -> Finish.

Дожидаемся окончания загрузки. Теперь мы можем сохранить готовый vApp в каталог.

Надеемся, что наш туториал по подготовке шаблона vApp тестовой среды VMware vCenter + ESXi в VMware Cloud Director будет вам полезен при работе с вложенной виртуализацией и подготовке среды для неё. Да, в первую очередь информация будет полезна инженерам облачного провайдера. Но для понимания принципов работы облачной инфраструктуры статью можно прочитать и другим техническим специалистам.

Спасибо за внимание!

Что ещё интересного есть в блоге Cloud4Y

→ Пароль как крестраж: ещё один способ защитить свои учётные данные

→ Тим Бернерс-Ли предлагает хранить персональные данные в подах

→ Виртуальные машины и тест Гилева

→ Создание группы доступности AlwaysON на основе кластера Failover

→ Как настроить SSH-Jump Server

Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем не чаще двух раз в неделю и только по делу.