DevOps приходит к нам домой? Домашний Minecraft server в Azure с применением современных DevOps практик

Roadmap

• Автоматизированный деплой и настройка сервера с применением Azure CLI 2 и Powershell DSC
• Поддержка конфигурации сервера в консистентном состоянии с применением Azure Automation
• Автоматизированное обновление сервера на новую версию
• Получение логов майнкрафта, анализ и отображение с применением Azure Stream Analytics и Power BI
• Организация active/passive кластера с управлением через Azure Automation
• ...

Disclaimer

• Я не it инженер, не devops инженер, не игрок в майнкрафт. Поэтому если вы шарите и вам кажется, что я всё делаю не правильно — то скорее всего так оно и есть — напишите в коментах как надо.
• Все примеры к статье 100% рабочие, но поставляются «как есть». Если у вас что-то не работает — почините это самостоятельно или забейте.

Автоматизированный деплой и настройка сервера с применением Azure CLI 2 и Powershell DSC

О задаче

Общий подход

• 100% автоматизация.
• Относимся к скриптам как к коду
• Соблюдаем базовые требования конфигурационного управления к деливери процессу на prod окружения

О ПО

• Сервер представляет из себя jar файл и требует для запуска java
• Для запуска ему требуется рядом с собой файл eula.txt с определённым содержимым
• Сервер конфигурируется с помощью файла server.properties который тоже должен лежать рядом
• Сервер слушает 25565 порт по протоколу TCP
• Данные (карту) сервер хранит в папочке World рядом с собой (и это будет слегка проблемой)
• Сервер умеет данные апгрейдить, если они созданы предыдущей версией (и это сильно упростит жизнь при апгрейде)
• Логи хранятся в папочке Logs рядом

Инфраструктура

• Network Security Group (будут открыты порты 25565 (minecraft) и 3389 (rdp)
• VNET c 1 subnet
• NIC и статический public IP c DNS именем
• 1 VM под Windows Server 2016 core + 2 Managed Disk (OS + Data)
• Storage account и 1 container для Blob storage

• Дистрибутива (jar с сервером + jre + начальные данные), который будет предварительно загружаться в Blob storage
• Конфигурации (Powershell DSC), которая также будет предварительно загружаться в Blob storage

все артефакты, которые требуются для разворачивания приложения, должны быть опубликованы в подконтрольный сторадж с высокой доступностью.

• Создать новую Resource Group, Storage Account и Storage Container
• Сформировать дистрибутив (jar с сервером + jre + начальные данные) и загрузить его в Blob Storage
• Создать всю остальную инфраструктуру в Resource Group
• Сформировать DSC конфигурацию и загрузить её в Blob Storage
• Сконфигурировать сервер на основании конфигурации и дистрибутива

Исходники

• Храним на github
• Соблюдаем какую-нибудь внятную стратегию бранчевания и релизного цикла (ну например gitflow и релиз каждую статью :))
• Используем azure cli 2 и bash там, где это возможно (к слову, в этой статье удалось совсем избежать использования powershell api. А вот в следующей это уже не получится)

Реализация шагов процедуры развертывания

1. Создать новую Resource Group, Storage Account и Storage Container

az configure --defaults location=$LOCATION group=$GROUP

echo "create new group"
az group create -n $GROUP

echo "create storage account"
az storage account create -n $STORAGE_ACCOUNT --sku Standard_LRS
STORAGE_CS=$(az storage account show-connection-string -n $STORAGE_ACCOUNT)
export AZURE_STORAGE_CONNECTION_STRING="$STORAGE_CS"

echo "create storage container"
az storage container create -n $STORAGE_CONTAINER --public-access blob

2. Сформировать дистрибутив (jar с сервером + jre + начальные данные) и загрузить его в Blob Storage

• .jar
• jre
• initial_world — папка с начальной картой

mkdir $DISTR_DIR
cd $DISTR_DIR

echo "download minecraft server from official site"
curl -Os https://s3.amazonaws.com/Minecraft.Download/versions/1.12.2/minecraft_server.$MVERSION.jar 

echo "copy jre from this machine"
cp -r "$JRE" ./jre

echo "create ititial world folder"
mkdir initial_world
cd initial_world

echo "download initial map"
curl -Os https://dl01.mcworldmap.com/user/1821/world2.zip 
unzip -q world2.zip
cp -r StarWars/* .
rm -r -f StarWars
rm world2.zip
cd ../

echo "create archive (zip utility -> https://ranxing.wordpress.com/2016/12/13/add-zip-into-git-bash-on-windows/)"
cd ../
zip -r -q $DISTR_ZIP $DISTR_DIR 
rm -r -f $DISTR_DIR

3. Сформировать DSC конфигурацию и загрузить её в Blob Storage

• ps1 файлом
• Всеми зависимыми модулями, сложенными в одноименных папочках рядом с ps1 файлом

Все зависимости должны быть точно определены и ресолвиться всегда однозначно

echo "prepare server configuration"
curl -s -L -o configuration/xPSDesiredStateConfiguration.zip "https://www.powershellgallery.com/api/v2/package/xPSDesiredStateConfiguration/7.0.0.0"
curl -s -L -o configuration/xNetworking.zip "https://www.powershellgallery.com/api/v2/package/xNetworking/5.1.0.0"
curl -s -L -o configuration/xStorage.zip "https://www.powershellgallery.com/api/v2/package/xStorage/3.2.0.0"
cd configuration

unzip -q xPSDesiredStateConfiguration.zip -d xPSDesiredStateConfiguration
rm -r xPSDesiredStateConfiguration.zip
unzip -q xNetworking.zip -d xNetworking
rm -r xNetworking.zip
unzip -q xStorage.zip -d xStorage
rm -r xStorage.zip

zip -r -q ../$CONFIG_ZIP . *
rm -r -f xPSDesiredStateConfiguration
rm -r -f xNetworking
rm -r -f xStorage
cd ../

4. Создать всю остальную инфраструктуру в Resource Group

echo "create network security group and rules"
az network nsg create -n $NSG
az network nsg rule create --nsg-name $NSG -n AllowMinecraft --destination-port-ranges 25556 --protocol Tcp --priority 100
az network nsg rule create --nsg-name $NSG -n AllowRDP --destination-port-ranges 3389 --protocol Tcp --priority 110

echo "create vnet, nic and pip"
NIC_NAME=minesrvnic
PIP_NAME=minepip
SUBNET_NAME=servers
az network vnet create -n $VNET --subnet-name $SUBNET_NAME

az network public-ip create -n $PIP_NAME --dns-name $DNS --allocation-method Static
az network nic create --vnet-name $VNET --subnet $SUBNET_NAME --public-ip-address $PIP_NAME -n $NIC_NAME 

echo "create data disk"
DISK_NAME=minedata
az disk create -n $DISK_NAME --size-gb 10 --sku Standard_LRS
echo "create server vm"
az vm create -n $VM_NAME --size $VM_SIZE --image $VM_IMAGE \
                --nics $NIC_NAME \
                --admin-username $VM_ADMIN_LOGIN --admin-password $VM_ADMIN_PASSWORD \
                --os-disk-name ${VM_NAME}disk --attach-data-disk $DISK_NAME                

5. Сконфигурировать сервер на основании конфигурации и дистрибутива

echo "prepare dsc extension settings"
cat MinecraftServerDSCSettings.json | envsubst > ThisMinecraftServerDSCSettings.json

echo "configure vm"
az vm extension set \
   --name DSC \
   --publisher Microsoft.Powershell \
   --version 2.7 \
   --vm-name $VM_NAME \
   --resource-group $GROUP \
   --settings ThisMinecraftServerDSCSettings.json
rm -f ThisMinecraftServerDSCSettings.json

О Powershell DSC

Реализация DSC конфигурации MinecraftServer

xRemoteFile DistrCopy
{
   Uri = "https://$accountName.blob.core.windows.net/$containerName/mineserver.$minecraftVersion.zip"
   DestinationPath = "$mineHome.zip"
   MatchSource = $true
}

Archive UnzipServer 
{
   Ensure = "Present"
   Path = "$mineHome.zip"
   Destination = $mineHomeRoot
   DependsOn = "[xRemoteFile]DistrCopy"
   Validate = $true
   Force = $true
}

File CheckProperties
{
   DestinationPath = "$mineHome\server.properties"
   Type = "File"
   Ensure = "Present"
   Force = $true
   Contents = "....."
}

File CheckEULA
{
   DestinationPath = "$mineHome\eula.txt"
   Type = "File"
   Ensure = "Present"
   Force = $true
   Contents = "..."				
   DependsOn = "[File]CheckProperties"
}

xWaitForDisk WaitWorldDisk
{
   DiskIdType = "Number"
   DiskId = "2"   
   RetryIntervalSec = 60	
   RetryCount = 5
   DependsOn = "[File]CheckEULA"
}

xDisk PrepareWorldDisk
{
   DependsOn = "[xWaitForDisk]WaitWorldDisk"
   DiskIdType = "Number"
   DiskId = "2"
   DriveLetter = "F"
   AllowDestructive = $false
}

xWaitForVolume WaitForF
{
   DriveLetter      = 'F'
   RetryIntervalSec = 5
   RetryCount       = 10
   DependsOn = "[xDisk]PrepareWorldDisk"
}

File WorldDirectoryExists
{
   Ensure = "Present" 
   Type = "Directory"
   Recurse = $true
   DestinationPath = "F:\world"
   SourcePath = "$mineHome\initial_world"
   MatchSource = $false
   DependsOn = "[xWaitForVolume]WaitForF"    
}

Script LinkWorldDirectory
{
   DependsOn="[File]WorldDirectoryExists"
   GetScript=
   {
      @{ Result =  (Test-Path "$using:mineHome\World") }
   }
   SetScript=
   {
      New-Item -ItemType SymbolicLink -Path "$using:mineHome\World" -Confirm -Force -Value "F:\world"                
   }
   TestScript=
  {
      return (Test-Path "$using:mineHome\World")
   }
}

Script EnsureServerStart
{
   DependsOn="[Script]LinkWorldDirectory"
   GetScript=
   {
      @{ Result = (Get-Process -Name java -ErrorAction SilentlyContinue) } 
   }
   SetScript=
   {
      Start-Process -FilePath "$using:mineHome\jre\bin\java" -WorkingDirectory "$using:mineHome" -ArgumentList "-Xms512M -Xmx512M  -jar `"$using:mineHome\minecraft_server.$using:minecraftVersion.jar`" nogui"                
   }
   TestScript=
   {
      return (Get-Process -Name java -ErrorAction SilentlyContinue) -ne $null
   }
}

xFirewall FirewallIn 
{ 
   Name = "Minecraft-in"             
   Action = "Allow" 
   LocalPort = ('25565')
   Protocol = 'TCP'
   Direction = 'Inbound'
}

xFirewall FirewallOut 
{ 
   Name = "Minecraft-out"             
   Action = "Allow" 
   LocalPort = ('25565')
   Protocol = 'TCP'
   Direction = 'Outbound'
}

Эпилог

Как всё это запустить из Windows

Нам нужен будет

• Git и (обязательно) Git Bash
• zip utility (прописать в PATH)
• Azure CLI 2

Запуск процедуры ролаута

git clone https://github.com/AndreyPoturaev/minecraft-in-azure
cd minecraft-in-azure
git checkout v1.0.0
export MINESERVER_PASSWORD=<place your password here>
export MINESERVER_DNS=<place unique name here. Server url will be $MINESERVER_DNS.westeurope.cloudapp.azure.com>
export MINESERVER_STORAGE_ACCOUNT=<place unique name here>
az login
. rollout.sh
 

Результат: