Как стать автором
Обновить
142.25
Рейтинг
Southbridge
Обеспечиваем стабильную работу highload-проектов

Amazon + Ansible

Блог компании Southbridge
image + image

В данной заметке хочу рассказать о некоторых приемах решений задач по связке ansible + amazon, может кому-то будет полезно или кто-то подскажет решения лучше. О установке/настройке ansible информации уже много, так что её я пропущу. О работе с amazon тоже ничего оригинального добавить не смогу. Итак, приступим.

Введение


Попросили помочь с разовой настройкой проекта, конкретно часть ansible + amazon, а так же конфигурация серверов на базе ubuntu и сервисов. Требования к проекты были выставлены такие:
  • Сервера балансировщики на nginx
  • N-е количество бэкендов nginx + nodejs
  • Сервер redis master
  • N-е количество redis slave
  • N-е количество windows servers ( что-то для криптографии, с условием готового шаблона)
  • Создавать очереди SQS
  • Создавать security groups


Примечание

Заказчик пожелал, что не нужно вносить правки на уже работающие сервера, если надо что-то поменять — меняют скрипты создания, сносят старое и создают новое… Хозяин — барин.

Работаем

Для большинства задач можно использовать модуль ec2. Модуль замечательный :), с большим количеством “подмодулей” почитать их описание можно тут: /usr/share/ansible/cloud (для ubuntu/debian).
В инвентарный файл ansible (hosts) нужно прописать всего 1 хост:

[local]
localhost


Я начал с самого простого, с windows server. Приведу пример playbook:

- hosts: localhost
  connection: local
  gather_facts: False
  vars:
    hostname: Windows
    ec2_access_key: "Secret"
    ec2_secret_key: "Secret_key”
    instance_type: "t2.micro"
    image: "ami-xxxxxxxx"
    group: "launch-wizard-1"
    region: "us-west-2"
  tasks:
    - name: make one instance
      ec2: image={{ image }}
           instance_type={{ instance_type }}
           aws_access_key={{ ec2_access_key }}
           aws_secret_key={{ ec2_secret_key }}
           instance_tags='{ "Name":"{{ hostname }}" }'
           region={{ region }}
           group={{ group }}
           wait=true


Тут все просто, ansible используя ваши aws_access_key и aws_secret_key посылает запрос в amazon на создание машинки с именем hostname=”Windows” типа instance_type=«t2.micro» из ранее созданого образа image=«ami-xxxxxxxx» в регионе region=«us-west-2» и присваивает sequrity group group=«launch-wizard-1» и больше ничего.

Далее сложнее, будем делать бэкенды nginx. Для начала все то же самое, создаем машину, но нужно с ней работать в этом же плэйбуке.
Создадим в кабинете amazon keypair, назовем его, например, aws_ansible. Скачиваем ключик и копируем его в ~/.ssh/id_rsa пользователя из под которого запускаете плэйбуки.

Приведу в пример плэйбук создания бэкенда:

- hosts: localhost
  connection: local
  gather_facts: False
  vars:
    hostname: Nginx_nodejs
    ec2_access_key: “Secret"
    ec2_secret_key: "Secret_key"
    keypair: "aws_ansible"
    instance_type: "t2.micro"
    image: "ami-33db9803"
    group: "launch-wizard-1"
    region: "us-west-2"
  tasks:
    - name: make one instance
      ec2: image={{ image }}
           instance_type={{ instance_type }}
           aws_access_key={{ ec2_access_key }}
           aws_secret_key={{ ec2_secret_key }}
           keypair={{ keypair }}
           instance_tags='{ "Name":"{{ hostname }}" , "Group":"nginx_backend" }'
           region={{ region }}
           group={{ group }}
           wait=true
      register: ec2_info

    - debug: var=ec2_info
    - debug: var=item
      with_items: ec2_info.instance_ids

    - add_host: hostname={{ item.public_ip }} groupname=ec2hosts
      with_items: ec2_info.instances

    - name: wait for instances to listen on port:22
      wait_for:
        state=started
        host={{ item.public_dns_name }}
        port=22
      with_items: ec2_info.instances

- hosts: ec2hosts
  gather_facts: True
  user: ubuntu
  sudo: True
  vars:
     connections : "4096"

  tasks:
     - include: nginx/tasks/setup.yml
  handlers:
     - name: restart nginx
       action: service name=nginx state=restarted

- hosts: ec2hosts
  gather_facts: True
  user: ubuntu
  sudo: True
  
  tasks:
 - include: nodejs/tasks/setup.yml


Теперь, что поменялось:
Мы указали, что для этой машинки использовать наш ключ keypair: «aws_ansible»
Указали образ чистой ubuntu image: «ami-33db9803».
С помощью registr и debug мы получили public_ip новой машинки и записали её во временную инвентаризацию в группу ec2hosts, записывать в hosts файл из плэйбука нельзя ( я не нашел как).
Следующим действием “wait for instances to listen on port:22” ждем когда станет доступен ssh.
И после всего этого выполняем обычные сценарии с обычным сервером, в моем случае установка/настройка nginx и nodejs

Еще я добавил Tag «Group»:«nginx_backend», это нужно для того что бы работать со всеми бэкендами сразу. Как? Есть скрипт подходящий для инвентаризации серверов amazon в ansible. Почитать о нем, а так же скачать его можно тут docs.ansible.com/intro_dynamic_inventory.html#id6.

Отлично, но у меня ситуация не много иная, мне нужно сделать upstream в nginx с неизвестным заранее количеством бэкендов. Побороздив просторы документации по ansible, не нашел как делать динамические списки. То есть подставлять динамически ip бэкенда — пожалуйста, а вот их количество менять… Как всегда на выручку пришел старый способ, написал велосипед ан python. не большой скрипт который вызывается из плэйбука до настройки nginx и генерирует конфиг с upstream.

Листинг:

#!/usr/bin/env python

import  sys, os
from commands import *

group = '"tag_Group_nginx_backend": ['
template = "/etc/ansible/playbooks/nginx/templates/balance.conf.j2"
list_ip = []
#Create ec2_list
data = getoutput("/etc/ansible/ec2.py --refresh-cache")

flag = 0
for line in data.split("\n"):
    if flag:
        if line.strip() != "],":
            list_ip.append(line.strip().strip(",").strip("\""))
        else:
            break
    if line.strip() == group:
        flag = 1

f = open(template, 'w')
f.write('''# upstream list
upstream backend {''')
f.close()
for ip in list_ip:
    f = open(template, 'a')
    f.write('''
    server '''+ip+''':80 weight=3 fail_timeout=15s;''')
    f.close()
f = open(template, 'a')
f.write('''
}''')
f.close()


Еще одна проблема была с redis master, его ip нужно было прописывать на каждый слэйв. Решил сделать с помощью include_vars.

При создании мастера до проверки доступности ssh делаю так:

   - replace: dest={{ redis_master_ip }} regexp='^(\s+)(master\:)\s(.*)$' replace='\1\2 {{ item.public_ip }}'
      with_items: ec2_info.instances

В переменных указал:

  redis_master_ip: "/etc/ansible/playbooks/redis/files/master_ip.yml"

Сам файл изначально должен быть и выглядит примерно так:

 master: 1.2.3.4

Затем в плейбуке настройки redis slave добавляем:

- name: Get master IP
  include_vars: "{{ redis_master_ip }}"


Используем переменную {{ master }} в шаблоне.

Sequrity group создается просто, используем модуль ec2_group:

- hosts: localhost
  connection: local

  tasks:
    - name: nginx  ec2 group
      local_action:
        module: ec2_group
        name: nginx
        description: an nginx EC2 group
        region: us-west-2
        aws_secret_key: "Secret"
        aws_access_key: "Secret"
        rules:
          - proto: tcp
            from_port: 80
            to_port: 80
            cidr_ip: 192.168.0.0/24
          - proto: tcp
            from_port: 22
            to_port: 22
            cidr_ip: 0.0.0.0/0
        rules_egress:
          - proto: all
            cidr_ip: 0.0.0.0/0


Сложнее оказалось с очередями, модуля для них не нашлось, пытался даже доделать чьи-то попытки его написать. Но быстро опомнился и сделал через cloudformation.

Так выглядит плэйбук:

- hosts: localhost
  connection: local
  gather_facts: False
  vars:
    sqs_access_key: “Secret"
    sqs_secret_key: "Secret"
    region: "us-west-2”
  tasks:
  - name: launch some aws services
    cloudformation: >
      stack_name="TEST"
      region={{ region }}
      template=files/cloudformation.json
<\code>

А так template:

<code>
{
  "AWSTemplateFormatVersion" : "2010-09-09",
  "Description" : "AWS CloudFormation SQS”
  "Resources" : {
    "MyQueue" : {
      "Type" : "AWS::SQS::Queue"
    }
  },
  "Outputs" : {
    "QueueURL" : {
      "Description" : "URL of newly created SQS Queue",
      "Value" : { "Ref" : "MyQueue" }
    },
    "QueueARN" : {
      "Description" : "ARN of newly created SQS Queue",
      "Value" : { "Fn::GetAtt" : ["MyQueue", "Arn"]}
    }
  }
}


Резюме

Популярность облачных решений и систем управления конфигурациями растет, но я потратил порядочно времени выискивая варианты того или иного решения, собирая информацию и тд. Отсюда и родилась идея написать эту статью.

Автор: Бурнашев Роман, главный системный администратор компании centos-admin.ru
Теги:ansibleamazon web servicescentos-admin.ruвелосипед
Хабы: Блог компании Southbridge
Всего голосов 6: ↑5 и ↓1 +4
Просмотры11.7K

Похожие публикации

Лучшие публикации за сутки

Информация

Дата основания
Местоположение
Россия
Сайт
southbridge.io
Численность
51–100 человек
Дата регистрации
Представитель
Антон Скобин

Блог на Хабре