Ganeti

Что это и для чего оно нужно?

Ganeti - система управления виртуальными машинами на кластере физических. Upstream - Google (http://code.google.com/p/ganeti/).

Какие возможности управления есть в настоящий момент?

• Гипервизоры - Xen и KVM
• Дисковые разделы - файлы, LVM или DRBD-устройства
• Централизованное (из единой точки для всего кластера) создание/удаление/миграция виртуальных машин.
• Создание "пустых" виртуальных машин из пакетов репозитория (ganeti-instance-altbootstrap)

Как установить новый кластер?

Основная документация ganeti 2.1 - http://docs.ganeti.org/ganeti/2.1/html/

• В кластере хорошо бы иметь 3 физические машины
• На всех машинах кластера должно быть
  1. Bridge на интерфейс с одинаковым для всех именем (пример - breth0)
  2. LVM с одинаковым для всех именем (пример - local)
  3. Настроенная система виртуализации. Для kvm это ядро+модули+qemu-kvm, для xen - гипервизор+ядро+юзерспейс(xen,xen-runtime,xen-hypervisor)
• На все машины кластера нужно установить пакеты ganeti и ganeti-initrd-generator (В настоящий момент есть только в Sisyphus)
• Обеспечьте разрешение имён (всех машин со всех). Если возводить DNS-сервер не хочется - создайте записи во всех /etc/hosts
• Для кластеры выделите отдельный IP-address (который должен резолвится в имя кластера, к примеру:
  • Машины кластера test1 - 192.168.1.2, test2 - 192.168.1.3, test3 - 192.168.1.4
  • Выделяем ip для кластера testcluster - 192.168.1.5 (и прописываем его в DNS или /etc/hosts всех машин кластера)
• Инициализируем кластер. На мастер-ноде говорим gnt-cluster init -g local --master-netdev breth0 testcluster
• Задаём способ подключения VM к сети gnt-cluster modify -N "link=breth0"
• Задаём используемую систему виртуализации.
  • Для kvm предварительно выполняем ganeti-initrd-generator на всех узлах кластера
  • Для kvm gnt-cluster modify --enabled-hypervisors=kvm --hypervisor-parameters "kvm:kernel_path=/boot/vmlinuz"
  • Для xen gnt-cluster modify --enabled-hypervisors=xen-pvm

Как ввести физические машины в кластер?

• С мастер-ноды нужно выполнить (для узла test1) gnt-node add test1
• Т.к. в ALT ходить под рутом по паролю нельзя, нужно сгенерить ключ на мастер-ноде (ssh-keygen) и положить его публичную часть на всех нодах в /root/.ssh/authorized_keys. Можно так не делать, а воспользоваться ssh-агентом (разложив публичную часть своего собственного ключа и использую ssh -A).

Как создавать виртуальные машины?

Создание машин из пакетов ALT

• Для создания машин из пакетов ALT есть пакет ganeti-instance-altbootstrap. Установите его на всех машинах кластера.
• Виртуальные машины создаются с помощью Hasher
• Подключите локальный репозиторий в системных source-листах или пользователю gntinstancer (конфиг hasher).
• Создаём новую виртуальную машину gnt-instance add -n test1 -t plain --disk 0:size=4g -B memory=512 -o altbootstrap+kvm testvm01 (testvm01 должен резолвится в DNS)
• В случае проблем читаем логи в /var/log/ganeti/os/ на той машине, где создавалась виртуальная

Создание других машин

• Для создания виртуальных машин не из пакетов репозитория ALT существует пакет ganeti-instance-image
• Пример использования: gnt-instance add --no-start -n test1 -t plain --disk 0:size=2g -B memory=512 -o image+test -H kvm:kernel_path=,initrd_path=,disk_type='ide' testvm02

Как управлять виртуальными машинами?

• Запускаем машину gnt-instance startup testvm01
• Для xen-машин создаётся serial-console, заходим на консоль gnt-instance console testvm01
• Для kvm-машин по умолчанию поднимается vnc, порт можно выяснить по gnt-instance info testvm01 | grep "network port" (на ip той машины, где выполняется виртуальная)
• ...to be continued...

TODO пакетов в Sisyphus

Для работы drbd требуется указать параметры модуля drbd: usermode_helper=/bin/true а также загрузить модуль drbd. К примеру, достаточно следующей записи в /etc/modules:

drbd usermode_helper=/bin/true