Samba/Cluster

Описание

В этой статье рассмотрим обеспечение высокой доступности сервиса Samba. Для обеспечения высокой доступности мы будет использовать общее хранилище, которое будет доступно одновременно всем серверам в кластере. Для синхронизации доступа серверов к общему хранилищу используется DLM (распределенный менеджер блокировок). В качестве кластерной файловой системы будем использовать GFS2, но она не работает напрямую с блочными устройствами, поэтому нам придется использовать кластерную реализацию LVM. Для механизма блокировок Samba использует TBD (trivial data base), нам понадобится его кластерная реализация CTDB. CTDB будет управлять переносом IP-адреса и запуском сервиса Samba. Pacemaker будет управлять следующими ресурсами: DLM, CLVM, GFS2, CTDB.

Тестовая конфигурация

Рассмотрим следующую конфигурацию:

• samba01 - первый узел кластера (IP 192.168.135.221/24 ens18)
• samba02 - второй узел кластера (IP 192.168.135.223/24 ens18)
• 192.168.135.251 - виртуальный IP по которому будет отвечать один из узлов

На каждом узле доступно общее блочное устройство /dev/sdb, настроен hostname и в файле /etc/hosts прописано соответствие адреса имени. Так же настроен взаимный беспарольный root-доступ для первоначальной инициализации кластера.

Настройка Pacemaker

Установим необходимые пакеты на всех узлах:

# apt-get install pacemaker

Для управления кластером будем использовать утилиту crmsh:

# apt-get install crmsh python-module-yaml

На одном из узлов инициализируем кластер:

# crm cluster init nodes=samba01,samba02

Зададим имя кластера, для этого в добавим в файле /etc/corosync/corosync.conf следующий параметр:

totem {
...
cluster_name: samba_cluster
...
}

Применим конфигурацию corosync текущего узла на всех узлах:

# crm corosync push
OK: samba02

Добавим сервисы в автозагрузку:

# systemctl enable corosync
# systemctl enable pacemaker

Перезагрузимся и проверим состояние кластера:

# crm status
Stack: corosync
Current DC: samba01 (version 1.1.16-alt1-94ff4df) - partition with quorum
Last updated: Wed Apr 12 10:52:47 2017
Last change: Wed Apr 12 10:46:47 2017 by hacluster via crmd on samba01
2 nodes configured
0 resources configured
Online: [ samba01 samba02 ]
No resources

Настройка STONITH

Для корректной работы узлов с общим хранилищем, необходимо настроить механизм STONITH. Этот механизм позволяет кластеру физически отключить неотвечающий на запросы узел, чтобы не повредить данные на общем хранилище.
Установим необходимые пакеты:

# apt-get install cluster-glue-stonith

Проверим наличие необходимых ресурсов в pacemaker:

# crm ra classes | grep stonith
stonith

Посмотреть доступные STONITH устройств можно командой:

# stonith -L

Для примера выберем устройство meatware, которое реализует механизм с помощью сообщений на консоль, после которого оператор должен выключить узел вручную. Описание устройств можно посмотреть командой:

# stonith -t meatware -h

Обязательные параметры устройства можно посмотреть командой:

# stonith -t meatware -n
hostlist  

В нашем случае обязательный параметр только hostlist задающий имена узлов которые от может убить.
Создадим для каждого узла отдельный ресурс:

# configure primitive smb-meat-01 stonith:meatware params hostlist=samba01
# configure primitive smb-meat-02 stonith:meatware params hostlist=samba02

Запретим ресурсу стартовать на узле который он должен убивать:

# crm configure location l-st-meat-01 smb-meat-01 -inf: samba01
# crm configure location l-st-meat-02 smb-meat-02 -inf: samba02

Включим механизм STONITH:

# crm configure property stonith-enabled=true

Проверить работу механизма STONITH можно командой:

# stonith_admin --reboot samba01

После настройки STONITH наш кластер будет выглядеть так:

# crm status
...
Full list of resources:
 smb-meat-01	(stonith:meatware):	Started samba02
 smb-meat-02	(stonith:meatware):	Started samba01

Настройка DLM и Cluster LVM

Установим необходимые пакеты:

# apt-get install clvm

Сервисами DLM и CLVM должен управлять Pacemaker, они не должны запускаться автоматически:

# systemctl disable dlm
# systemctl disable lvm2-clvmd

На каждом узле включаем поддержку кластера LVM:

# lvmconf --enable-cluster

Проверяем включилась ли она:

# cat /etc/lvm/lvm.conf | grep "locking_type ="
    locking_type = 3

Создаем ресурс для DLM:

# crm configure primitive dlm ocf:pacemaker:controld op monitor interval=30s on-fail=fence

Клонируем ресурс DLM:

# crm configure clone clonedlm dlm meta interleave=true ordered=true

Создаем ресурс для CLVM:

# crm configure primitive clvmd ocf:heartbeat:clvm op monitor interval=30s on-fail=fence

Клонируем ресурс CLVM:

# crm configure clone cloneclvmd clvmd meta interleave=true ordered=true

Теперь настроим очередность запуска ресурсов, чтобы cloneclvmd должен запускаться после clonedlm:

# crm configure order dlmbeforeclvm clonedlm cloneclvmd

Также оба сервиса должны запускаться на одном узле:

# crm configure colocation clonedlm-with-cloneclvmd inf: clonedlm cloneclvmd

Проверим запустились ли ресурсы:

# crm resource show
 Clone Set: clonedlm [dlm]
     Started: [ samba01 samba02 ]
 Clone Set: cloneclvmd [clvmd]
     Started: [ samba01 samba02 ]
 smb-meat-01	(stonith:meatware):	Started
 smb-meat-02	(stonith:meatware):	Started

Внимание! Если у Вас при запуске ресурса clvmd возникла ошибка 'Setup problem: couldn't find command: /usr/sbin/clvmd'

То необходимо сделать символическую ссылку:

# ln -s /sbin/clvmd /usr/sbin/clvmd

см. altbug #33362

Далее создадим кластерный LVM на общем диске /dev/sdb:

# pvcreate /dev/sdb
# vgcreate --clustered y sambacluster /dev/sdb
# lvcreate -n sambastorage -l +100%Free sambacluster

Проверим созданный диск:

# fdisk -l | grep samba
Диск /dev/mapper/sambacluster-sambastorage: 32 GiB, 34355544064 байт, 67100672 секторов

Создание GFS2

Установим необходимые пакеты:

# apt-get install gfs2-utils

Отформатируем наше устройство в GFS2:

# mkfs.gfs2 -p lock_dlm -t samba_cluster:sambaclusterfs -j 2 /dev/mapper/sambacluster-sambastorage
/dev/mapper/sambacluster-sambastorage is a symbolic link to /dev/dm-0
This will destroy any data on /dev/dm-0
Are you sure you want to proceed? [y/n]y
Discarding device contents (may take a while on large devices): Done
Adding journals: Done 
Building resource groups: Done     
Creating quota file: Done
Writing superblock and syncing: Done
Device:                    /dev/mapper/sambacluster-sambastorage
Block size:                4096
Device size:               32,00 GB (8387584 blocks)
Filesystem size:           32,00 GB (8387582 blocks)
Journals:                  2
Resource groups:           129
Locking protocol:          "lock_dlm"
Lock table:                "samba_cluster:sambaclusterfs"
UUID:                      6902041b-96bb-5cc1-b39d-cc027998372f

В данном примере файловая система использует протокол lock_dlm. Кластер имеет имя samba_cluster, имя файловой системы — sambaclusterfs. Файловая система создана на /dev/mapper/sambacluster-sambastorage и содержит 2 журнала по количеству узлов в кластере.
На каждом узле создадим папку для монтирования созданной файловой системы:

# mkdir /mnt/smbfs/

Монтированием файловой системы будет заниматься Pacemaker, для этого создадим ресурс:

# crm configure primitive clusterfs Filesystem device="/dev/mapper/sambacluster-sambastorage" directory="/mnt/smbfs" fstype="gfs2" "options=noatime" op monitor interval=10s on-fail=fence

Клонируем его:

# crm configure clone cloneclusterfs clusterfs meta interleave=true

Далее настраиваем очередность запуска:

# crm configure order clvmbeforefs cloneclvmd cloneclusterfs

Теперь наш кластер выглядит так:

# crm resource show
 Clone Set: clonedlm [dlm]
     Started: [ samba01 samba02 ]
 Clone Set: cloneclvmd [clvmd]
     Started: [ samba01 samba02 ]
 smb-meat-01	(stonith:meatware):	Started
 smb-meat-02	(stonith:meatware):	Started
 Clone Set: cloneclusterfs [clusterfs]
     Started: [ samba01 samba02 ]