GFS2 на iSCSI с Multipath
GFS2 — кластерная файловая система обеспечивающая одновременный доступ к общим хранилищам в кластере. GFS2 позволяет всем узлам иметь прямой одновременный доступ к одному общему хранилищу.
Введение
В данной статье рассмотрим развертывание GFS2 на устройстве, подключенном по интерфейсу iSCSI c использованием двух сетевых подключений.
Тестовый стенд:
- Server-iSCSI (ip: 10.10.10.202; ip: 192.168.155.100) — сервер предоставляющий блочное устройство через iSCSI;
- iSCSI1 (ip: 10.10.10.164; ip: 192.168.155.111) — первая нода кластера;
- iSCSI2 (ip: 10.10.10.211; ip: 192.168.155.112) — вторая нода кластера.
Для работы GFS2 необходим работающий кластер LVM. В качестве кластера можно использовать ALT PVE. В данной статье мы рассмотрим минимально-необходимую конфигурацию.
Настройка iSCSI target
iSCSI-target — сервер предоставляющий блочное устройство (если необходимо, как правило этот сервис предоставляется оборудованием).
Устанавливаем пакет scsitarget-utils, запускаем и добавляем в автозагрузку сервис tgt:
# apt-get install scsitarget-utils # systemctl enable tgt # systemctl start tgt
В файле /etc/tgt/conf.d/sample.conf находятся примеры target-ов.
Настроим отдачу по iSCSI блочного устройства /dev/sdb для этого добавим в файл /etc/tgt/targets.conf следующие строки:
<target iqn.2016-12.com.example:server.target1>
direct-store /dev/sdb
</target>
iqn.2016-12.com.example:server.target1 — это IQN (iSCSI qualified name) имя длиной до 255 символов в следующем формате:
iqn.<год-месяц>.<имя домена в обратном порядке>:<имя сервера>.<имя цели>
Перезагрузим сервис:
# systemctl reload tgt
Проверим конфигурацию:
# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2016-12.com.example:server.target1
System information:
Driver: iscsi
State: ready
I_T nexus information:
I_T nexus: 100
Initiator: iqn.2017-01.ru.alt:01:9daa1def62d3 alias: iSCSI3
Connection: 0
IP Address: 10.10.10.201
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
SWP: No
Thin-provisioning: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 10737 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
SWP: No
Thin-provisioning: No
Backing store type: rdwr
Backing store path: /dev/sdb
Backing store flags:
Account information:
ACL information:
ALL
iSCSI-target по умолчанию работает на порту 3260/tcp. На этом базовая настройка iSCSI-target окончена.
Настройка iSCSI initiator
iSCSI-initiator — клиент подключающийся к iSCSI-target.
Установим пакет open-iscsi запустим и добавим в автозагрузку сервис iscsid:
# apt-get install open-iscsi # systemctl enable iscsid # systemctl start iscsid
Присоединим iSCSI хранилище к нашему кластеру:
Для этого выполним команды:
Посмотреть доступные для подключения target-ы можно с помощью команды:
# iscsiadm -m discovery -t sendtargets -p 10.10.10.202
Подключить target-ы:
# iscsiadm -m node --login
То же самое нужно выполнить для второго подключения к серверу.
Настроим автоматическое подключение iSCSI-target-ов. Для этого необходимо поменять следующие параметры:
В файле /etc/iscsi/iscsid.conf:
node.startup = automatic
В файле (до p9.2) /etc/iscsi/send_targets/<TargetServer>,<Port>/st_config В файле (>=p9.2) /var/lib/iscsi/send_targets/<TargetServer>,<Port>/st_config
discovery.sendtargets.use_discoveryd = Yes
Вместо <TargetServer> подставляем IP адреса серверов.
В итоге при загрузке у нас должны подключаться два устройства (/dev/sdb, /dev/sdc).
Настройка Multipath
Сам по себе open-iscsi не умеет подключаться к нескольким IP одного target-а. При одновременном подключении мы получили два блочных устройства. Для решения этой проблемы существует multipath, который находит диски с одинаковым идентификаторами и обрабатывает их как один диск.
Установим необходимый пакет:
# apt-get install multipath-tools
Редактируем файл /etc/multipath.conf:
defaults {
user_friendly_names yes
}
Добавляем сервис в автозагрузку и запускаем его:
# systemctl enable multipathd # systemctl start multipathd
Multipath обработает наши iSCSI устройства, сделает из них одно, и положит его в каталог /dev/mapper.
Посмотреть обработанные multipath устройства можно командой:
# multipath -ll mpatha (360000000000000000e00000000010001) dm-0 QEMU,QEMU HARDDISK size=10G features='0' hwhandler='0' wp=rw |-+- policy='service-time 0' prio=1 status=active | `- 3:0:0:1 sdb 8:16 active ready running `-+- policy='service-time 0' prio=1 status=enabled `- 4:0:0:1 sdc 8:32 active ready running
Отключить устройство можно командой:
# multipath -f mpatha
Настройка Corosync
Для работы Cluster LVM нам необходимо настроить сервис Corosync.
Сначала изменим имена нод:
На первой ноде:
# hostnamectl set-hostname iSCSI1
На второй ноде:
# hostnamectl set-hostname iSCSI2
Далее пропишем в /etc/hosts на каждой ноде адреса нод:
10.10.10.164 iSCSI1 10.10.10.211 iSCSI2
Далее необходимо сгенерировать аутентификационный файл для коммуникации между нодами:
# corosync-keygen -l
Сгенерированный файл /etc/corosync/authkey нужно скопировать на каждую ноду.
Далее нужно на каждой ноде привести файл конфигурации /etc/corosync/corosync.conf к следующему виду:
logging {
debug: off
to_syslog: yes
}
nodelist {
node {
name: iSCSI1
nodeid: 1
quorum_votes: 1
ring0_addr: 10.10.10.164
}
node {
name: iSCSI2
nodeid: 2
quorum_votes: 1
ring0_addr: 10.10.10.211
}
}
quorum {
provider: corosync_votequorum
}
totem {
cluster_name: gfs2pve
config_version: 2
ip_version: ipv4
secauth: on
version: 2
interface {
bindnetaddr: 10.10.10.0
ringnumber: 0
}
}
Далее добавляем сервис в автозагрузку и запускаем его:
# systemctl enable corosync # systemctl start corosync
Настройка Cluster LVM
Установим необходимые пакеты:
# apt-get install clvm
Настраиваем LVM для работы в кластере на каждой ноде:
# lvmconf --enable-cluster
Добавляем сервисы в автозагрузку и запускаем их:
# systemctl enable dlm # systemctl enable lvm2-cluster-activation # systemctl start dlm # systemctl start lvm2-cluster-activation
Для корректной работы CLVM и Multipath говорим LVM не сканировать наши iSCSI-диски (sd*):
В файл /etc/lvm/lvm.conf добавляем:
devices {
...
filter = [ "r|/dev/sd|" ]
...
}
Инициализируем разделы для использования в LVM:
# pvcreate /dev/mapper/mpatha
Создаём группу томов 'shared_vg':
# vgcreate --clustered y shared_vg /dev/mapper/mpatha
В группе 'shared_vg' создаем Logical 'storage':
# lvcreate -n storage -l +100%Free shared_vg
Говорим CLVM, какие Volume Groups надо активировать/деактивировать при запуске/остановке:
Файл /etc/sysconfig/clvmd:
START_CLVM=yes LVM_VGS="shared_vg"
В итоге при запуске на всех нодах нам должно быть доступно устройство /dev/mapper/shared_vg-storage:
# lvscan ACTIVE '/dev/shared_vg/storage' [10,00 GiB] inherit
Настройка GFS2
Установим необходимые пакеты:
# apt-get install gfs2-utils
Отформатируем наше multipath устройство в GFS2:
# mkfs.gfs2 -p lock_dlm -t gfs2pve:mydata1 -j 2 /dev/mapper/shared_vg-storage
В данном примере файловая система использует протокол lock_dlm. Кластер имеет имя gfs2pve, имя файловой системы — mydata1. Файловая система создана на /dev/mapper/shared_vg-storage и содержит 2 журнала.
Примонтируем файловую систему gfs2:
# mount /dev/mapper/shared_vg-storage /mnt/gfs2
Добавим в /etc/fstab строчку для монтирования нашей файловой системы при загрузке системы:
/dev/mapper/shared_vg-storage /mnt/gfs2 gfs2 noatime,rw 0 0