GFS2 на iSCSI с Multipath
GFS2 - кластерная файловая система обеспечивающая одновременный доступ к общим хранилищам в кластере. GFS2 позволяет всем узлам иметь прямой одновременный доступ к одному общему хранилищу.
Введение
В данной статье рассмотрим развертывание GFS2 на устройстве, подключенном по интерфейсу iSCSI c использованием двух сетевых подключений.
Тестовый стенд:
1. Server-iSCSI (ip: 10.10.10.202; ip: 192.168.155.100) - сервер предоставляющий блочное устройство через iSCSI
2. iSCSI1 (ip: 10.10.10.164; ip: 192.168.155.111) - Первая нода кластера ALT PVE
3. iSCSI2 (ip: 10.10.10.211; ip: 192.168.155.112) - Вторая нода кластера ALT PVE
На двух нодах iSCSI1 и iSCSI2 штатно развернут кластер ALT PVE.
Настройка iSCSI target
iSCSI-target - сервер предоставляющий блочное устройство.
Устанавливаем пакет scsitarget-utils, запускаем и добавляем в автозагрузку сервис tgt:
# apt-get install scsitarget-utils # systemctl enable tgt # systemctl start tgt
В файле /etc/tgt/conf.d/sample.conf находятся примеры target-ов.
Настроим отдачу по iSCSI блочного устройства /dev/sdb для этого добавим в файл /etc/tgt/targets.conf следующие строки:
<target iqn.2016-12.com.example:server.target1>
direct-store /dev/sdb
</target>
iqn.2016-12.com.example:server.target1 - это IQN (iSCSI qualified name) имя длиной до 255 символов в следующем формате:
iqn.<год-месяц>.<имя домена в обратном порядке>:<имя сервера>.<имя цели>
Перезагрузим сервис:
# systemctl reload tgt
Проверим конфигурацию:
# tgtadm --lld iscsi --op show --mode target
Target 1: iqn.2016-12.com.example:server.target1
System information:
Driver: iscsi
State: ready
I_T nexus information:
I_T nexus: 100
Initiator: iqn.2017-01.ua.alt:01:9daa1def62d3 alias: iSCSI3
Connection: 0
IP Address: 10.10.10.201
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
SWP: No
Thin-provisioning: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 10737 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
SWP: No
Thin-provisioning: No
Backing store type: rdwr
Backing store path: /dev/sdb
Backing store flags:
Account information:
ACL information:
ALL
iSCSI-target по умолчанию работает на порту 3260/tcp. На этом базовая настройка iSCSI-target окончена.
Настройка iSCSI initiator
iSCSI-initiator - клиент подключающийся к iSCSI-target. Установим пакет open-iscsi запустим и добавим в автозагрузку сервис iscsid:
# apt-get install open-iscsi # systemctl enable iscsid # systemctl start iscsid
Присоединим iSCSI хранилище к нашему кластеру:
Для этого выполним команды:
Посмотреть доступные для подключения target-ы можно с помощью команды:
# iscsiadm -m discovery -t sendtargets -p 10.10.10.202
Подключить target-ы:
# iscsiadm -m node --login
То же самое нужно выполнить для второго подключения к серверу.
Настроим автоматическое подключение iSCSI-target-ов. Для этого необходимо поменять следующие параметры:
В файле /etc/iscsi/iscsid.conf:
node.startup = automatic
В файле /etc/iscsi/send_targets/<TargetServer>,<Port>/st_config
discovery.sendtargets.use_discoveryd = Yes
Вместо <TargetServer> подставляем IP адреса серверов.
В итоге при загрузке у нас должны подключаться два устройства (/dev/sdb, /dev/sdc).
Настройка Multipath
Сам по себе open-iscsi не умеет подключаться к нескольким IP одного target-а. При одновременном подключении мы получили два блочных устройства. Для решения этой проблемы существует multipath, который находит диски с одинаковым идентификаторами и обрабатывает их как один диск. Установим необходимый пакет:
# apt-get install multipath-tools
Редактируем файл /etc/multipath.conf:
defaults {
user_friendly_names yes
}
Добавляем сервис в автозагрузку и запускаем его:
# systemctl enable multipathd # systemctl start multipathd
Multipath обработает наши iSCSI устройства, сделает из них одно, и положит его в каталог /dev/mapper
Посмотреть обработанные multipath устройства можно командой:
# multipath -ll mpatha (360000000000000000e00000000010001) dm-0 QEMU,QEMU HARDDISK size=10G features='0' hwhandler='0' wp=rw |-+- policy='service-time 0' prio=1 status=active | `- 3:0:0:1 sdb 8:16 active ready running `-+- policy='service-time 0' prio=1 status=enabled `- 4:0:0:1 sdc 8:32 active ready running
Отключить устройство можно командой:
# multipath -f mpatha
Настройка Cluster LVM
Установим необходимые пакеты:
# apt-get install clvm
Настраиваем LVM для работы в кластере на каждой ноде:
# lvmconf --enable-cluster # systemctl enable lvm2-cluster-activation # systemctl start lvm2-cluster-activation # systemctl enable dlm # systemctl start dlm
Для корректной работы CLVM и Multipath говорим LVM не сканировать наши iSCSI-диски (sd*):
В файл /etc/lvm/lvm.conf добавляем:
devices {
...
filter = [ "r|/dev/sd|" ]
...
}
Инициализируем разделы для использования в LVM:
# pvcreate /dev/mapper/mpatha
Создаём группу томов 'shared_vg':
# vgcreate --clustered y shared_vg /dev/mapper/mpatha
В группе 'shared_vg' создаем Logical 'storage':
# lvcreate -n storage -l +100%Free shared_vg
Говорим CLVM, какие Volume Groups надо активировать/деактивировать при запуске/остановке:
Файл /etc/sysconfig/clvmd:
START_CLVM=yes LVM_VGS="shared_vg"
В итоге при запуске на всех нодах нам должно быть доступно устройство /dev/mapper/shared_vg-storage:
# lvscan ACTIVE '/dev/shared_vg/storage' [10,00 GiB] inherit
Настройка GFS2
Установим необходимые пакеты:
# apt-get install gfs2-utils
Отформатируем наше multipath устройство в GFS2:
# mkfs.gfs2 -p lock_dlm -t gfs2pve:mydata1 -j 2 /dev/mapper/mpatha
В данном примере файловая система использует протокол lock_dlm. Кластер имеет имя gfs2pve, имя файловой системы — mydata1. Файловая система создана на /dev/mapper/mpatha и содержит 2 журнала.
Примонтируем файловую систему gfs2:
# mount /dev/mapper/mpatha /mnt/gfs2
Добавим в /etc/fstab строчку для монтирования нашей файловой системы при загрузке системы:
/dev/mapper/shared_vg-storage /mnt/gfs2 gfs2 noatime,_netdev,rw 0 0