Ceph

Источник

https://docs.ceph.com/en/latest/start/intro/

Основная информация

Ceph - это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность.

Архитектура

Ceph состоит из нескольких демонов:

• Ceph Monitor - поддерживает карты состояния кластера, включая карту монитора, карту менеджера, экранную карту, карту MDS и карту CRUSH. Эти карты представляют собой критическое состояние кластера, необходимое для координации действий демонов Ceph друг с другом. Мониторы также отвечают за управление аутентификацией между демонами и клиентами. Обычно для обеспечения резервирования и высокой доступности требуется не менее трех мониторов.

• Ceph OSD Daemon - Демон хранилища объектов хранит данные, обрабатывает репликацию данных, восстановление, перебалансировку и предоставляет некоторую информацию о мониторинге мониторам и менеджерам Ceph, проверяя другие демоны OSD. Для обеспечения резервирования и высокой доступности обычно требуется не менее трех OSD Ceph.

• Ceph Manager - отвечает за отслеживание показателей времени выполнения и текущего состояния кластера Ceph, включая использование хранилища, текущие показатели производительности и загрузку системы. Демоны Ceph Manager также размещают модули на базе python для управления и предоставления информации о кластере Ceph, включая веб-панель мониторинга Ceph и REST API. Для обеспечения высокой доступности обычно требуется по крайней мере два менеджера.

• Ceph Metadata Server - хранит метаданные от имени файловой системы Ceph (Блочные устройства Ceph и хранилище объектов Ceph не используют MDS). Серверы метаданных Ceph позволяют пользователям файловой системы POSIX выполнять базовые команды (такие как ls, find и т.д.), не создавая огромной нагрузки на кластер хранения Ceph.

Рекомендации к составу кластера

В составе кластера должны быть следующие физические или виртуальные серверы:

• Сервер с данными (OSD);
• Не менее трёх серверов-мониторов (MON);
• Административный сервер (ADM);
• Сервис мониторинга (MGR);
• Сервер метаданных (MDS). Необходим, если вы используете файловую систему CephFS.

Пример ручной установки

Подготовка:

0. По умолчанию команды выполняются от рута если не сказано обратного.

1. Установите пакеты на все хосты кластера

apt-get install ceph

2. Создайте записи для резолвинга хостов в кластере в

/etc/hosts

Установка:

1. Сгенерируйте uuid с помощью команды:

uuidgen

2. Установите переменные окружения:

Полученное uuid значение сохраните в переменную окружения:

export fsid=VALUE 

Придумайте имя кластера(по умолчанию ceph) и сохраните его в переменную окружения:

export CLUSTER=NAME 

Сохраните имя хоста в переменную окружения:

export hostname=NAME 

3. Создайте конфиг файл в /etc/ceph/ceph.conf с таким содержимым:

[global]
fsid = введите UUID
mon initial members = введите HOSTNAME
mon host = {Host IP}
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
public network = укажите сеть
cluster network = укажите сеть
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
mon_allow_pool_delete = true
osd pool default size = 3
osd pool default min size = 1
osd pool default pg num = 128
osd pool default pgp num = 128
osd crush chooseleaf type = 1
mon_pg_warn_max_object_skew = 20
mon_max_pg_per_osd = 400

4. Сгенерируйте ключ для кластера и монитора:

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

Затем ключ для менеджера:

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *' 

Затем ключ для поднятия osd:

su -l -s /bin/bash -c  "ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'" ceph 

Затем добавьте ключи в файл ключей монитора:

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring 

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring 

5. Смените владельца для этого файла:

chown ceph:ceph /tmp/ceph.mon.keyring 

6. Создайте карты мониторов:

monmaptool --create --add $hostname адресс хоста --fsid $fsid /tmp/monmap 

7. Создайте каталог:

su -l -s /bin/bash -c "mkdir /var/lib/ceph/mon/$CLUSTER-$hostname" ceph 

8. Заполните монитор картой монитора и связкой ключей:

su -l -s /bin/bash -c "ceph-mon --cluster $CLUSTER --mkfs -i $hostname --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring" ceph 

9. Запустите сервис:

systemctl start ceph-mon@$hostname 

10. Проверьте статус кластера:

ceph -s 

Если в статусе кластера присутствуют сообщения:

health: HEALTH_WARN
mons are allowing insecure global_id reclaim

Предупреждение можно отключить командами:

# ceph config set mon mon_warn_on_insecure_global_id_reclaim false
# ceph config set mon mon_warn_on_insecure_global_id_reclaim_allowed false

11. (Опционально) Включите msgr2:

ceph mon enable-msgr2 

Создание менеджера

1. Создайте ключ для демона, указав имя демона(желательно использовать hostname):

 ceph auth get-or-create mgr.{DEMON_NAME} mon 'allow profile mgr' osd 'allow *' mds 'allow *' 

2. Полученный ключ добавьте в файл по пути, предварительно его создав от лица ceph юзера:

 /var/lib/ceph/mgr/$CLUSTER-{DEMON_NAME}/keyring 

3. Запустите менеджер:

 systemctl start ceph-mgr@{DEMON_NAME} 

4. Проверьте кластер:

 ceph -s 

Добавление монитора в кластер

1. Создайте директорию на новом узле:

 su -l -s /bin/bash -c  "mkdir /var/lib/ceph/mon/$CLUSTER-$hostname" ceph 

2. На узле с созданным монитором заберите ключ и мапу:

Добавьте в ceph.conf в новые хостнеймы и адреса

 ceph auth get mon.$hostname -o ~/ceph.mon.keyring 

 ceph mon getmap -o ~/ceph.map 

3. Скопируйте полученный ключ и мапу на новую ноду в каталог /var/lib/ceph/tmp/ и смените владельца на ceph. А также скопируйте ceph.conf и ceph.admin.keyring

4. Запустите команду инициализации:

 su -l -s /bin/bash -c "ceph-mon --mkfs -i $hostname --monmap /var/lib/ceph/tmp/ceph.map --keyring /var/lib/ceph/tmp/ceph.mon.keyring" ceph 

5. Запустите сервис:

 systemctl start ceph-mon@$hostname 

Создание OSD

1. Создайте хранилище:

 ceph-volume lvm create --data укажите путь 

2. Подготовьте хранилище:

 ceph-volume lvm prepare --data укажите путь 

3. Активируйте:

 ceph-volume lvm activate {ID} {FSID} 

Внимание! В случае застревания какого либо сервиса в статусе fail:

 systemctl reset-failed SERVICE 

Пример установки с помощью ceph-deploy

Внимание! Материал далее устарел, требует проверки

На всех узлах

0. Установите ceph-common:

apt-get install ceph-common

1. Установите sh для пользователя:

chsh -s /bin/bash ceph

2. Установить параметры sudoers:

echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/ceph

3. Установить права на файл:

chmod 0440 /etc/sudoers.d/ceph

3. Создайте записи в файле /etc/hosts для резолвинга хостов

На административном узле

1. Установите пакеты ceph-deploy и python-setuptools:

apt-get install ceph-deploy python-module-setuptools

2. Создайте ключи ssh и скопируйте их на все узлы кластера пользователю ceph в /var/lib/ceph

3. Добавьте в файл ~/.ssh/config строки:

Host укажите хост
Hostname укажите хостнейм
User укажите юзера

4. Создайте директорию my-cluster для конфигурационных файлов и файлов ceph-deploy и перейдите в неё:

# mkdir ceph-cluster
# cd ceph-cluster

Создание кластера

Внимание! Все команды выполняются в ранее созданном каталоге ceph-cluster

1. Создайте конфигурационный файл кластера:

ceph-deploy new укажите хосты

2. Добавьте информацию о сети узлов кластера в конфигурационный файл ceph.conf:

echo "public_network = ВашаСеть" >> ceph.conf

3. Установите ceph-deploy на узлы кластера:

ceph-deploy install укажите хосты

4. Создайте и проведите инициализацию серверов-мониторов:

ceph-deploy mon create-initial

5. Создайте сервис мониторинга:

ceph-deploy mgr create укажите хост

6. Создайте Metadata сервера (Если CephFS):

ceph-deploy mds create укажите хосты

7. Скопируйте конфигурационные файлы на узлы кластера:

ceph-deploy admin укажите хосты

7. Добавьте в кластер серверы с данными:

Примечание: формат команды ceph-deploy osd create --data <device> <ceph-node>

# ceph-deploy osd create --data /dev/vdb ceph1
# ceph-deploy osd create --data /dev/vdb ceph2
# ceph-deploy osd create --data /dev/vdb ceph3

Проверка состояния кластера

1. Статус кластера:

[root@ceph1 ~]# ceph status
  cluster:
    id:     22aa3245-90da-42cb-9146-30e16df9824e
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph1,ceph2,ceph3 (age 2m)
    mgr: ceph1(active, since 25m)
    osd: 3 osds: 3 up (since 23m), 3 in (since 23m)
 
  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   15 MiB used, 60 GiB / 60 GiB avail
    pgs:     1 active+clean

2. Использование OSD:

[root@ceph1 ~]# ceph osd df
ID  CLASS  WEIGHT   REWEIGHT  SIZE    RAW USE  DATA     OMAP  META     AVAIL   %USE  VAR   PGS  STATUS
 0    hdd  0.01949   1.00000  20 GiB  5.0 MiB  152 KiB   0 B  4.9 MiB  20 GiB  0.02  1.01    1      up
 1    hdd  0.01949   1.00000  20 GiB  5.0 MiB  152 KiB   0 B  4.8 MiB  20 GiB  0.02  1.00    1      up
 2    hdd  0.01949   1.00000  20 GiB  5.0 MiB  152 KiB   0 B  4.8 MiB  20 GiB  0.02  1.00    1      up
                       TOTAL  60 GiB   15 MiB  456 KiB   0 B   14 MiB  60 GiB  0.02                   
MIN/MAX VAR: 1.00/1.01  STDDEV: 0

3. Вывод OSD дерева:

# ceph osd tree
[root@ceph1 ~]# ceph osd tree
ID  CLASS  WEIGHT   TYPE NAME       STATUS  REWEIGHT  PRI-AFF
-1         0.05846  root default                             
-3         0.01949      host ceph1                           
 0    hdd  0.01949          osd.0       up   1.00000  1.00000
-5         0.01949      host ceph2                           
 1    hdd  0.01949          osd.1       up   1.00000  1.00000
-7         0.01949      host ceph3                           
 2    hdd  0.01949          osd.2       up   1.00000  1.00000

4. Состояние кластера:

[root@ceph1 ~]# ceph health
HEALTH_OK

Установка с помощью ceph-ansbile

Внимание! Установка более сложная и требует знание базовой настройки кластера и владение ansible на базовом уровне

0. Установите пакет на административный узел:

apt-get install ceph-ansible

1. Перейдите в каталог ceph-ansible:

cd /usr/share/ceph-ansible

2. Создайте записи для резолвинга хостов в кластере в

/etc/hosts

3. Создайте файл inventory в котором укажите хосты и их роли:

Пример:

[mons]
stefan-ceph
stefan-ceph2

[mgrs]
stefan-ceph
stefan-ceph2

4. В каталоге group_vars лежат примеры конфигурационных файлов для всех ролей.

Допустим, чтобы настроить роль osd, скопируйте файл в формат yml и настройте:

cp group_vars/osds.yml.sample group_vars/osds.yml

Основные параметры кластера настраиваются в файле group_vars/all

5. Далее после настройки скопируйте основой файл загрузки в yml и настройте его:

cp site.yml.sample site.yml

6. Проверьте доступность узлов:

ansible all -m ping -i invetory

7. Далее приступайте к запуску:

ansible-playbook site.yml -i inventory

Пример создания CephFS

1. Создайте файловую систему:

ceph fs new cephfs cephfs_metadata cephfs_data

2. Результат:

[root@ceph1 ~]# ceph fs ls
name: cephfs, metadata pool: cephfs.cephfs.meta, data pools: [cephfs.cephfs.data ]

3. Для монтирования ресурса можно использовать ceph-fuse:

apt-get install ceph-fuse

4. Монтирование ресурса:

ceph-fuse -n client.admin --keyring=/etc/ceph/ceph.client.admin.keyring /mnt/myceph

5. Проверка монтирования:

[root@ceph1 ~]# mount | grep ceph-fuse
ceph-fuse on /mnt/myceph type fuse.ceph-fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)