ALT Container OS подветка K8S

Материал из ALT Linux Wiki

Подветка K8S обеспечивает разворачивание серверов для организации kubernetes-кластера.

В настоящее время (16.11.2021) дистрибутив ALTLinux обеспечивает разворачивание kubernetes-кластера под двумя типами "движков" (см. Kubernetes):

  • docker;
  • CRI-O (podman)

В текущей реализации был выбран вариант движка CRI-O, обеспечивающий повышенный уровень защиты запускаемых контейнеров. Но, так как подветка K8S наследуется от основной ветки потока, включающей движок docker, в рамках данной подветки можно запускать docker-контейнеры, сервисы под docker-compose и организовывать параллельно (или вместо) с кластером kubernetes и docker swarm кластер.

QCOW2 образ подветки altcos/x86_64/Sisyphus/k8s

В настоящее время реализован образ QCOW2 подветки altcos/x86_64/sisyphus/k8s. Скачать его можно по следующим ссылкам: [Полный] [Сжатый]

Образ включает в себя архив docker-образов, необходимых для разворачивания kubernetes-кластера. Так что для разворачивания кластера доступ в Интернет не нужен.

Запуск образа в режиме master-узла через qemu-system-x86_64

Подготовка YML butane-файла для master-узла

Для запуска необходимо подготовить YML butane-файл, обеспечивающий следующий функционал при запуске образа:

  • обеспечение доступа без пароля администратора по открытому ключу под пользователем altcos (passwd.users.ssh_authorized_keys)
  • получение без пароля прав администратора (sudo) для пользователя altcos (файл /etc/sudoers.d/altcos);
  • формирование переменных окружения для вызова команды kubectl (файл /etc/profile.d/kube.sh);
  • создание systemd-сервиса для инициализации master-узла kubernetes-кластера.

Файл конфигурации k8s_master.yml выглядит следующим образом: 

variant: fcos
version: 1.3.0
passwd:
  users:
   - name: root
     groups:
       - wheel
       - docker
     password_hash: ...
     ssh_authorized_keys:
       - ssh-rsa ... 
    - name: altcos
      groups:
        - wheel
        - docker
      password_hash: ...
      ssh_authorized_keys:
        - ssh-rsa ... 
storage:
  files:
    - path: /etc/sudoers.d/altcos
      contents:
        inline: |
          altcos ALL=NOPASSWD: ALL
    - path: /etc/profile.d/kube.sh
      mode: 0755
      contents:
        inline: |
          # Set  kube environment
          if [ `id -u ` = 0 ]
          then
            export KUBECONFIG=/etc/kubernetes/admin.conf
          else
            if [ -f /etc/kubernetes/admin.conf ]
            then
              if [ ! -d ~/.kube ]
              then
                mkdir -p ~/.kube
                sudo cp -i /etc/kubernetes/admin.conf ~/.kube/config
                sudo chown $(id -u):$(id -g) ~/.kube/config
                kubectl completion bash >> ~/.bashrc
              fi
            fi
          fi
    - path: /etc/hostname
      overwrite: true
      contents:
        inline:
          master01
systemd:
  units:
    - name: initk8smaster.service
      enabled: false
      contents: |
        [Unit]
        Description=Start up kubernetes in master mode
        After=crio.service kube-proxy.service kubelet.service systemd-networkd.service systemd-resolved.service
        [Service]
        Type=oneshot
        RemainAfterExit=yes
        Environment="KUBECONFIG=/etc/kubernetes/admin.conf"
        ExecStartPre=loadDockerArchiveImages.sh
        ExecStart=kubeadm init --cri-socket=/var/run/crio/crio.sock --pod-network-cidr=10.244.0.0/16 --ignore-preflight-errors=SystemVerification --kubernetes-version=v1.20.12
        ExecStartPost=kubectl taint nodes localhost node-role.kubernetes.io/master-
        [Install]
        WantedBy=multi-user.target

Запуск образа как master-узла

Запуск образа производится скриптом: 

#!/bin/sh
if ! butane -p k8s_master.yml > k8s_master.ign
then
  exit 1;
fi
cp ~altcos/ALTCOS/streams/altcos/x86_64/sisyphus/k8s/images/qcow2/k8s.20211118.0.0.qcow2 k8s.qcow2

sudo qemu-system-x86_64 \
	-m 2048 \
	-machine accel=kvm \
	-cpu host \
	-smp 2 \
	-hda k8s.qcow2 \
	-fw_cfg name=opt/com.coreos/config,file=k8s_master.ign \
	-net user,hostfwd=tcp::10222-:22 -net nic

Команда butane производит конвертацию butane-файла YML 'k8s_master.yml' в JSON-формате ignition в файл k8s_master.ign.

Команда cp копирует образ ядра в файл k8s.qcow2.

Обратите внимание, что для работы узла kubernetes требуется не менее 2-х ядер процессора и не менее 2GB оперативной памяти.

Доступ по протоколу ssh обеспечивается через порт 10222 HOST-компьютера localhost.

Запуск kubernetes на master-узле

Для того, чтобы запустить сервис:

  • зайдите через консоль или через ssh под пользователем altcos;
  • выполните запуск сервиса initk8smaster:
$ sudo systemctl start initk8smaster

Данные действия можно сделать и "удаленно" по протоколу ssh: 

ssh -p 10222 altcos@localhost sudo systemctl start initk8smaster

Во время запуска длительностью менее минуты:

  • производится загрузка из архива, входящего в состав qcow2-образа, необходимых docker-образов;
  • запуск их как сервисов;
  • инициализация master-узла кластера;

Логи запуска можно посмотреть командой: 

$ journalctl -u initk8s
Starting Start up kubernetes in master mode...
...
Loaded image(s): k8s.gcr.io/coredns:1.7.0
...
Loaded image(s): k8s.gcr.io/etcd:3.4.13-0
...
Your Kubernetes control-plane has initialized successfully!
...
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.0.2.15:6443 --token yhhb22.0q7bovdkg89l6hr7 \
    --discovery-token-ca-cert-hash sha256:16a864c569f23a5ecacafe5cb42931840fc7e4896b8c3946d0710133ea0b82bc
...
node/localhost untainted
Finished Start up kubernetes in master mode.

Рабочие (worker) узлы можно присоединять к кластеру указанной командой 

kubeadm join ...

Работа с master-узлом кластера

Вы можете работать с мастер узлом как под обычным пользователем (например altcos), так и от имени суперпользователя.

Файл ~/.kube/config в домашнем каталоге пользователя altcos автоматически создается скриптом /etc/profile.d/kube.sh, описанным в YML-butane файле, при входе в пользователя altcos после инициализации узла кластера.

Для работы с master-узлом кластера из суперпользователя укажите при вызове sudo флаг -i. Например: 

sudo -i kubectl get all -A

Проверка работы master-узла

Для проверки работы узла наберите команду 

# kubectl get nodes
NAME        STATUS   ROLES                  AGE   VERSION
localhost   Ready    control-plane,master   41m   v1.20.8

Для проверки работы всего функционала наберите команду: 

$ kubectl get all -A
NAMESPACE     NAME                                    READY   STATUS    RESTARTS   AGE
kube-system   pod/coredns-74ff55c5b-b4rxp             1/1     Running   0          9h
kube-system   pod/coredns-74ff55c5b-kfsxv             1/1     Running   0          9h
kube-system   pod/etcd-localhost                      1/1     Running   0          9h
kube-system   pod/kube-apiserver-localhost            1/1     Running   0          9h
kube-system   pod/kube-controller-manager-localhost   1/1     Running   0          9h
kube-system   pod/kube-proxy-4t95d                    1/1     Running   0          9h
kube-system   pod/kube-scheduler-localhost            1/1     Running   0          9h

NAMESPACE     NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
default       service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP                  9h
kube-system   service/kube-dns     ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   9h

NAMESPACE     NAME                        DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
kube-system   daemonset.apps/kube-proxy   1         1         1       1            1           kubernetes.io/os=linux   9h

NAMESPACE     NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
kube-system   deployment.apps/coredns   2/2     2            2           9h

NAMESPACE     NAME                                DESIRED   CURRENT   READY   AGE
kube-system   replicaset.apps/coredns-74ff55c5b   2         2         2       9h

Должен быть:

  • развернут deployment 'coredns' с двумя репликами (replicaset coredns-xxx, pods-xxx-yyy;
  • запушен daemonset 'kube-proxy' с одной (по числу узлов) репликой;

Все перечисленные POD'ы должны иметь состояние READY 1/1.

В kubernetes по умолчанию на master-узле не могут запускаться поды в namespace default. В одноузловом варианте в данном примере для снятия этого ограничения (см. YML-файл выше) запускается команда 

kubectl taint nodes localhost node-role.kubernetes.io/master-

Для проверки запуска POD'ов на master-узле в namespace default наберите команду: 

kubectl apply -f https://k8s.io/examples/application/deployment.yaml

Поcле загрузки образа nginx проверьте запуск POD'а на master-узле: 

# kubectl get pods        
NAME                                READY   STATUS    RESTARTS   AGE
nginx-deployment-66b6c48dd5-5nfc6   1/1     Running   0          8m16s
nginx-deployment-66b6c48dd5-j8mww   1/1     Running   0          8m16s

Действия после перезагрузке системы

После перезагрузки системы никаких дополнительных действий не требуется. master-узел kubernetes-кластера поднимается автоматически.

Подключение дополнительного BTRFS диска

Так как размер основного диска достаточно небольшой (около 4GB) для хранения образов и запуска pod'ов необходимо создать дополнительный диск. В приведенных ниже примерах для хранения каталогов образов, контейнеров, ... в docker и OCI-R создается и монтируется отдельный диск с файловой системой BTRFS.

Создание kubernet-кластера в среде libvirt

Установите пакеты virt-manager, virt-install.

Установка master-узла