Kubevirt

Надстройка Kubernetes, добавляющая возможность оркестровки виртуальных машин, помимо контейнеров.

Установка

• Развернуть k8s кластер.
• На master ноде установить пакеты:

# apt-get install qemu-kvm podman

• Настроить podman rootless mode для пользователя, от которого далее будет настроен kubevirt. Например, admin.
• На slave ноде установить пакеты:

# apt-get install qemu-kvm

• Выполнить шаги развертывания kubevirt-компонентов под юзером admin.

1. Выбрать необходимую версию kubevirt. Например:

$ export RELEASE=$(curl https://storage.googleapis.com/kubevirt-prow/release/kubevirt/kubevirt/stable.txt)

2. Развернуть компонент operator. Чтобы получить компонент, базирующийся на alt платформе или отличающейся от upstream, необходимо скачать конфиг upstream-компонента и указать путь к нужному образу компонента virt-operator в репозитории и нужной версии.

$ wget https://github.com/kubevirt/kubevirt/releases/download/${RELEASE}/kubevirt-operator.yaml
$ vim kubevirt-operator.yaml

containers:
      - args:
        - --port
        - "8443"
        - -v
        - "2"
        command:
        - virt-operator
        env:
        - name: VIRT_OPERATOR_IMAGE
          value: registry.altlinux.org/sisyphus/virt-operator:1.3.1
        - name: WATCH_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.annotations['olm.targetNamespaces']
        - name: KUBEVIRT_VERSION
          value: v1.3.1
        image: registry.altlinux.org/sisyphus/virt-operator:1.3.1
        imagePullPolicy: IfNotPresent
        name: virt-operator

Применить конфиг.

$ kubectl apply -f kubevirt-operator.yaml

3. Развернуть kubevirt-окружение с остальными компонентами. Скачать конфиг окружения и применить его.

$ wget https://github.com/kubevirt/kubevirt/releases/download/${RELEASE}/kubevirt-cr.yaml
$ kubectl apply -f kubevirt-cr.yaml

1. Дождаться завершения настройки компонентов (первоначально занимает 2-3 мин). Для проверки готовности выполнить:

$ kubectl -n kubevirt wait kv kubevirt --for condition=Available

• Посмотреть окружение и статус всех компонентов:

$ kubectl get all -n kubevirt

В случае проблем на этапе развертывания

Если в полученном окружении не хватает каких-то компонентов после настроек выше или какой-то компонент не находится в статусе "запущен", необходимо изначально удостовериться в доступности всех образов компонентов по указанному пути в конфиге kubevirt-operator.yaml (они должны быть доступны по аналогичному пути, что и virt-operator, а так же иметь ту же версию). Список компонентов: virt-api virt-controller virt-exportproxy virt-exportserver virt-launcher virt-handler

Если доступность в норме, далее необходимо поэтапно проверить наличие ошибок в каждом компоненте. Сначала основные: virt-handler и virt-controller, далее virt-operator. Примеры команд для получения информации о компонентах:

$ kubectl get all -n kubevirt #посмотреть идентификаторы компонентов
$ kubectl logs --since "15m" -n kubevirt virt-handler-<id> | grep error #логи по времени
$ kubectl logs --tail 20 -n kubevirt virt-handler-<id> #логи по количеству
$ kubectl describe -n kubevirt pod virt-handler-<id> #информация о компоненте, в том числе логи этапов запуска
$ kubectl exec -it -n kubevirt virt-handler-<id>  -- /bin/bash #подключиться к компоненту для отладки

Запуск виртуальной машины

• Создать ssh ключ для юзера admin, если его нет, и заригистрировать его в kubevirt-окружении для дальнейшего подлключения к виртуальной машине:

$kubectl create secret generic kvm-key --from-file=ssh-publickey=/home//.ssh/<id_ed25519.pub>

• Создать и определить путь к образу нужной виртуальной машины.

Пример Dockerfile для создания образа ВМ на базе alt для kubevirt:

FROM scratch
ADD --chown=107:107 http://ftp.altlinux.org/pub/distributions/ALTLinux/images/Sisyphus/cloud/x86_64/alt-sisyphus-cloud-    x86_64.qcow2 /disk/

Примечание:

Ссылка на документацию по данному вопросу. Список ВМ на основе других дистрибутивов.

• Создать kubevirt конфиг ВМ vmi.yaml:

metadata:
  name: <name> #имя ВМ
  annotations:
    kubevirt.io/keep-launcher-alive-after-failure: "true" #настройка позволяющая сохранять компонент virt-launcher для отладки в случае падения запуска ВМ
  labels:
    debugLogs: "true"
    logVerbosity: "6" #детализация ошибок
apiVersion: kubevirt.io/v1
kind: VirtualMachineInstance
spec:
  domain:
    resources:
      requests:
        memory: 1024M
    devices:
      disks:
      - name: containerdisk
        disk:
          bus: virtio
      - name: cloudinitdisk
        disk:
          bus: virtio
  terminationGracePeriodSeconds: 0
  accessCredentials:
    - sshPublicKey:
        source:
          secret:
            secretName: kvm-key #ключ, добавленный ранее
        propagationMethod:
          noCloud: {}
  volumes:
    - name: containerdisk
      containerDisk:
        image: <example.ru/alt/vmidisks/rootfs-x86:latest> #путь к подготовленному образу ВМ
    - name: cloudinitdisk
      cloudInitNoCloud:
        userData: |-
          #cloud-config
          password: <user> #юзер и пароль для подключения к ВМ
          user: <pass>
          chpasswd: { expire: False }

• Применить конфиг.

$ kubectl create -f vmi.yaml

• Посмотреть список виртуальных машин, проверить статус и выделеный ip созданной ВМ:

$ kubectl get vmi

• Подключиться к ВМ, указать юзера из конфига ВМ, имя ранее настроенного ключа, ip ВМ из предыдущей команды:

$ ssh -i kvm-key <user>@<127.0.0.15>