OpenVZ veth etcnet

Здесь приведена информация, добытая в глубинах различных источников, которую я собрал для попытки описать максимально просто и последовательно, что же нужно сделать, чтобы получить следующее.

Работа с интерфейсом veth, etcnet и скриптами openvz

Конфигурация veth интерфейса с помощью etcnet

В различной документации для настройки veth-интерфейса для контейнера openvz предлагается использовать вручную вводимые команды или их наборы, помещаемые в стартовые скрипты(например). При наличии Etcnet дублировать (часть настраивать с помощью него, а часть нет) настройку не удобно, поэтому тут я привожу вариант только с помощью etcnet.

1. включить форвардинг пакетов на ноде в файле /etc/net/sysctl.conf:

net.ipv4.ip_forward = 1

2. создать и стартовать контейнер, но не добавлять адрес с помощью vzctl set --ipadd (он добавит интерфейс типа venet)

vzctl start 101

3. добавить veth-интерфейс в контейнер (формат команды подходит для vzctl 3.0.22, варианты см. по ссылке «например» выше).

vzctl set 101 --netif_add eth0,,,fe:ff:ff:ff:ff:ff --save

при этом vzctl запишет в конфиг vz строку такого вида:

NETIF="ifname=eth0,mac=00:18:51:62:4E:08,host_ifname=veth101.0,host_mac=00:18:51:21:5F:E4"

(если же vzctl выдает ругань вида "According to vps.basic CT<N> has no veth interface configured." - значит, вы уже настраивали контейнеры и надо на данный момент закомментировать EXTERNAL_SCRIPT в /etc/net/vznet.conf)

первый mac-адрес будет использоваться для интерфейса в контейнере (обычный eth0 или как было задано в команде добавления)), а второй — для интерфейса на ноде (у него будет имя veth<номер ve>.0). mac-адреса можно указать и вручну, а если нет — то они вычислятся автоматически. Конечно, они не должны быть одинаковыми с соседними онтерфейсами (и вообще ни с чем в сети).

4. создать на ноде папку по имени интерфейса в etc/net/ifaces, а в нее положить такие файлы:

• ipv4address:

0 dev veth101.0

• ipv4route:

10.1.10.10 dev veth101.0

• options:

TYPE=eth
BOOTPROTO=static
ONBOOT=yes
USE_HOTPLUG=yes

• sysctl.conf:

proxy_arp=1
ipv4_forwarding=1

файл ipv4address запустит интерфейс, но не назначит ему адреса (адрес присуствует у части, которая внутри VE, а снаружи — нет). файл ipv4route пропишет маршрут для адреса VE на конкретный интерфейс на ноде. файл options содержит важную опцию USE_HOTPLUG, она позволяет запускать интерфейс только тогда, когда VE реально стартует, без нее при старте сети будет ругань на невозможность сконфигурировать отсутствующий интерфейс. файл sysctl.conf задает параметры sysctl для конкретного интерфейса, используя автодополнение

5. такой же файл sysctl.conf надо положить в каталог физического eth-интерфейса сервера (eth0, если вы не переименовали его).

• sysctl.conf:

proxy_arp=1
ipv4_forwarding=1

6. Теперь надо зайти в VE (например, vzctl enter 101) и настроить интерфейс там. Положить следующие файлы в каталог etc/net/ifaces/eth0/ (если при создании вы назвали его eth0):

• ipv4address:

10.1.10.10/16

• ipv4route:

default via 10.1.10.150 dev eth0

• options:

TYPE=eth
BOOTPROTO=static
ONBOOT=yes

Здесь 10.1.10.10 — это адрес, который присваивается интерфейсу внутри VE, а 10.1.10.150 — адрес, присвоенный физическому интерфейсу на ноде. Проблема: если в качестве маршрута указать default dev eth0, то в локальной сети (10.1.*) этот интерфейс доступен будет, но при попытке выйти за ее пределы (например, в интернет) - работать не будет, так как будет считать что абсолютно все адреса должны быть доступны через arp-запрос в локальной сети). Что в случае адресов из интернета, конечно, неверно.

Проверка результатов

Теперь можно проверить, что получилось:

Выключить VE

vzctl stop 101

Тут желательно уже раскомментировать EXTERNAL_SCRIPT в /etc/net/vznet.conf, и проверить наличие в /etc/vz/conf/101

CONFIG_CUSTOMIZED="yes"
BRIDGEDEV="br0"

если вы включаете интерфейсы в бридж.

Включить VE

vzctl start 101

и проверить наличие интерфейса veth и маршрута:

ip a
ifconfig
route -n

например, оно может выглядеть так:

2: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue
   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   inet 127.0.0.1/8 scope host lo
14: extbi: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
   link/ether 00:19:99:01:4b:82 brd ff:ff:ff:ff:ff:ff
   inet 10.1.10.150/16 brd 10.1.255.255 scope global extbi
21: veth1040.0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue
   link/ether 00:18:51:21:5f:e4 brd ff:ff:ff:ff:ff:ff

extbi     Link encap:Ethernet  HWaddr 00:19:99:01:4B:82
         inet addr:10.1.10.150  Bcast:10.1.255.255  Mask:255.255.0.0
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
lo        Link encap:Local Loopback
         inet addr:127.0.0.1  Mask:255.0.0.0
veth1040.0 Link encap:Ethernet  HWaddr 00:18:51:21:5F:E4
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

10.1.10.40      0.0.0.0         255.255.255.255 UH    0      0        0 veth1040.0
10.1.0.0        0.0.0.0         255.255.0.0     U     0      0        0 extbi

и при этом обязательно должны быть включены forwarding и proxy_arp на соотв. интерфейсах (п .3 и 4)

[node]# cat /proc/sys/net/ipv4/conf/extbi/proxy_arp
1
[node]# cat /proc/sys/net/ipv4/conf/veth1040.0/proxy_arp
1

аналогично с forwarding.

с другого компьютера сети можно запустить ping

$ ping 10.1.10.10
PING 10.1.10.10 (10.1.10.10) 56(84) bytes of data.
64 bytes from 10.1.10.10: icmp_seq=1 ttl=64 time=2.82 ms

при этом в arp-таблице ноды появится запись

#arp
samba.local              ether   00:18:51:62:4E:08   C                     veth101.0

Если же у вас не так — смотрите, где что перепутано или забыто ;)

Как добиться прохождения broadcast в VE с интерфейсом veth

Если вы сделали все вышеописанное, то у вас будут работать сервисы в контейнере, которые получают пакеты, адресованные непосредственно им. (Такие как FTP, DNS, LDAP и другие). Но они работали бы и с интерфейсом venet, а veth обычно настраивают тогда, когда хотят поместить в контейнер что-то, что получало бы пакеты типа broadcast, адресованные всей подсети. Но на данном этапе работать это не будет ;) Причина в том, что в такой конфигурации между контейнером и остальной сетью есть роутер (это HN). Это можно легко проверить:

# traceroute -n 10.1.10.40
traceroute to 10.1.10.40 (10.1.10.40), 30 hops max, 40 byte packets
 1  10.1.10.150 (10.1.10.150)  0.149 ms   0.123 ms   0.119 ms
 2  10.1.10.40 (10.1.10.40)  0.139 ms   0.116 ms   0.118 ms

Т.е. пакеты из наружной сети проходя сначала через HN, но broadcast-пакеты роутеры не передают. Поэтому если поместить в такой контейнер сервисы типа DHCP или Samba, то работать они будут некорректно: например, Samba сможет работать как WINS-сервер, регистрируя имена тех, кто прямо укажет у себя адрес WINS-сервера, но она не сможет ответить за широковещательный запрос о наличии в сети master browser. Поэтому остальные машины выберут master browser кого-то другого, а не этот Samba-сервер ;)

А вот чтобы все же такие рассылки проходили и в этот контейнер, нужно сделать следующее.

1. Создать интерфейс типа bridge, как описано в пункте 3.6 статьи Etcnet. Поместить в него только один интерфейс, который является физическим ethernet на HN. С ним позже будет связываться интерфейс типа veth, который расположен на HN.

2. Использовать статью (и в частности раздел) OpenVZ wiki , где описано какие внести изменения в файлы конфигурации контейнера на HN.

3. Использовать приведенный там скрипт vznetcfg.custom, поместив его куда-нибудь, например в /usr/local/sbin/. Но исправить путь brctl=/usr/sbin/brctl на /sbin.

для простоты скопирую его и тут:

#!/bin/bash
# /usr/sbin/vznetaddbr
# a script to add virtual network interfaces (veth's) in a CT to a bridge on CT0
CONFIGFILE=/etc/vz/conf/$VEID.conf
. $CONFIGFILE
VZHOSTIF=`echo $NETIF |sed 's/^.*host_ifname=\(.*\),.*$/\1/g'`
if [ ! -n "$VZHOSTIF" ]; then
   echo "According to $CONFIGFILE CT$VEID has no veth interface configured."
   exit 1
fi
if [ ! -n "$VZHOSTBR" ]; then
   echo "According to $CONFIGFILE CT$VEID has no bridge interface configured."
   exit 1
fi
echo "Adding interface $VZHOSTIF to bridge $VZHOSTBR on CT0 for CT$VEID"
/usr/sbin/brctl addif $VZHOSTBR $VZHOSTIF
exit 0

Этот скрипт читает конфиг VE в /etc/vz/conf, где добавлены соотв. параметры. VZHOSTBR - это имя бриджа из п.1, а VZHOSTIF определится скриптом из строки конфига NETIF. Скрипт проверяет наличие нужных параметров и просто добавляет еще один интерфейс (а именно интерфейс вида veth<номер VE> в уже существующий к этому моменту бридж.

4. veth интерфейсы, попадающие в бридж, не требуют специальной записи в таблице роутинга на ноде. поэтому в файле ipv4route в соотв. папке /etc/net/ifaces/veth* можно закомментировать установку маршрута. (Или это обязательно требуется? проверьте).

Поменяйте таким образом конфигурацию всех VE и интерфейсами veth, и они окажутся в одном бридже, что позволит им беспрепятственно, без роутинга, общаться между собой.

Результат:

# brctl show
bridge name     bridge id               STP enabled     interfaces
br0             8000.001851215fe4       yes             extbi
                                                       veth1010.0
                                                       veth1040.0

При старте сервера сначала стартует etcnet, который создает бридж с одним ethernet-интерфейсом хоста (в этом примере - extbi) и пропускает veth-интерфейсы еще не стартовавших контейнеров (они USE_HOTPLUG):

May 21 14:40:46 fujitsu network: Starting veth1010.0:
May 21 14:40:46 fujitsu network: skipping hotplug iface 'veth1010.0'
May 21 14:40:46 fujitsu network: SKIPPED

А позже при старте VE и поднимается интерфейс и добавляет себя в бридж:

May 21 14:40:49 fujitsu vzctl: Configure veth devices: veth1010.0
May 21 14:40:49 fujitsu vzctl: ifname=eth0 
May 21 14:40:49 fujitsu vzctl: mac=00:18:51:AE:1F:20 
May 21 14:40:49 fujitsu vzctl: host_ifname=veth1010.0 
May 21 14:40:49 fujitsu vzctl: host_mac=00:18:51:75:1B:64 
May 21 14:40:49 fujitsu vzctl: Adding interface veth1010.0 to the bridge br0.

Проблемы

1. Если пытаться полностью полагаться на etcnet, то можно попробовать использовать скрипт ifup-post в каталоге интерфейса для добавления его в бридж. Тогда VZHOSTBR и VZHOSTIF прописать явно, они будут для каждого свои. У меня не получилось, но я не все варианты попробовал ;)

2. Если на HN находятся одновременно интерфейсы типа veth и типа venet, то у меня терялась между ними связь после экспериментов с добавлением veth в бридж. Те, кто конфигурировал такое, обычно опасались смешивать интерфейсы разного типа. Но может быть и такое, что это просто временные проблемы ядра, а у вас заработает. Пробуйте.

3 Если у вас часть интерфейсов veth, а часть venet и вы хотите переделать venet в veth, то, удалив адрес с venet и пытаясь сконфигурировать veth в том контейнере получится такое:

# vzctl set 1030 --ipdel 10.1.10.30 --save
Deleting IP address(es): 10.1.10.30
Saved parameters for VE 1030
# vzctl set 1030 --netif_add eth0,,,fe:ff:ff:ff:ff:ff --save
Configure veth devices: veth1030.0
According to vps.basic CT1030 has no veth interface configured.
/usr/sbin/vznetcfg exited with error
Saved parameters for VE 1030

Проблема курицы и яйца - сконфигурирован внешний скрипт, который при выполнении берет параметры из строки в конфиге NETIF (см. выше). А ее там еще нет, потому что она как раз и пытается добавиться. В результате ничего не изменится (NETIF не будет сконфигурирован). Выход, например - временно отключить в /etc/vz/vznet.conf параметр EXTERNAL_SCRIPT (или доработать скрипт?)

Как в нормальной системе использовать мост (bridge) в VE

Предыдущие разделы очень сложны по набору информации, и понять, что же нужно выбрать, может быть затруднительно. Скажу коротко, что если вам нужны контейнеры с внешними адресами, то надо использовать bridge — это самый простой вариант, не имеющий большинства проблем.

Возможно, что в серверном дистрибутиве уже используется bridge для сети (создано устройство breth0). Если этого нет, то создаём по пункту 3.6 статьи Etcnet. Если коротко, то в физическом интерфейсе оставляем только файл options с содержимым примерно

TYPE=eth
MODULE=r8169

а все остальные настройки переносим в /etc/net/ifaces/breth0, где в options пишем

TYPE=bri
HOST='eth0'

И создаём brctl с содержимым

stp AUTO on

(не понял, насколько это нужно). Остальные настройки (ipv4address, ipv4route, resolv.conf) должны быть скопированы, и обычно не требуют изменения.

Также обязательно должен быть включен ip forwarding (net.ipv4.ip_forward = 1 в /etc/net/sysctl.conf).

Далее в /etc/vz/vznet.conf вносим строку EXTERNAL_SCRIPT="/usr/sbin/vznetaddbr"

Предварительно удалив из конфига контейнера (/etc/vz/conf/501.conf) строку NETIF, запускаем

vzctl set 501 --netif_add breth0,,,fe:ff:ff:ff:ff:ff,breth0 --save

для каждого контейнера, который мы хотим подключить к сетевому мосту.

Дальше только не забываем в каждом контейнере поменять сетевые настройки, поскольку сменится название интерфейса внутри (с eth0 на breth0), соответственно нужно переименовать каталог /etc/net/ifaces/eth0.

Больше ничего делать не нужно.

Проверяем, что всё получилось:

# brctl show
bridge name    bridge id               STP enabled     interfaces
breth0         8000.00185167a3cb       yes             eth0
                                                       veth501.0

Запускаем контейнер:

# vzctl start 501
...
File resolv.conf was modified
Configure veth devices: veth501.0 
Adding interface veth501.0 to bridge breth0 on CT0 for CT501

Ресурсы для справок

openvz wiki net configuration