IPv6 und LXC

Netzwerk

Hetzner konfiguriert die VMs per Cloud-Init. Dazu wird aus der Cloud-Init eine Netzwerkkonfiguration /etc/network/interfaces.d/50-cloud-init erstellt und der Dienst networking.service gestartet. Diese Konfiguration wird erst einmal auf systemd-networkd umgestellt.

# /etc/systemd/network/eth0.network
[Match]
Name=eth0

[Network]
DHCP=no
LinkLocalAddressing=ipv6
Address=2001:db8:900d:1dea::1/64
Gateway=fe80::1
DNS=2a01:4ff:ff00::add:1
DNS=2a01:4ff:ff00::add:2
IPv6AcceptRA=true

Die frisch erstelle Konfiguration bringt noch gar nichts, weil systemd-networkd.service noch nicht läuft:

systemctl enable --now systemd-networkd.service systemd-resolved.service

Das funktioniert und macht auch nichts kaputt. networkctl status zeigt dann, dass die Schnittstelle eth0 erfolgreich konfiguriert wurde. Jetzt muss nur noch ifupdown ausgeschaltet werden:

systemctl disable --now networking.service

Und so fand ich heraus, dass der Dienst nicht einfach gestoppt und deaktiviert wird, sondern auch die konfigurierten Schnittstellen in den down-Zustand bringen will. Gut, dass ich ein root-Passwort gesetzt hatte.

In der ausgelieferten Config gibt es einen Hinweis, wie man Cloud-Init mitteilt, keine Netzwerkkonfiguration mehr zu erstellen, ansonsten wird das immer wieder gemacht, und ich nehme an, dass auch networking.service immer wieder gestartet wird.

# This file is generated from information provided by the datasource.  Changes
# to it will not persist across an instance reboot.  To disable cloud-init's
# network configuration capabilities, write a file
# /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg with the following:
# network: {config: disabled}

LXC

Eines der Quality-of-Life-Features von LXC ist die Möglichkeit, ein fertiges Image aus einem Repository zu laden:

lxc-create -n ipv6-client -t download -- -d debian -r trixie -a amd64

Das download-Template wird im Paket lxc-templates bereitgestellt. Ich habe weder die /etc/defaults/lxc noch die /etc/lxc/default.conf angepasst. Am Ende werde ich das eine oder andere erwähnen, was vielleicht noch sinnvoll wäre, aber ich reproduziere das hier eh schon aus dem Gedächtnis, solange es noch halbwegs frisch ist, und kann nicht gewährleisten, dass alles 100 Prozent korrekt ist.

Eine der Voreinstellungen von LXC ist, dass neu erstellte Container eine virtuelle Schnittstelle vom Typ veth bekommen, die an der Bridge lxcbr0 hängt. Um die Erstellung kümmert sich ein Skript, das über den Dienst lxc-net.service gestartet wird und in /usr/libexec/lxc/lxc-net liegt. Schaue ich mir das an, wird viel von der Schnittstellenkonfiguration direkt über ip-Befehle erledigt. Ich habe keine Lust, das alles zu replizieren, also fasse ich diese Schnittstelle für meine Experimente besser nicht an. Außerdem ist es vielleicht ganz sinnvoll, wenn die LXC untereinander in einem privaten Subnetz reden können und nur selektiv exponiert werden.

Ich ändere also die Konfiguration /var/lib/lxc/ipv6-client/config vom LXC ipv6-client und ergänze ein paar Zeilen:

# /var/lib/lxc/ipv6-client/config
# lxc.net.0 ist die vordefinierte Schnittstelle aus der Default-Config,
# deswegen hier lxc.net.1
lxc.net.1.type = veth
lxc.net.1.link = br0
lxc.net.1.flags = up

Damit das funktioniert, brauche ich eine Schnittstelle br0 auf dem Host.

Bridge

Es braucht ein Network-Device in systemd-networkd:

# /etc/systemd/network/br0.netdev
[NetDev]
# Der Name kann beliebig gewählt werden.
Name=br0
Kind=bridge

Und für dieses Device auch eine passende Network-Definition:

# /etc/systemd/network/br0.network
[Match]
# Der Name aus dem NetDev oben muss hier gematcht werden.
Name=br0

[Network]
IPMasquerade=no
LLDP=yes
EmitLLDP=customer-bridge

Nach einem networkctl reload ist die Bridge br0 sofort da. Wird der LXC gestartet, lxc-start ipv6-client, dann wird die zweite Schnittstelle eth1 an br0 gehängt.

Wie kriegt eth1 jetzt aber eine IPv6?

… erster Teil

Auf dem Host werden eth0 und br0 erstmal als separate Schnittstellen konfiguriert. br0 erhält zwei neue Abschnitte, [IPv6Prefix] und [IPv6SendRA]:

# /etc/systemd/network/br0.network
…
[IPv6Prefix]
Prefix=2001:db8:900d:1dea::/64
Assign=true
# ::1 ist eth0
Token=static:::2/64

[IPv6SendRA]
UplinkInterface=eth0

Und im Abschnitt [Network] werden auch noch ein paar Zeilen ergänzt:

# /etc/systemd/network/br0.network
[Network]
…
IPv6AcceptRA=true
IPv6SendRA=true
IPv6Forwarding=true

Die Zeile IPv6SendRA=true bewirkt, dass Router Advertisements auf der Schnittstelle erzeugt werden, mutmaßlich mit den Angaben aus dem Abschnitt [IPv6Prefix]. Die Zeile IPv6AcceptRA=true bewirkt, dass die Schnittstelle die Router Advertisements auf der Schnittstelle akzeptiert

Die drei Doppelpunkte nach static sind wichtig. Der erste Doppelpunkt trennt static von der IPv6-Adresse, die anderen beiden Doppelpunkte sind Teil der IPv6-Adresse. Sieht komisch aus, ist aber so.

Mit den Änderungen haben auf dem Host eth0 und br0 Adressen mit dem Prefix und der LXC ipv6-client hat sich ebenfalls eine Adresse mit dem Prefix konfiguriert.

Ich kann den Host anpingen, sowohl mit der IPv6-Adresse von eth0 wie auch der von br0. Das ganze Prefix wird auf diesen Host geroutet, wie man es auch erwarten mag. Aber die IPv6-Adresse vom LXC ist nicht erreichbar.

… zweiter Teil

Zwischendurch war mir zwar schon aufgefallen, dass ich auf dem Host zwei Routen habe für das /64-Netz, aber ich habe mir nichts weiter dabei gedacht. Mein Kollege kam dann auf die Idee, die Adresse auf eth0 doch einfach mit /128 zu konfigurieren. Ich griff den Vorschlag sofort auf:

# /etc/systemd/network/eth0.network
…
[Network]
Address=2001:db8:900d:1dea::1/128

Und tatsächlich funktioniert das so. Auf dem Host wird nun eine Route zur /128er-Adresse gesetzt, für die eth0 zuständig ist, ansonsten ist br0 für das /64 zuständig. Die Adressen sind alle anpingbar, der LXC ist exponiert, auch ssh auf den LXC funktioniert, wie ich es erwarte.

Ist das eine saubere Lösung? Ich habe keine Ahnung.

Zusammenfassung

Das Network-Device für br0 hat sich nicht geändert. Die Network-Konfiguration sieht ungefähr so aus:

# /etc/systemd/network/br0.network
[Match]
Name=br0

[Network]
Description=bridged uplink interface
LinkLocalAddressing=ipv6

# See section [IPv6Prefix]
IPv6SendRA=true
IPv6AcceptRA=true

IPMasquerade=no
LLDP=yes
EmitLLDP=customer-bridge
IPv6Forwarding=true

# See section [Network]
[IPv6Prefix]
Prefix=2001:db8:900d:1dea::/64
Assign=true
Token=static:::2

[IPv6SendRA]
UplinkInterface=eth0

Für eth0 auf dem Host gibt es das hier:

# /etc/systemd/network/uplink.network
[Match]
Name=eth0

[Network]
Description=physical uplink interface
LinkLocalAddressing=ipv6

Address=2001:db8:900d:1dea::1/128
Gateway=fe80::1
DNS=2a01:4ff:ff00::add:2
DNS=2a01:4ff:ff00::add:1

LLDP=yes
EmitLLDP=customer-bridge
IPv6Forwarding=true

Unerwähnt blieb bislang die Netzwerkkonfiguration von eth1 im LXC, aber sie ist eigentlich nicht besonders:

# /etc/systemd/network/eth1.network
[Match]
Name=eth1

[Network]
DHCP=ipv6
IPv6AcceptRA=true

[DHCP]
ClientIdentifier=mac

[DHCPv6]
UseDelegatedPrefix=true

Ich nehme an, da kann noch einiges rausgeworfen werden.