Hier ein kurzer Abriss, was konfiguriert werden muss, um ein nettes HA-Setup zu realisieren, da die Dokumentation und Beispiele im Internet mal wieder einiges offen lassen:
Vorraussetzung: gleicher Firmwarestand auf beiden Switchen und zwei JD360B 2-port 10GbE Local Connect Module.
1. Schritt
Die Zusatzmodule müssen ausgebaut sein. Man meldet sich an beiden Switches an.
2. Schritt
Setze die MemberIDs für beide Switche:
[HP-ESX-Master]irf member 1 renumber 1
[HP-ESX-Slave]irf member 1 renumber 2
Dann auf beiden:
[HP-All]quit
[HP-All]save
[HP-All]reboot
3. Schritt
Konfiguration IRF MAC Persistenz, damit ist der "virtuelle" Switch, bei Ausfall des Master-Switches immer unter derselben MAC-Adresse erreichbar.
[HP-ESX-Master]irf mac-address persistent always
Konfiguration der Priorität:
[HP-ESX-Master]irf member 1 priority 32
[HP-ESX-Slave]irf member 1 priority 30
Dann auf beiden:
[HP-All]quit
[HP-All]save
[HP-All]reboot
4. Schritt
Baue die 10GE Module ein und verbinde die beiden Switche über Kreuz. Das heißt Switch1 Port1 auf Switch2 Port2 und umgekehrt.
5. Schritt
Verbinde logisch die physikalischen IRF Ports mit den logischen IRF Ports.
Interfaces herunterfahren:
[HP-ESX-Master]interface Ten-GigabitEthernet 1/1/1
[HP-ESX-Master]shutdown
[HP-ESX-Master]quit
[HP-ESX-Master]interface Ten-GigabitEthernet 1/1/2
[HP-ESX-Master]shutdown
[HP-ESX-Master]quit
[HP-ESX-Slave]interface Ten-GigabitEthernet 2/1/1
[HP-ESX-Slave]shutdown
[HP-ESX-Slave]quit
[HP-ESX-Slave]interface Ten-GigabitEthernet 2/1/2
[HP-ESX-Slave]shutdown
[HP-ESX-Slave]quit
IRF logische Ports erzeugen:
[HP-ESX-Master]irf port 1/1
[HP-ESX-Master]port group interface Ten-GigabitEthernet 1/1/1
[HP-ESX-Master]irf port 1/2
[HP-ESX-Master]port group interface Ten-GigabitEthernet 2/1/1
[HP-ESX-Slave]irf port 2/1
[HP-ESX-Slave]port group interface Ten-GigabitEthernet 1/1/2
[HP-ESX-Slave]irf port 2/2
[HP-ESX-Slave]port group interface Ten-GigabitEthernet 2/1/2
IRF aktivieren:
[HP-ESX-Master]irf-port-configuration active
Vor dem Reboot darauf achten, das die beiden Switche nicht mit einem Netzwerkkabel verbunden sind! Ansonsten erzeugen wir eine Loop!
[HP-All]quit
[HP-All]save
[HP-All]reboot
Nach dem Reboot sollte nur noch der Master mit seiner IP-Adresse erreichbar sein:
[HP-ESX-Master]display irf
Switch Role Priority CPU-Mac Description
+1 Master 32 xxxx-yyyy-zzzz -----
2 Slave 30 xxxx-yyyy-zzzz -----
--------------------------------------------------
indicates the device is the master.
+ indicates the device through which the user logs in.
The Bridge MAC of the IRF is: xxxx-yyyy-zzzz
Auto upgrade : yes
Mac persistent : always
Domain ID : 0
[HP-ESX-Master]display irf topology
Topology Info
-------------------------------------------------------------------------
IRF-Port1 IRF-Port2
Switch Link neighbor Link neighbor Belong To
1 UP 2 UP 2 xxxx-yyyy-zzzz
2 UP 1 UP 1 xxxx-yyyy-zzzz
[HP-ESX-Master]display irf configuration
MemberID NewID IRF-Port1 IRF-Port2
1 1 Ten-GigabitEthernet1/1/1 Ten-GigabitEthernet1/1/2
2 2 Ten-GigabitEthernet2/1/1 Ten-GigabitEthernet2/1/2
Konfiguration von MAD (Multiple Access Detection)
Unsere Switche beherschen leider kein MAD BFD. Für MAD LACP bräuchten wir einen weiteren Switch, der die MAD LACP Extensions unterstützt. Ist auch nicht vorhanden. Wir verwenden daher MAD ARP mit einer direkten Kabelverbindung zwischen den Switchen:
Für MAD ARP muss die Einstellung zur Persistenz der MAC Adresse geändert werden:
[HP-ESX-Master]undo irf mac-address persistent
Dann wird ein VLAN erzeugt und MAD ARP für diesen Link aktiviert:
[HP-ESX-Master]vlan 7
[HP-ESX-Master-vlan7]description ARP-MAD-VLAN
[HP-ESX-Master-vlan7]port GigabitEthernet 1/0/48
[HP-ESX-Master-vlan7]port GigabitEthernet 2/0/48
[HP-ESX-Master-vlan7]quit
[HP-ESX-Master]interface vlan-interface 7
[HP-ESX-Master]ip address 192.168.168.168 24
[HP-ESX-Master]mad arp enable
[HP-ESX-Master]save
Jetzt können die beiden Switche mit einem Kabel auf Port 48 verbunden werden.
Konfiguration eines Aggregation Ports für die Verbindung zu einem Linuxserver
Beispiel für die Verbindung eines Linuxservers, es wird LACP (dynamische Link Aggregation) konfiguriert:
[HP-ESX-Master]vlan 9
[HP-ESX-Master-vlan9]description ESX-DMZ
[HP-ESX-Master-vlan9]port GigabitEthernet 1/0/17
[HP-ESX-Master-vlan9]port GigabitEthernet 2/0/17
[HP-ESX-Master-vlan9]quit
[HP-ESX-Master]interface bridge-aggregation 17
[HP-ESX-Master-Bridge-Aggregation17]description fw-dmz
[HP-ESX-Master-Bridge-Aggregation17]link-aggregation mode dynamic
[HP-ESX-Master-Bridge-Aggregation17]quit
[HP-ESX-Master]interface GigabitEthernet 1/0/17
[HP-ESX-Master-GigabitEthernet1/0/17]port link-aggregation group 17
[HP-ESX-Master-GigabitEthernet1/0/17]quit
[HP-ESX-Master]interface GigabitEthernet 2/0/17
[HP-ESX-Master-GigabitEthernet2/0/17]port link-aggregation group 17
[HP-ESX-Master-GigabitEthernet2/0/17]quit
[HP-ESX-Master]interface bridge-aggregation 17
[HP-ESX-Master-Bridge-Aggregation17]port access vlan 9
[HP-ESX-Master-Bridge-Aggregation17]quit
Jetzt kann das Linuxsystem mit zwei Kabeln mit Port 17 an beiden Switchen verbunden werden. Als nächstes konfiguriert man das Ethernet Bonding auf Debian Seite. In die /etc/network/interfaces trägt man folgendes ein:
auto bond0
iface bond0 inet static
address 192.168.1.1
netmask 255.255.255.0
bond-slaves eth0 eth4
bond-mode 802.3ad
bond-miimon 100
xmit_hash_policy layer2+3
Und führt folgendes aus:
ifup bond0
Auf dem Switch sollte es dann so aussehen:
[HP-ESX-Master]display link-aggregation summary
Aggregation Interface Type:
BAGG -- Bridge-Aggregation, RAGG -- Route-Aggregation
Aggregation Mode: S -- Static, D -- Dynamic
Loadsharing Type: Shar -- Loadsharing, NonS -- Non-Loadsharing
Actor System ID: 0x8000, xxxx-yyyy-zzzz
AGG AGG Partner ID Select Unselect Share
Interface Mode Ports Ports Type
-------------------------------------------------------------------------------
BAGG17 D 0xffff, xxxx-yyyy-zzzz 2 0 Shar
..
Konfiguration eines Aggregation Ports für die Verbindung zu einem ESX-Host
Beispiel für die Verbindung eines ESXi-Hosts zum DMZ-VLAN, es wird statische Link Aggregation ohne LACP konfiguriert.
Das Teaming unter ESXi muss vor der Konfiguration des Switches erfolgen.
[HP-ESX-Master]vlan 9
[HP-ESX-Master-vlan9]port GigabitEthernet 1/0/18
[HP-ESX-Master-vlan9]port GigabitEthernet 2/0/18
[HP-ESX-Master-vlan9]quit
[HP-ESX-Master]interface bridge-aggregation 18
[HP-ESX-Master-Bridge-Aggregation18]description esx1-dmz
[HP-ESX-Master-Bridge-Aggregation18]quit
[HP-ESX-Master]interface GigabitEthernet 1/0/18
[HP-ESX-Master-GigabitEthernet1/0/18]port link-aggregation group 18
[HP-ESX-Master-GigabitEthernet1/0/18]quit
[HP-ESX-Master]interface GigabitEthernet 2/0/18
[HP-ESX-Master-GigabitEthernet2/0/18]port link-aggregation group 18
[HP-ESX-Master-GigabitEthernet2/0/18]quit
[HP-ESX-Master]interface Bridge-Aggregation 18
[HP-ESX-Master-Bridge-Aggregation18]port access vlan 9
[HP-ESX-Master-Bridge-Aggregation18]quit
Danach kann man den ESXi-Host mit zwei Kabeln mit den Ports 18 auf beiden Switchen verbinden. Auf dem Switch sollte es dann so aussehen:
[HP-ESX-Master]display link-aggregation summary
Aggregation Interface Type:
BAGG -- Bridge-Aggregation, RAGG -- Route-Aggregation
Aggregation Mode: S -- Static, D -- Dynamic
Loadsharing Type: Shar -- Loadsharing, NonS -- Non-Loadsharing
Actor System ID: 0x8000, xxxx-yyyy-zzzz
AGG AGG Partner ID Select Unselect Share
Interface Mode Ports Ports Type
-------------------------------------------------------------------------------
BAGG18 S none 2 0 Shar
..
Um die volle Performanz von 2 Gbit/s bei VMotion nutzen zu können, muss man sich an folgende Anleitung orientieren:
Vmware KB 2007467. Das funktioniert erst ab ESXi 5.5, bei 5.1 gibt es einen Bug, der bei Ausfall eines Switches dazu führt, das gar kein VMotion mehr geht. Desweiteren sollte man die Warnungen bzgl. IP Hash ignorieren, IP Hash ist bei HP IRF zwingend erforderlich.
Nach der Konfiguration kann man mal ruhig während der Migration einiger Maschinen einen der Switche ausschalten, um zu verifizieren das
HA auch funktioniert
.Zur Messung der Performanz hat sich SNMP mit PRTG als nützlich erwiesen, mit Cacti hatte ich Probleme.
