Dimension Data - Data Center Validated Reference Design

Application Note

Hier klicken zum Herunterladen: e2013072135de_nextiraone_appnote_v4.pdf

Einführung

Im Rahmen eines “Proof of Concepts” (POCs) für typische Kundenanforderungen im Rechenzentrumsumfeld (Data Center) wurde bei Dimension Data in Berlin/Teltow ein Test der “Alcatel- Lucent Data Center Switching Solution” durchgeführt. Neben Tests von Systemeigenschaften und Umschaltzeiten standen vor allem Interoperabilitätstests zur Anbindung von Storage (NetApp), Servern (Cisco UCS) und Virtualisierung (VMware ESXi) im Mittelpunkt. Besonderer Wert wurde bei den Tests auf die Virtualisierung der Netzwerkkomponenten sowie deren Hochverfügbarkeit auch bei Wartungsarbeiten wie z.B. der Aktualisierung des AOS-Betriebssystems gelegt.

Verwendete Hardware

Typ: OmniSwitch 10K
Software: Alcatel-Lucent Operating System (AOS) 7.3.1.632.R01
Module je Chassis:

2x Chassis Management Module (OS10K-CMM)
2x Chassis Fabric Module (OS10K-CFM)
2x 16-Port 1/10G SFP+ Modul (OS10K-XNI-U16E)
1x 32-Port 1/10G SFP+ Modul (OS10K-XNI-U32E)
1x 48-Port 1G RJ45 Modul (OS10K-GNI-C48E)

Typ: OmniSwitch 6900-X20-F
Software: Alcatel-Lucent Operating System (AOS) 7.3.1.632.R01

Typ: OmniSwitch 6900-X40-F
Software: Alcatel-Lucent Operating System (AOS) 7.3.1.632.R01

Typ: Cisco Catalyst 3750G (FW)
Software: Cisco IOS (c3750-ipservicesk9-mz.150-2.SE1.bin)

Typ: NetApp FAS3240
Software: v8.0.2P2 7-Mode

Typ: Spirent TestCenter SPT-C1
Software: 4.15.1396

Typ: Cisco Nexus 5548
Module: Nexus5548-Supervisor, L2-Daughtercard
Software: NXOS 5.1(3)N1.1a

Typ: Cisco Nexus 7000
Module:

N7K-SUP1
N7K-F132XP-15
N7K-M148GT-11
N7K-M132XP-12L
N7K-M132XP-12

Software:

NXOS 6.1(2)

Netzdesign

Ziel des im Folgenden beschriebenen Netzdesigns war es eine Umgebung zu schaffen in der trotz vollständig redundanter Streckenführung auf den Einsatz von Spanning-Tree verzichtet werden kann, so dass sämtliche Strecken aktiv verwendet werden können um im Ergebnis stets die maximal mögliche Bandbreite bereitzustellen. Die Komponenten sind per Link-Aggregation (statisch/dynamisch) miteinander verbunden wodurch die Topologie wesentlich vereinfacht wird.

Darüber hinaus wurde das Netzwerk in zwei Sicherheitszonen („Cloud S1 und S2“) unterteilt, welche vollständig voneinander isoliert betrieben werden können. Im Beispiel wurden beide Sicherheitszonen mittels einer externen (Layer3-)Firewall (angebunden über LAG 12) kontrolliert miteinander verbunden. Diese Clouds können z.B. von einem einzelnen Nutzer verwendet werden, um Server/Virtuelle-Maschinen unterschiedlichem Schutzbedarfs voneinander zu isolieren und über eine Stateful-Firewall nur spezifische Datenflüsse zuzulassen und zu protokollieren. Die Topologie ist auch geeignet, mehrere unabhängige Kunden innerhalb eines Rechenzentrums parallel zu betreiben (Multi-Tenancy).

Die Virtual Chassis VC2 (OS6900) und VC3 (OS10K) wurden in dieser Konstellation als jeweils redundante “Top-of-Rack” oder “End-of-Row” Komponente zur Server- Aggregation verwendet und über VC1 miteinander verbunden. ESXi-Hosts greifen via iSCSI oder NFS auf zentrale Datastores zu. Virtuelle Maschinen (VMs) können nahtlos zwischen ESXi-Hosts umziehen und erhalten bei Bedarf zusätzlich Zugriff auf virtuelle Festplatten des zentralen Storage via iSCSI.

Hinweis: Die gestrichelten Linien in Link-Aggregationen wurden für die Vereinfachung der Umschalttests nicht aktiv betrieben, sind für einen Produktionsbetrieb aber empfohlen.

Durch die „Virtual-Chassis“-Technologie der Alcatel-Lucent OmniSwitche halbiert sich die Anzahl der zu administrierenden Komponenten, die logische Komplexität der Topologie wird reduziert und der Systembetrieb insgesamt vereinfacht.

lower OPEX

Die Komponenten könnten in dieser Form an drei unterschiedlichen (RZ-)Standorten verteilt werden:

RZ 0 – Virtual-Chassis „O6K9-2“
- Storage
  - im Beispiel als Teil der Sicherheitszone S2 implementiert
  - das Storage-System könnte z.B. mittels „vFiler“-Technologie logisch partitioniert werden, so dass jeder Sicherheitszone ein dediziertes, virtuelles Storagesystem bereitgestellt wird.
- zentrale Dienste
  - Internet-Zugang – VPN-Access
RZ 1 – Virtual-Chassis „O6K9-1“
- Cloud-Services aller Sicherheitszonen
RZ 2 – Virtual-Chassis „O10K-1“
- Cloud-Services aller Sicherheitszonen

Die resultierende Topologie stellt ein durchgängiges DC-LAN auf (Layer2-) Ethernet-Basis bereit:

es sind vier VLANs zur Anbindung virtueller Dienste eingerichtet ¬ VLAN 101/102 und VLAN 201/202

VM-Mobility / VMotion

diese VLANs sind an jedem Punkt des DCs verfügbar, so dass Features wie VM-Mobility unmittelbar zur Verfügung stehen.

Als übergeordnete Instanz werden „Clouds“ (=Sicherheitszonen) definiert

jeder Cloud werden zwei VLANs zugeordnet
- Cloud 1 = { VLAN 101, 102 }
- Cloud 2 = { VLAN 201, 202 }
jede Cloud erhält eine autonome Routing-Topologie (VRF)
- Datentransfer ist zunächst nur innerhalb einer Cloud möglich
jede Cloud ist an eine zentrale DC-Firewall angebunden
- das Firewall-Regelwerk schaltet spezifische Datenflüsse zwischen den Sicherheitszonen frei
- die Firewall bietet darüber hinaus einen Zugang zu VPN/Internet-Standorten

Erläuterungen und Details zur Durchführung der Tests/Konfiguration

Virtual Chassis

Beim Anlegen eines Virtual Chassis wird pro VC-Teilnehmer eine vcsetup.cfg angelegt, welche die VC-relevanten Konfigurationsparameter der jeweiligen Komponente enthält. Bei der über das Virtual Chassis synchronisierten vcboot.cfg handelt es sich um die eigentliche Konfiguration, in welcher alle nicht-VC-bezogenen Parameter gespeichert werden. Bei der Konvertierung eines Standalone Gerätes in einen VC-Teilnehmer wird dessen Konfiguration über den Befehl

CLI-> convert-configuration to vc-config

automatisch konvertiert und die vcsetup.cfg und vcboot.cfg im Verzeichnis “vc-config” erstellt.

Für ein separates Out-of-Band Management Netz verwenden die Komponenten OS10K und OS6900 sogenannte EMP-Ports, welche die Überwachung und Administration der Geräte auch im Fehlerfall ermöglichen.

Das Management des Virtual Chassis über eine IP-Adresse wird über die Konfiguration des globalen Master EMP-Interfaces erreicht:

CLI-> ip interface master emp address 10.137.4.10 mask 255.255.255.0

Für die Kommunikation und Überwachung der einzelnen VC-Teilnehmer wird in der vcsetup.cfg ein lokales EMP-Interface angelegt. Die Konfigution des lokalen EMP-Interfaces erfolgt über folgenden Befehl und wird in der vcsetup.cfg gespeichert:

CLI-> ip interface local chassis-id 1 emp address 10.137.4.11 mask 255.255.255.0

Da der OS10K mit zwei redundanten CMM-Modulen ausgestattet werden kann, handelt es sich bei dem EMP-IP-Interface auf dieser Plattform um eine virtuelle IP-Adresse, welche von der aktiven CMM verwaltet wird und bei einem Takeover automatisch auf die neue aktive CMM wechselt. Somit ist gewährleistet, dass das einzelne OS10K-Chassis jederzeit über dieselbe IP-Adresse erreichbar ist.

Über die lokalen EMP-Interfaces und das Out-of-Band Managementnetz läuft ein soge- nanntes Split-Chassis-Detection Protokoll, welches beim Ausfall der Virtual-Fabric-Links zwischen den VC-Teilnehmern die Netzwerk-Ports auf dem sekundären VC-Teilnehmer deaktiviert. Durch diesen Mechanismus können Auswirkung wie Loops oder doppelte identische Router, welche durch die fehlende Synchronisation der beiden VC-Teilnehmer entstehen könnten, zuverlässig verhindert. Diese Funktion steht standardmäßig zur Verfügung sobald die beiden VC-Teilnehmer über das OOB-Netz kommunizieren können und muss nicht extra konfiguriert werden.

Um auszuschließen dass sich im OOB-Netz mehrere VCs mit Statusmeldungen überschnei- den, empfiehlt es sich jedes VC mit einer eindeutigen Gruppenzuordnung zu konfigurieren:

CLI-> virtual-chassis chassis-id 1 chassis-group 1

Interoperabilität

Um die Interoperabilität der Lösung zu testen wurden die Cisco UCS Fabric-Interconnect Systeme redundant per dynamischer Linkaggregation (IEEE 802.3ad LACP) an jeweils 2x OS6900 (VC2) und 2x OS10K (VC3) angeschlossen. Eine statische Linkaggregation wurde nicht getestet, da diese auf Cisco UCS derzeit nicht konfiguriert werden kann. Um Administratoren eine schnelle Übersicht zu verschaffen welche Ports/Geräte mitein- ander verbunden sind, wurde das Link-Layer-Discovery-Protocol (IEEE 802.1ab LLDP) auf allen Systemen aktiviert.

Nach Anbindung der Firewall (Cisco Catalyst 3750 simulierte diese) wurde neben OSPF (mit und ohne MD5 Authentifizierung) auch Bidirectional-Forwarding-Detection (BFD) zwischen OmniSwitch und Cisco Nexus 7000 konfiguriert und erfolgreich getestet.

Eine Konfiguration von OSPF zwischen dem VC1 und den zwei Cisco Nexus 7000 ist nicht möglich, da auf Nexus-VPC-Strecken keine dynamischen IP-Routingprotokolle unterstützt werden:

es ist für jedes Cisco Nexus 7000-Chassis ein dediziertes Link-Netzwerk einzurichten, so dass Redundanz/Lastverteilung nicht mittels Link-Aggregation, sondern durch ECMP (Equal-Cost Multi-Path)-Routing erreicht wird.
Der Aufbau und Betrieb einer BFD-(Bidirectional-Forwarding-Detection)-Beziehung zwischen OmniSwitch/AOS und Cisco-Nexus erfolgte problemlos
das minimale Intervall für die BFD-Kommunikation liegt bei 100 Millisekunden, dies ist der derzeit AOS-seitig konfigurierbare Minimalwert.

Die Anbindung zur NetApp FAS wurde per statischer sowie dynamischer Link- Aggregation erfolgreich getestet.

Die Anbindung zum Cisco Catalyst 3750 (simuliert Firewall) wurde per statischer sowie dynamischer Link-Aggregation erfolgreich getestet.

AOS-seitig wird das LACP-Hello-Interval auf „slow“ gesetzt.
dies stellt funktional keine Einschränkung dar, ermöglicht aber für den Fall direkt angebundener Geräte des Typs „Cisco Nexus 5000“ die Verwendung der Hitless-Softwareupgrade-Funktion (ISSU).

Hochverfügbarkeit

Um die üblichen (Wartungs-)Arbeiten an einem Netzwerk zu simulieren wurden fol- gende Aktionen durchgeführt:

In-Service-Software-Update/Downgrade AOS von 7.3.1.632.R01 auf 7.3.1.646.R01 • Neustart einzelner Elemente des Virtual-Chassis
CMM hot-plug/hot-insert
Switch-Fabric hot-plug/hot-insert
Netzwerk-Interface Modul hot-plug/hot-insert
Ziehen eines Virtual-Fabric-Links
Ziehen ALLER Virtual-Fabric-Links (Split-Chassis-Detection Test)
Netzteil hot-plug/hot-insert
Lüftermodul hot-plug/hot-insert
Teil einer Link-Aggregation statisch/dynamisch zu Server/Firewall ziehen

Alle diese Arbeiten/Vorgänge konnten “sub-second”, also ohne signifikante Auswirkung auf Applikationen, durchgeführt werden.

diese Tests wurden Mithilfe des Spirent Testcenter durchgeführt.

Abweichend von der AOS-Dokumentation empfiehlt sich die Konfiguration des “Graceful- Restart” gemäß RFC3623:

OSPF-Nachbarschaften bleiben erhalten während das Hello-Protokoll z.B. während eines Software-Upgrades eines OSPF-Nachbarn kurzzeitig dessen Hello-Protokoll unterbrochen wird, so dass es zu keiner Unterbrechung der Datenübertragung kommt.

Betrieb

Digital Diagnostic Monitoring

Für den Betrieb von 10G und Lichtwellenleitern (LWL) hat sich der Einsatz von DDM bewährt um proaktiv vor einem Defekt agieren zu können. Die von Alcatel-Lucent aus- gelieferten 10G-Transceiver unterstützen DDM und geben die eigenen Grenzwerte neben den aktuell gemessenen Werten mit an. Nähert sich einer der Werte Warning-High/Low wird dies in der Ausgabe markiert und ein SNMP-Trap an das Netzwerk-Management- System (NMS) gesendet.

VC1-> show interfaces ddm 
  Chas/                                                                      
  Slot/     Thres-    Temp       Voltage      Tx Bias      Output       Input
  Port      hold       (C)         (V)          (mA)        (dBm)       (dBm)
----------+--------+----------+------------+------------+------------+------------
  1/1/11    Actual     31.0        3.314        6.190       -2.341       -2.579
            A-High     80.0        3.700       10.000       -1.000        1.500    
            W-High     75.0        3.630        8.500       -1.300        1.000    
            W-Low      -5.0        2.970        3.000       -7.501      -12.000    
            A-Low     -10.0        2.850        2.600       -8.002      -14.001

… Simulation eines Defekts …

VC1-> show interfaces ddm 
  Chas/                                                                      
  Slot/     Thres-    Temp       Voltage      Tx Bias      Output       Input
  Port      hold       (C)         (V)          (mA)        (dBm)       (dBm)
----------+--------+----------+------------+------------+------------+------------
  1/1/11    Actual     31.0        3.314        6.190       -2.337       -7.981
            A-High     80.0        3.700       10.000       -1.000        1.500    
            W-High     75.0        3.630        8.500       -1.300        1.000    
            W-Low      -5.0        2.970        3.000       -7.501      -12.000    
            A-Low     -10.0        2.850        2.600       -8.002      -14.001    

WL - Exceeds warning low limit
WH - Exceeds warning high limit
AL - Exceeds alarm low limit
AH - Exceeds alarm high limit
NS - Not Supported

Performanz

Latenz

Es wurde erwartet dass die Layer2 Latenz zwischen zwei Servern über das gesamte Netz hinweg (Server A → VC2 → VC1 → VC3 → Server B) bei unter 100 Mikrosekunden liegt. Der gemessene Wert lag bei 11.6 Mikrosekunden und liegt damit deutlich unter dem geforderten Wert. Ein zweiter Test mit Layer3 bestätigte die gleichen Werte.

Auf einem einzelnen System (OS6900) lag die Latenz bei 1.4 Mikrosekunden. Nach Aktivierung des “low-latency” Modus lag die gemessene Latenz bei 960 Nanosekunden.

Auf dem OS10K wurde eine Latenz von 8.8 Mikrosekunden gemessen und es wurde ebenfalls kein Unterschied zwischen Layer2/Layer3 festgestellt.

Quality of Service

Im Rahmen der Leistungsüberprüfung wurde neben 10G wire-speed / überbuchungsfrei auch die Priorisierung von Datenverkehr im Netzwerk getestet. Dafür wurde die Strecke zwischen VC2 und VC1 gezielt überlastet und die Auswirkung auf iSCSI-Storage-Verkehr zu messen.

Der iSCSI-Verkehr wurde ohne Priorisierung versendet und Aufgabe des Netzwerks war es den iSCSI-Verkehr zu markieren:

es wurde eine IP-DSCP-Markierung vorgenommen
die Verkehrsklasse wurde willkürlich gewählt: Assured-Forwarding AF31 (Wert 26)

Ein Beispiel für eine solche Priorisierung sieht so aus:

policy condition iscsi destination tcp-port 3260 
policy condition iscsi2 source tcp-port 3260
policy action iscsi-dscp-26 dscp 26
policy rule iscsi condition iscsi action iscsi-dscp-26
policy rule iscsi2 condition iscsi2 action iscsi-dscp-26

Optional kann diese Regel in eine Liste gefasst und nur bei Bedarf über das vNP/UNP auf einzelne Maschinen angewendet werden.

Virtualisierung

Im Rahmen der Tests wurde überprüft dass virtuelle Maschinen (VMs) unterbrechungs- frei zwischen zwei VMware ESXi Hosts migrieren können (vMotion). Der Alcatel-Lucent OmniVista Virtual Maschine Manager (VMM) erhöht durch die Kommunikation mit dem VMware vCenter die Übersicht durch historische VM-Locator-Informationen. Durch den Einsatz von vNPs (virtuelle Netzwerkprofile) können virtuelle Maschinen an unter- schiedlichen Switch-Ports im Netzwerk die gleichen Umgebungsvariablen vorfinden (z.B. VLAN, QOS Priorisierung, ACL Sicherheitsrichtlinien).

Ein Beispiel für eine solche vNP/UNP Zuordnung sieht so aus:

! QOS:
policy condition iscsi destination tcp-port 3260
policy condition iscsi2 source tcp-port 3260
policy condition no-inet source ip 172.22.1.1 destination ip 1.2.3.4
policy action drop disposition drop
policy action iscsi-dscp-26 dscp 26
policy rule iscsi condition iscsi action iscsi-dscp-26
policy rule iscsi2 condition iscsi2 action iscsi-dscp-26
policy rule no-inet condition no-inet action drop no default-list
policy list no-inet type unp
policy list no-inet rules no-inet
! DA-UNP:
unp vlan-profile Server-v101 vlan 101
unp vlan-profile Server-v201 vlan 201 qos_policy-list no-inet
unp classification mac-address 00:15:c6:12:5d:91 vlan-profile Server-v101
unp classification mac-address 00:50:56:b9:00:02 vlan-profile Server-v101
unp classification vlan-tag 101 vlan-profile Server-v101
unp classification vlan-tag 201 vlan-profile Server-v201
unp linkagg 101
unp linkagg 101 classification enable
unp linkagg 101 trust-tag enable
unp port 1/1/9
unp port 1/1/9 classification enable

Das obige Regelwerk sieht vor dass die VMs mit der IP-Adresse 172.22.1.1 die das Profil “Server-v201” verwendet nicht auf die IP 1.2.3.4 zugreifen darf.

Konfiguration

Alcatel-Lucent OmniSwitch

VC1-Chassis1 - vcsetup.cfg

vcsetup.cfg

!========================================!
! File: /flash/certified/vcsetup.cfg     !
!========================================!
! Virtual Chassis Manager:
virtual-chassis chassis-id 1 configured-chassis-id 1
virtual-chassis chassis-id 1 vf-link 0 create
virtual-chassis chassis-id 1 vf-link 0 member-port 1/1/1
virtual-chassis chassis-id 1 vf-link 0 member-port 1/1/2
virtual-chassis chassis-id 1 chassis-group 1
 
! IP:
ip interface local chassis-id 1 emp address 10.137.4.11 mask 255.255.255.0

VC1-Chassis2 - vcsetup.cfg

vcsetup.cfg

!========================================!
! File: /flash/certified/vcsetup.cfg     !
!========================================!
! Virtual Chassis Manager:
virtual-chassis chassis-id 2 configured-chassis-id 2
virtual-chassis chassis-id 2 vf-link 0 create
virtual-chassis chassis-id 2 vf-link 0 member-port 2/1/1
virtual-chassis chassis-id 2 vf-link 0 member-port 2/1/2
virtual-chassis chassis-id 2 chassis-group 1
 
! IP:
ip interface local chassis-id 2 emp address 10.137.4.12 mask 255.255.255.0

VC1 - vcboot.cfg

vcboot.cfg

!========================================!
! File: /flash/certified/vcboot.cfg      !
!========================================!
! Chassis:
system name VC1
system contact Benny
system location NXO-LAB
mac-retention admin-state enable
mac-retention dup-mac-trap admin-state enable
mac-retention timer 30
vrf S1
vrf S2
vrf default
 
! Configuration:
configuration error-file-limit 2
 
! Capability Manager:
! Multi-Chassis:
! Virtual Flow Control:
! Interface:
interfaces ddm enable
 
! Link Aggregate:
linkagg lacp agg 1 size 2 admin-state enable 
linkagg lacp agg 1 actor admin-key 1
linkagg lacp agg 2 size 2 admin-state enable 
linkagg lacp agg 2 actor admin-key 2
linkagg lacp agg 11 size 2 admin-state enable 
linkagg lacp agg 11 actor admin-key 11
linkagg lacp agg 12 size 2 admin-state enable 
linkagg lacp agg 12 actor admin-key 12
linkagg static agg 13 size 2 admin-state enable 
linkagg static agg 14 size 2 admin-state enable 
linkagg lacp agg 21 size 2 admin-state enable 
linkagg lacp agg 21 actor admin-key 21
linkagg lacp agg 23 size 2 admin-state enable 
linkagg lacp agg 23 actor admin-key 23
linkagg lacp port 1/1/3 actor admin-key 1
linkagg lacp port 1/1/4 actor admin-key 2
linkagg lacp port 1/1/5 actor admin-key 11
linkagg lacp port 1/1/9 actor admin-key 12
linkagg static port 1/1/11 agg 13
linkagg static port 1/1/13 agg 14
linkagg lacp port 1/1/15 actor admin-key 21
linkagg lacp port 1/1/17 actor admin-key 23
linkagg lacp port 2/1/3 actor admin-key 1
linkagg lacp port 2/1/4 actor admin-key 2
linkagg lacp port 2/1/5 actor admin-key 11
linkagg lacp port 2/1/9 actor admin-key 12
linkagg static port 2/1/11 agg 13
linkagg static port 2/1/13 agg 14
linkagg lacp port 2/1/15 actor admin-key 21
linkagg lacp port 2/1/17 actor admin-key 23
 
! VLAN:
vlan 1 admin-state enable
vlan 101-102 admin-state enable
vlan 112 admin-state enable
vlan 121 admin-state enable
vlan 201-202 admin-state enable
vlan 211-212 admin-state enable
vlan 221 admin-state enable
vlan 101 members linkagg 1-2 tagged
vlan 101 members linkagg 23 tagged
vlan 102 members linkagg 1-2 tagged
vlan 112 members linkagg 12 tagged
vlan 112 members linkagg 14 tagged
vlan 121 members linkagg 21 tagged
vlan 201 members linkagg 1-2 tagged
vlan 201 members linkagg 23 tagged
vlan 202 members linkagg 2 tagged
vlan 211 members linkagg 11 tagged
vlan 211 members linkagg 13 tagged
vlan 212 members linkagg 12 tagged
vlan 212 members linkagg 14 tagged
vlan 221 members linkagg 21 tagged
 
! Spanning Tree:
spantree vlan 1 admin-state enable 
spantree vlan 1 priority 10 
spantree vlan 101 admin-state enable 
spantree vlan 101 priority 10 
spantree vlan 102 admin-state enable 
spantree vlan 102 priority 10 
spantree vlan 112 admin-state enable 
spantree vlan 112 priority 10 
spantree vlan 121 admin-state enable 
spantree vlan 121 priority 10 
spantree vlan 201 admin-state enable 
spantree vlan 201 priority 10 
spantree vlan 202 admin-state enable 
spantree vlan 211 admin-state enable 
spantree vlan 211 priority 10 
spantree vlan 212 admin-state enable 
spantree vlan 212 priority 10 
spantree vlan 221 admin-state enable 
spantree vlan 221 priority 10 
 
! Bridging:
! Port Mirroring:
! Port Mapping:
! IP:
ip service port 21 admin-state enable
ip service port 22 admin-state enable
ip service port 23 admin-state enable
ip service port 80 admin-state enable
ip service port 123 admin-state enable
ip service port 443 admin-state enable
ip interface master emp address 10.137.4.10 mask 255.255.255.0
 
! IPv6:
! IPSec:
! IPMS:
! AAA:
aaa authentication default "local" 
aaa authentication console "local" 
 
aaa accounting session "local" 
 
! NTP:
ntp server 10.137.4.252 prefer 
ntp client admin-state enable
 
! QOS:
! Policy Manager:
! VLAN Stacking:
! ERP:
! MVRP:
! LLDP:
lldp nearest-bridge chassis tlv management port-description enable system-name enable system-description enable system-capabilities enable
lldp nearest-bridge chassis tlv management management-address enable
lldp nearest-bridge chassis tlv dot1 vlan-name enable port-vlan enable
lldp nearest-bridge chassis tlv dot3 mac-phy enable
 
! UDLD:
! Server Load Balance:
! High Availability Vlan:
! Session Manager:
session cli timeout 999
session prompt default "VC1->"
 
! Web:
! Trap Manager:
snmp station 10.137.4.50 162 "omnivista" v3 enable
 
! Health Monitor:
! System Service:
! SNMP:
snmp authentication-trap enable
 
! BFD:
! IP Route Manager:
! VRRP:
! UDP Relay:
! RIP:
! OSPF:
! ISIS:
! IP Multicast:
! DVMRP:
! IPMR:
! RIPng:
! OSPF3:
! BGP:
! Netsec:
! Module:
! RDP:
! DA-UNP:
! DHL:
! Ethernet-OAM:
ethoam vlan 1 primary-vlan 101
ethoam domain esd.alcatel-lucent.com format string level 1
ethoam association alcatel-sales format string domain esd.alcatel-lucent.com
ethoam association alcatel-sales domain esd.alcatel-lucent.com primary-vlan 101
 
! SAA:
! SPB-ISIS:
 
! SVCMGR:
! LDP:
! EVB:
! IP:
vrf S1 ip service port 21 admin-state disable
vrf S1 ip service port 22 admin-state disable
vrf S1 ip service port 23 admin-state disable
vrf S1 ip service port 80 admin-state disable
vrf S1 ip service port 123 admin-state disable
vrf S1 ip service port 443 admin-state disable
vrf S1 ip interface "vlan-101" address 172.21.1.254 mask 255.255.255.0 vlan 101 ifindex 1
vrf S1 ip interface "vlan-112" address 172.21.12.2 mask 255.255.255.252 vlan 112 ifindex 2
vrf S1 ip interface "vlan-102" address 172.21.2.254 mask 255.255.255.0 vlan 102 ifindex 5
vrf S1 ip interface "vlan-121" address 172.21.21.5 mask 255.255.255.0 vlan 121 ifindex 7
 
! IPv6:
! IPSec:
! Web:
! BFD:
vrf S1 ip bfd interface vlan-121 
vrf S1 ip bfd interface vlan-121 transmit 100
vrf S1 ip bfd interface vlan-121 receive 100
vrf S1 ip bfd interface vlan-121 admin-state enable
vrf S1 ip bfd admin-state enable
 
! IP Route Manager:
! VRRP:
! UDP Relay:
! OSPF:
vrf S1 ip load ospf
vrf S1 ip ospf area 0.0.0.0
vrf S1 ip ospf bfd-state all-interfaces enable
vrf S1 ip ospf interface "vlan-101"
vrf S1 ip ospf interface "vlan-101" area 0.0.0.0
vrf S1 ip ospf interface "vlan-101" hello-interval 0 
vrf S1 ip ospf interface "vlan-101" dead-interval 0 
vrf S1 ip ospf interface "vlan-101" bfd-state enable
vrf S1 ip ospf interface "vlan-101" admin-state enable 
vrf S1 ip ospf interface "vlan-102"
vrf S1 ip ospf interface "vlan-102" area 0.0.0.0
vrf S1 ip ospf interface "vlan-102" hello-interval 0 
vrf S1 ip ospf interface "vlan-102" dead-interval 0 
vrf S1 ip ospf interface "vlan-102" bfd-state enable
vrf S1 ip ospf interface "vlan-102" admin-state enable 
vrf S1 ip ospf interface "vlan-112"
vrf S1 ip ospf interface "vlan-112" area 0.0.0.0
vrf S1 ip ospf interface "vlan-112" admin-state enable 
vrf S1 ip ospf interface "vlan-121"
vrf S1 ip ospf interface "vlan-121" area 0.0.0.0
vrf S1 ip ospf interface "vlan-121" auth-type md5 
vrf S1 ip ospf interface "vlan-121" bfd-state enable
vrf S1 ip ospf interface "vlan-121" admin-state enable 
vrf S1 ip ospf interface "vlan-121" md5 1 
vrf S1 ip ospf interface "vlan-121" md5 1 encrypt-key 54ed4d4a5fd4be96
vrf S1 ip ospf restart-support planned-unplanned
vrf S1 ip ospf bfd-state enable
vrf S1 ip ospf admin-state enable
 
! IP:
vrf S2 ip service port 21 admin-state disable
vrf S2 ip service port 22 admin-state disable
vrf S2 ip service port 23 admin-state disable
vrf S2 ip service port 80 admin-state disable
vrf S2 ip service port 123 admin-state disable
vrf S2 ip service port 443 admin-state disable
vrf S2 ip interface "vlan-201" address 172.22.1.254 mask 255.255.255.0 vlan 201 ifindex 3
vrf S2 ip interface "vlan-212" address 172.22.12.2 mask 255.255.255.252 vlan 212 ifindex 4
vrf S2 ip interface "vlan-211" address 172.22.11.254 mask 255.255.255.0 vlan 211 ifindex 6
vrf S2 ip interface "vlan-221" address 172.22.21.5 mask 255.255.255.0 vlan 221 ifindex 8
vrf S2 ip interface "vlan-202" address 172.22.2.254 mask 255.255.255.0 vlan 202 ifindex 9
 
! IPv6:
! IPSec:
! Web:
! BFD:
vrf S2 ip bfd interface vlan-221 
vrf S2 ip bfd interface vlan-221 transmit 100
vrf S2 ip bfd interface vlan-221 receive 100
vrf S2 ip bfd interface vlan-221 admin-state enable
vrf S2 ip bfd admin-state enable
 
! IP Route Manager:
! VRRP:
! UDP Relay:
! OSPF:
vrf S2 ip load ospf
vrf S2 ip ospf area 0.0.0.0
vrf S2 ip ospf interface "vlan-201"
vrf S2 ip ospf interface "vlan-201" area 0.0.0.0
vrf S2 ip ospf interface "vlan-201" hello-interval 0 
vrf S2 ip ospf interface "vlan-201" dead-interval 0 
vrf S2 ip ospf interface "vlan-201" admin-state enable 
vrf S2 ip ospf interface "vlan-211"
vrf S2 ip ospf interface "vlan-211" area 0.0.0.0
vrf S2 ip ospf interface "vlan-211" hello-interval 0 
vrf S2 ip ospf interface "vlan-211" dead-interval 0 
vrf S2 ip ospf interface "vlan-211" admin-state enable 
vrf S2 ip ospf interface "vlan-212"
vrf S2 ip ospf interface "vlan-212" area 0.0.0.0
vrf S2 ip ospf interface "vlan-212" admin-state enable 
vrf S2 ip ospf interface "vlan-221"
vrf S2 ip ospf interface "vlan-221" area 0.0.0.0
vrf S2 ip ospf interface "vlan-221" auth-type md5 
vrf S2 ip ospf interface "vlan-221" bfd-state enable
vrf S2 ip ospf interface "vlan-221" admin-state enable 
vrf S2 ip ospf interface "vlan-221" md5 1 
vrf S2 ip ospf interface "vlan-221" md5 1 encrypt-key 54ed4d4a5fd4be96
vrf S2 ip ospf restart-support planned-unplanned
vrf S2 ip ospf bfd-state enable
vrf S2 ip ospf admin-state enable

VC2-Chassis1 - vcsetup.cfg

vcsetup.cfg

!========================================!
! File: /flash/certified/vcsetup.cfg     !
!========================================!
! Virtual Chassis Manager:
virtual-chassis chassis-id 1 configured-chassis-id 1
virtual-chassis chassis-id 1 vf-link 0 create
virtual-chassis chassis-id 1 vf-link 0 member-port 1/1/1
virtual-chassis chassis-id 1 vf-link 0 member-port 1/1/2
virtual-chassis chassis-id 1 chassis-group 2
 
! IP:
ip interface local chassis-id 1 emp address 10.137.4.21 mask 255.255.255.0

VC2-Chassis2 - vcsetup.cfg

vcsetup.cfg

!========================================!
! File: /flash/certified/vcsetup.cfg     !
!========================================!
! Virtual Chassis Manager:
virtual-chassis chassis-id 2 configured-chassis-id 2
virtual-chassis chassis-id 2 vf-link 0 create
virtual-chassis chassis-id 2 vf-link 0 member-port 2/1/1
virtual-chassis chassis-id 2 vf-link 0 member-port 2/1/2
virtual-chassis chassis-id 2 chassis-group 2
 
! IP:
ip interface local chassis-id 2 emp address 10.137.4.22 mask 255.255.255.0

VC2 - vcboot.cfg

vcboot.cfg

!========================================!
! File: /flash/certified/vcboot.cfg      !
!========================================!
! Chassis:
system name VC2
system location NXO-LAB
mac-retention admin-state enable
mac-retention dup-mac-trap admin-state enable
mac-retention timer 30
 
! Configuration:
configuration error-file-limit 2
 
! Capability Manager:
! Multi-Chassis:
! Virtual Flow Control:
! Interface:
interfaces ddm enable
 
! Link Aggregate:
linkagg lacp agg 1 size 2 admin-state enable 
linkagg lacp agg 1 actor admin-key 1
linkagg lacp agg 101 size 2 admin-state enable 
linkagg lacp agg 101 actor admin-key 101
linkagg lacp port 1/1/3 actor admin-key 1
linkagg lacp port 1/1/7 actor admin-key 101
linkagg lacp port 2/1/3 actor admin-key 1
linkagg lacp port 2/1/7 actor admin-key 101
 
! VLAN:
vlan 1 admin-state enable
vlan 101-102 admin-state enable
vlan 201 admin-state enable
vlan 101 members port 1/1/9 untagged
vlan 101 members linkagg 1 tagged
vlan 101 members linkagg 101 tagged
vlan 102 members linkagg 1 tagged
vlan 201 members port 1/1/19 tagged
vlan 201 members linkagg 1 tagged
vlan 201 members linkagg 101 tagged
 
! Spanning Tree:
spantree vlan 1 admin-state enable 
spantree vlan 101 admin-state enable 
spantree vlan 102 admin-state enable 
spantree vlan 201 admin-state enable 
 
! Bridging:
! Port Mirroring:
! Port Mapping:
! IP:
ip service port 21 admin-state enable
ip service port 22 admin-state enable
ip service port 23 admin-state enable
ip service port 80 admin-state enable
ip service port 123 admin-state enable
ip service port 443 admin-state enable
ip interface master emp address 10.137.4.20 mask 255.255.255.0
 
! IPv6:
! IPSec:
! IPMS:
! AAA:
aaa authentication default "local" 
aaa authentication console "local" 
 
aaa accounting session "local" 
 
! NTP:
ntp server 10.137.4.252 prefer 
ntp client admin-state enable
 
! QOS:
! Policy Manager:
! VLAN Stacking:
! ERP:
! MVRP:
! LLDP:
lldp nearest-bridge chassis tlv management port-description enable system-name enable system-description enable system-capabilities enable
lldp nearest-bridge chassis tlv management management-address enable
lldp nearest-bridge chassis tlv dot1 vlan-name enable port-vlan enable
lldp nearest-bridge chassis tlv dot3 mac-phy enable
 
! UDLD:
! Server Load Balance:
! High Availability Vlan:
! Session Manager:
session cli timeout 999
session prompt default "VC2->"
 
! Web:
! Trap Manager:
snmp station 10.137.4.50 162 "omnivista" v3 enable
 
! Health Monitor:
! System Service:
! SNMP:
snmp authentication-trap enable
 
! BFD:
! IP Route Manager:
! VRRP:
! UDP Relay:
! RIP:
! OSPF:
! ISIS:
! IP Multicast:
! DVMRP:
! IPMR:
! RIPng:
! OSPF3:
! BGP:
! Netsec:
! Module:
! RDP:
! DA-UNP:
! DHL:
! Ethernet-OAM:
ethoam vlan 1 primary-vlan 101
ethoam domain esd.alcatel-lucent.com format dnsname level 1
ethoam association alcatel-sales format string domain esd.alcatel-lucent.com
ethoam association alcatel-sales domain esd.alcatel-lucent.com primary-vlan 101
ethoam association alcatel-sales domain esd.alcatel-lucent.com endpoint-list 100-101
ethoam endpoint 101 domain esd.alcatel-lucent.com association alcatel-sales direction down linkagg 1 primary-vlan 101
ethoam endpoint 101 domain esd.alcatel-lucent.com association alcatel-sales admin-state enable
ethoam endpoint 101 domain esd.alcatel-lucent.com association alcatel-sales ccm enable
 
! SAA:
! SPB-ISIS:
 
! SVCMGR:
! LDP:
! EVB:

VC3-Chassis1 - vcsetup.cfg

vcsetup.cfg

!========================================!
! File: /flash/certified/vcsetup.cfg     !
!========================================!
! Virtual Chassis Manager:
virtual-chassis chassis-id 1 configured-chassis-id 1
virtual-chassis chassis-id 1 vf-link 0 create
virtual-chassis chassis-id 1 vf-link 0 member-port 1/5/1
virtual-chassis chassis-id 1 vf-link 0 member-port 1/7/1
virtual-chassis chassis-id 1 chassis-group 3
 
! IP:
ip interface local chassis-id 1 emp address 10.137.4.31 mask 255.255.255.0

VC3-Chassis2 - vcsetup.cfg

vcsetup.cfg

!========================================!
! File: /flash/certified/vcsetup.cfg     !
!========================================!
! Virtual Chassis Manager:
virtual-chassis chassis-id 2 configured-chassis-id 2
virtual-chassis chassis-id 2 vf-link 0 create
virtual-chassis chassis-id 2 vf-link 0 member-port 2/5/1
virtual-chassis chassis-id 2 vf-link 0 member-port 2/7/1
virtual-chassis chassis-id 2 chassis-group 3
 
! IP:
ip interface local chassis-id 2 emp address 10.137.4.32 mask 255.255.255.0

VC3 - vcboot.cfg

vcboot.cfg

!========================================!
! File: /flash/VC3/vcboot.cfg            !
!========================================!
! Chassis:
system name VC3
system location NXO-LAB
mac-retention admin-state enable
mac-retention dup-mac-trap admin-state enable
mac-retention timer 30
 
! Configuration:
configuration error-file-limit 2
 
! Capability Manager:
! Multi-Chassis:
! Virtual Flow Control:
! Interface:
interfaces ddm enable
 
! Link Aggregate:
linkagg lacp agg 2 size 2 admin-state enable 
linkagg lacp agg 2 actor admin-key 2
linkagg lacp agg 104 size 2 admin-state enable 
linkagg lacp agg 104 actor admin-key 104
linkagg lacp port 1/1/4 actor admin-key 2
linkagg lacp port 1/1/7 actor admin-key 104
linkagg lacp port 2/1/4 actor admin-key 2
linkagg lacp port 2/1/7 actor admin-key 104
 
! VLAN:
vlan 1 admin-state enable
vlan 101-102 admin-state enable
vlan 201-202 admin-state enable
vlan 101 members linkagg 2 tagged
vlan 101 members linkagg 104 tagged
vlan 102 members port 1/3/1 untagged
vlan 102 members linkagg 2 tagged
vlan 201 members port 1/1/19 tagged
vlan 201 members port 1/1/21 tagged
vlan 201 members port 1/5/5 tagged
vlan 201 members port 1/7/5 tagged
vlan 201 members linkagg 2 tagged
vlan 201 members linkagg 104 tagged
vlan 202 members port 1/1/19 tagged
vlan 202 members port 1/1/21 tagged
vlan 202 members port 1/5/5 tagged
vlan 202 members port 1/7/5 tagged
vlan 202 members linkagg 2 tagged
 
! Spanning Tree:
spantree vlan 1 admin-state enable 
spantree vlan 101 admin-state enable 
spantree vlan 102 admin-state enable 
spantree vlan 201 admin-state enable 
spantree vlan 202 admin-state enable 
 
! Bridging:
! Port Mirroring:
! Port Mapping:
! IP:
ip service port 21 admin-state enable
ip service port 22 admin-state enable
ip service port 23 admin-state enable
ip service port 80 admin-state enable
ip service port 123 admin-state enable
ip service port 443 admin-state enable
ip interface master emp address 10.137.4.30 mask 255.255.255.0
 
! IPv6:
! IPSec:
! IPMS:
! AAA:
aaa authentication default "local" 
aaa authentication console "local" 
 
aaa accounting session "local" 
 
! NTP:
ntp server 10.137.4.252 prefer 
ntp client admin-state enable
 
! QOS:
! Policy Manager:
! VLAN Stacking:
! ERP:
! MVRP:
! LLDP:
lldp nearest-bridge chassis tlv management port-description enable system-name enable system-description enable system-capabilities enable
lldp nearest-bridge chassis tlv management management-address enable
lldp nearest-bridge chassis tlv dot1 vlan-name enable port-vlan enable
lldp nearest-bridge chassis tlv dot3 mac-phy enable
 
! UDLD:
! Server Load Balance:
! High Availability Vlan:
! Session Manager:
session cli timeout 999
session prompt default "VC3->"
 
! Web:
! Trap Manager:
snmp station 10.137.4.50 162 "omnivista" v3 enable
 
! Health Monitor:
! System Service:
! SNMP:
snmp authentication-trap enable
 
! BFD:
! IP Route Manager:
! VRRP:
! UDP Relay:
! RIP:
! OSPF:
! ISIS:
! IP Multicast:
! DVMRP:
! IPMR:
! RIPng:
! OSPF3:
! BGP:
! Netsec:
! Module:
! RDP:
! DA-UNP:
! DHL:
! Ethernet-OAM:
ethoam vlan 1 primary-vlan 101
ethoam domain esd.alcatel-lucent.com format dnsname level 1
ethoam association alcatel-sales format string domain esd.alcatel-lucent.com
ethoam association alcatel-sales domain esd.alcatel-lucent.com primary-vlan 101
ethoam association alcatel-sales domain esd.alcatel-lucent.com endpoint-list 100-101
ethoam endpoint 100 domain esd.alcatel-lucent.com association alcatel-sales direction down linkagg 2 primary-vlan 101
ethoam endpoint 100 domain esd.alcatel-lucent.com association alcatel-sales admin-state enable
ethoam endpoint 100 domain esd.alcatel-lucent.com association alcatel-sales ccm enable
 
! SAA:
! SPB-ISIS:
 
! SVCMGR:
! LDP:
! EVB:

Interoperabilität

Es wurde ein Mischbetrieb mit folgenden Komponenten eingerichtet:

NetApp FAS Storage
Cisco Nexus 5548
Cisco Nexus 7000
Cisco Catalyst 3750

NetApp FAS Storage

es wurde eine Standardkonfiguration gemäß „TR-3802 Ethernet Storage Best Practices“ verwendet

http://www.netapp.com/us/media/tr-3802.pdf

Cisco Nexus 5000/7000

es wurden Standardkonfigurationen gemäß „VPC Deployment-Guide“ verwendet

http://www.cisco.com/en/US/docs/switches/datacenter/sw/design/vpc_design/vpc_best_practices_design_guide.pdf

es wurden sämtliche Protokolle in Standardeinstellung verwendet
- Ausnahme: es wurde „OSPF Graceful-Restart“ RFC3623 eingerichtet (s.o.)

router ospf 1
  vrf S1
    bfd
    router-id 1.0.0.1
    graceful-restart grace-period 120
    log-adjacency-changes
    passive-interface default
  vrf S2
    bfd
    router-id 2.0.0.1
    graceful-restart grace-period 120
    log-adjacency-changes
    passive-interface default

interface Vlan <USER-Access>
  ip router ospf 1 area 0.0.0.0

key chain KC_OSPF
  key 1
    key-string 7 072e0d797e263a

interface Ethernet 3/1
  ip ospf authentication message-digest
  ip ospf authentication key-chain KC_OSPF
  no ip ospf passive-interface
  ip router ospf 1 area 0.0.0.0

Cisco Catalyst 3750

da Eigenschaften bzgl. des Firewall-Regelwerks nicht Bestandteil des Tests waren, wurde ein IP-Routing-Switch verwendet um gründsätzliche Interoperabilität zu Cisco Catalyst-Switches ebenfalls zu prüfen.
es wurde eine Minimalkonfiguration eingerichtet: Als Firewall kann daher grundsätzlich jedes Geräte mit folgendem Funktionsumfang verwendet werden:
- LACP (IEEE802.3ad) zur Linkaggregation
- VLAN-Tagging (IEEE 802.1Q)
- IP-Routing (statische IP-Routen)

DokuWiki

Inhaltsverzeichnis

Dimension Data - Data Center Validated Reference Design

Einführung

Verwendete Hardware

Netzdesign

Erläuterungen und Details zur Durchführung der Tests/Konfiguration

Virtual Chassis

Interoperabilität

Hochverfügbarkeit

Betrieb

Digital Diagnostic Monitoring

Performanz

Latenz

Quality of Service

Virtualisierung

Konfiguration

Alcatel-Lucent OmniSwitch

Interoperabilität

NetApp FAS Storage

Cisco Nexus 5000/7000

Cisco Catalyst 3750