Cisco Nexus 5548,2248
どうもCisco Nexus5548,2248を担当したnasuです。
今回サイバーエージェント様からお借りさせていただいたCisco Nexus 5548はデータセンター用スイッチです。
またCisco Nexus 2248はFabric ExtenderといってNexus7000や5000の親がいないと動作しないスイッチとなります。
これらの機材を今回バックボーンのL2スイッチとして使用させていただきました。
L2でしか運用しなかったので、バックボーンの中では一番楽に構築が出来ました。
Enhanced vPCについて
L2でしか使わなかったと言っても、テーマである冗長性を確保しないといけないので、Enhanced vPC(拡張vPC)という技術を使いました。
vPC(virtual PortChannel)というのはJuniperのMC-LAGと似てスイッチまたぎのLAGを構成が出来る技術です。
また拡張vPCを使うとFexであるNexus2248を親であるNexus5548のペアにデュアルホーム接続され、それと同時FEX配下のホストにもvPCを使用してFEXのペアにデュアルホームに接続ができます。
ここからは本番で実際使用したconfigの抜粋（一部IPアドレスやVLAN IDを変更しています）を出しながら簡単に説明していきたいと思います。
まずvPCを組むにはvPCを組むスイッチの渡りの線にvpc peer-linkと言われる10GEのポートチャネルを繋ぐ必要があります。
- vPCの設定
ではvPCの設定を入れていきます。
最初にマネジメント用インターフェースにIPアドレスを設定してお互いが疎通できる状態にしておきます。
そしてN5kの渡りのインターフェイスにchannnel-group(LACP)とvpc peer-linkの設定をいれます。
- N5k01
interface mgmt0 ip address 192.168.0.1/24 vpc domain 1 peer-keepalive destination 192.168.0.2
- N5k02
interface mgmt0 ip address 192.168.0.2/24 vpc domain 1 peer-keepalive destination 192.168.0.1
- N5k01 & N5k02
interface Ethernet2/15 switchport mode trunk channel-group 1 mode active interface Ethernet2/16 switchport mode trunk channel-group 1 mode active interface port-channel1 switchport mode trunk spanning-tree port type network speed 10000 vpc peer-link
以上でvpcの接続は完了です。
- FEXの設定
interface Ethernet1/1 switchport mode fex-fabric fex associate 101 channel-group 101 interface Ethernet1/2 switchport mode fex-fabric fex associate 102 channel-group 102 interface port-channel101 switchport mode fex-fabric fex associate 101 vpc 101 interface port-channel102 switchport mode fex-fabric fex associate 102 vpc 102 fex 101 description "FEX101" fex 102 description "FEX102"
ここまでの設定でお互いの親の5kが2kを2台とも認識ができます。
最後にサーバにつなぐLAGの設定です
- MC-Linkの設定
- N5k01 & N5k02
interface Ethernet101/1/1 switchport mode trunk channel-group 11 mode active interface Ethernet102/1/1 switchport mode trunk channel-group 11 mode active interface port-channel11 switchport mode trunk spanning-tree port type edge trunk
Nexus5548,2248 まとめ
データセンタースイッチをL2でしか使わなかったのでconfigも短いものでした。
それでもvlan定義はたくさんあるのでそこだけが長くなりましたね。
今回Nexus5kと2kを繋ぐために使ったモジュールはFET-10Gといって普通のSFP+モジュールとは違うものを使いました。
見た目はほぼSPF+と同じなのですが、FET-10GはNexus同士を繋ぐ専用のモジュールで、それ以外の用途では使うことはできないようです。
今回も踏んだバグ
トラコンでは毎回何かしらのバグを踏みます。今回も変なバグを見つけました。
〜〜夜中ホテルでリモート作業してる時〜〜
インフラリーダ「突如Nexusが再起動しだしたんだけどｗｗだれか今入ってる？ｗｗ」
nasu「いや誰もリーダー以外は入ってないですね」
某K氏「NX-OS bug url これじゃない？」
インフラリーダ「私たちはまたバグを踏んでしまったのか」
どうやら今回使ってたNX-OSのバージョンではVLAN定義をまとめて流すと、再起動するというバグがあったみたいです。
少しづつ流せば再起動はしないようなので、そのようにして対処しました。