[index] AT-DC2552XS コマンドリファレンス 2.5.4.1

インターフェース / レジリエントイーサネットファブリック（REF）

概要
複数装置にまたがるトランクグループ
リンク障害と迂回経路
データセンターネットワークでの使用
基本仕様
REFシステムID
デバイス識別子
REFグループ
アップリンク
REFモードと迂回ポート
リンク障害発生時の動作
迂回ポートの選択
迂回ポートに対する処理
装置障害検出時の動作
使用上の注意事項
他機能との併用について
基本的な設定手順
設定例
Leafスイッチ
TOR-1Aの設定
TOR-1Bの設定
Spineスイッチ
AGGR-Aの設定
AGGR-Bの設定
ファームウェアバージョンアップへの応用

レジリエントイーサネットファブリック（REF）は、2台の本製品で同一のリンクアグリゲーショングループ（トランクグループ）を構成することにより、帯域幅の拡大やリンクの冗長性確保といったリンクアグリゲーションの利点を生かしつつ、2台のどちらかにリンク障害や装置障害が発生した場合でも該当トランクグループ経由での通信を継続できるようにする機能です。

Note - IEEE 802.3adでは、論理的に1ポートと見なされるポートの束を「リンクアグリゲーショングループ（LAG）」と呼びますが、本マニュアルでは、一般的な意味での「リンクアグリゲーショングループ」を「トランクグループ」と表記することにします。

リンクアグリゲーションは同一装置上の複数ポートを束ねて扱うことでリンクの冗長性を提供しますが、装置自身に障害が発生した場合はリンクを維持できなくなるため、配下のホストは該当装置経由での通信ができなくなります。

REFでは、LACP（Link Aggregation Control Protocol）をベースに独自の制御動作を追加し、2台の本製品で同一のトランクグループを構成できるようにすることで、この問題に対応しています。

概要

複数装置にまたがるトランクグループ

 LACPには、同一のトランクグループを構成するポートの選択基準として「対向機器が同じであること」という条件があります。

次図は、サーバーがLACPによるNICチーミング機能を利用して2台のスイッチと接続している様子を示しています。しかしこの構成では、最初にトランクグループを形成した「DC2552XS-1」と接続したポートだけが通信を許可され、「DC2552XS-2」と接続したポートはトランクグループに参加できません。


LACPでは対向機器の識別にLACPパケット内のシステムIDだけを使用するため、複数の装置で同じシステムIDを使うようにすれば、複数装置にまたがるトランクグループを構成することができます。これがREFの基本的な考え方です。REFでは、このようにして構成された複数装置にまたがるトランクグループをREFグループと呼びます。


リンク障害と迂回経路

 複数装置でREFグループを構成していれば、一方の装置がダウンしても残りの装置で通信を継続することができます。

しかし、両方の装置が稼働したまま、一方の装置でREFグループのリンクがダウンすると、該当装置に送られてきた該当REFグループ宛てのパケットは目的地に到達することができなくなります。

次図は、「DC2552XS-2」上のREFグループ1にリンク障害が発生した様子を示しています。この状態でサーバー宛てのパケットが「DC2552XS-2」に送られると、「DC2552XS-2」上のREFグループ1がダウンしているため、サーバーにパケットを届けられません。


このような状況を解決するため、REFではあらかじめ迂回経路となるべきポート（迂回ポート）を用意しておき、自装置のREFグループがダウンした場合には、該当REFグループ宛てのパケットを迂回ポート経由でもう一方の装置に転送することで、REFグループが正常に動作している装置からパケットを送出することができます。

次図は、さきほどと同様に「DC2552XS-2」上のREFグループ1がダウンしている様子を示しています。この状態でサーバー宛てのパケットが「DC2552XS-2」に送られると、「DC2552XS-2」は自身のREFグループ1がダウンしているため、受信したパケットを迂回ポート経由で「DC2552XS-1」に転送します。「DC2552XS-1」は迂回ポートで受信したパケットを正常に動作している自身のREFグループ1から送出してサーバーに届けます。


次の表は、REFグループの状態と迂回経路にかかわる動作をまとめたものです。なお、表内のREFグループ名と装置名は前図のものを使用しています。

表 1
REFグループ1の状態
動作
DC2552XS-1
DC2552XS-2
Up
Up
 DC2552XS-1、DC2552XS-2とも、受信したサーバー宛てのパケットを自身のREFグループ1へ転送する。迂回経路は使用しない
Down
Up
 DC2552XS-1は受信したサーバー宛てのパケットを迂回経路に転送する。DC2552XS-2は迂回経路から受信したパケットを自身のREFグループ1に転送する
Up
Down
 DC2552XS-2は受信したサーバー宛てのパケットを迂回経路に転送する。DC2552XS-1は迂回経路から受信したパケットを自身のREFグループ1に転送する
Down
Down
 DC2552XS-1、DC2552XS-2ともREFグループ1がダウンしており、サーバーへの経路が存在しないため、迂回経路は使用しない


データセンターネットワークでの使用

 データセンターでは、「Leaf」と「Spine」という2つの層で構成されたネットワークが使用されています。この構成では、「Leafスイッチ」がサーバーラック内のサーバーを集約し、「Spineスイッチ」がLeafスイッチ（すなわちサーバーラック）を集約します。

REFはこのLeaf/Spine環境での使用を想定して設計されています。次図はデータセンターにおけるREFの使用例です。


サーバーラックに収容されている各サーバーは2つのネットワークインターフェースを使って、ラック内のLeafスイッチとLACPトランクグループを構成します。Leafスイッチは物理的には2台構成のREFグループですが、サーバーにとっては単一のLACP対応機器に見えるため、サーバーは標準のLACPに対応していればよく、REFを実装している必要はありません。
Note - REFはLACPによるリンクアグリゲーションだけをサポートしており、手動設定によるリンクアグリゲーションには未対応です。REFグループと接続するサーバーは、LACP（IEEE 802.3ad）を利用したNICチーミングに対応している必要があります。

上記の構成では、Leafスイッチの一台でREFグループがリンクダウンしても、サーバーは残ったもう一台のREFグループを使って通信を継続することができます。 また、Leafスイッチの一台に障害が発生した場合でも、正常に動作しているもう一台のスイッチを使用して通信を継続することができます。

また図にあるとおり、REFはLeafスイッチとSpineスイッチの間や、Spineスイッチとコアスイッチの間でも使用することができます。

基本仕様

REFシステムID

 REFでは、複数の装置で単一のLACPトランクグループを構成するため、複数の装置に同一のLACPシステムIDを設定します。設定はCLIから手動で行います。

Note - システムIDは、別のREF対応装置ペアや他のLACP対応装置と重複しないよう設定する必要があります。他の装置または装置ペアと同じシステムIDを設定すると、REFグループを正常に構成できません。

このID（REFシステムID）はREFグループでのみ使用され、通常のLACPチャンネルグループでは使用されません。

デバイス識別子

 LACPパケットには、送信ポートの識別子（ポートID）が含まれます。ポートIDは通常ポート番号をもとに生成されるもので、メンバーポートが別の装置のポートに接続されていることを確認するために使われます。

複数のメンバーポートで同一のシステムIDと同一のポートIDを持ったLACPパケットを受信した場合は、パケットループの可能性があるため、該当ポートはトランクグループに含まれません。

REFでは、2台の装置でREFグループを構成するため、同一REFグループ内に同じポート番号を持つポートが存在する可能性があります。その場合、これらのポートはトランクグループを構成できないことになりますが、REFでは同一REFグループを構成する2台の装置に「A」、「B」というデバイス識別子を設定し、これをポートIDに付加することで、この問題を解決しています。

Note - デバイス識別子は、後述するREFモードと迂回ポートの設定時にあわせて指定します。

REFグループ

 REFグループは、LACPを使用して複数の装置にまたがるポートを単一のトランクグループとしたものです。

各装置において、REFグループは64個まで設定可能です。また、各装置において、REFグループには最大8ポートが所属できます。

REFグループを構成できる装置数は、2装置のみです。

アップリンク

 パケットの転送経路が迂回経路に切り替わるまでの時間は、REFグループの所属VLAN数に依存します。

Spineスイッチとコアスイッチの間には通常多数のVLANが設定されるため、この部分のREFグループを迂回経路に切り替えるには、ある程度の時間がかかると予想されます。

またSpineスイッチとコアスイッチの間では大量のトラフィックが想定されるため、迂回経路にも十分な帯域が必要となります。

これらを解決するため、REFでは、Spineスイッチとコアスイッチの間で使用するREFグループを「アップリンクREFグループ」と呼んで特別扱いします。

アップリンクとして設定されたREFグループには、大量のトラフィックを処理するため、迂回経路用に40Gポートが割り当てられます。また、REFグループがダウンしたときの迂回経路への切り替え時間を短縮するため、このポートはあらかじめアップリンクREFグループと同じVLANに所属するよう自動設定されます。
Note - アップリンクREFグループを複数作成する場合、すべてのアップリンクREFグループが同じVLANに所属している必要があります。迂回ポートには最初に作成したアップリンクREFグループのVLAN設定が反映されるため、アップリンクREFグループ間で所属VLANに差異があると、一部のVLANは迂回ポート経由での通信ができなくなるため注意してください。

REFモードと迂回ポート

 REFでは、前述したLeaf/Spine環境での役割に応じたREFモード「ToR」（Leafスイッチ）と「AGGR」（Spineスイッチ）があらかじめ用意されています。迂回ポートは、REFモードによって次のように固定で割り当てられます。

表 2
REFモード
割り当てられる迂回ポート
ToR 1.0.57〜1.0.64（10G）
AGGR 1.0.49, 1.0.53（40G）※ アップリンクREFグループ用
1.0.57〜1.0.64（10G）


ToRモードはLeafスイッチ、AGGRモードはSpineスイッチで使用することを想定したモードです。

なお、AGGRモードで割り当てられる迂回ポート1.0.49と1.0.53は、コアスイッチとの接続に使うアップリンクREFグループ専用となります。

迂回ポートには次の用途があります。

迂回ポートは、どちらかの装置でREFグループがダウンしたときに初めてトラフィックの転送に使用されます。両方の装置でREFグループが正常に動作している間は、迂回ポートはトラフィックの転送には使用されません（装置間のポーリングと状態通知には使用されます）。

Note - 迂回ポートとして設定されたポートではMACアドレスを学習しません。

Note - 迂回ポートとして設定されたポートの所属VLANは、show vlanコマンドでは表示されません。

リンク障害発生時の動作

 REFグループのリンクに障害が発生したときは、次の動作を行います。

迂回ポートの選択

 REFグループがダウンすると、該当REFグループ宛てパケットの迂回に使用する迂回ポートが1つ選択されます。すなわち、ダウンしたREFグループ1つに対して、1つの迂回ポートが必要です。どの迂回ポートを使用するかは、次の基準によって決定されます。

表 3
基準
使用する迂回ポート
アップリンクREFグループがダウンした場合 40Gの迂回ポート（1.0.49, 1.0.53）のうち、使用されていない最若番のポートを使用する
通常のREFグループがダウンした場合 10Gの迂回ポート（1.0.57〜1.0.64）のうち、使用されていない最若番のポートを使用する


迂回ポートがすべて使用済みの場合、使用中の迂回ポートが解放されるまで該当REFグループの通信はできなくなります。複数のREFグループが迂回ポートの空きを待っている場合は、REFグループ番号の小さい順に迂回ポートが割り当てられます。REFグループ番号順の割り当て動作は、使用中の迂回ポートがリンクダウン・リンクアップしたときも同じです。

迂回ポートに対する処理

 REFグループのリンクに障害が発生した際、迂回ポートに対して行う処理は以下のとおりです。

なお、次表における迂回方向の「IN」、「OUT」は、迂回ポートに対するパケットの出入りを示しています。すなわち、「IN」はリンクダウンしているREFグループ宛てのパケットを受信して迂回ポートに転送する側を、「OUT」は迂回ポートから受信したパケットを正常に動作しているREFグループに転送する側を意味しています。

表 4
迂回方向
迂回ポートに対する処理
IN 本来なら自装置のREFグループに転送すべきパケットを、迂回経路に転送するための設定を行う
OUT 迂回経路から受信したパケットを、自装置のREFグループに転送するための設定を行う


上記を踏まえ、REFグループの状態遷移時に実行される動作を次の表にまとめます。

なお次表では、同一REFグループを構成している2台の装置のうち、状態変化の起きた装置を「装置A」、もう一方を「装置B」と記述しています。

表 5
装置AのREFグループの状態変化
装置BのREFグループの状態
装置Aの動作
装置Bの動作
Down → Up Down 「OUT」実行 「IN」実行
Up → Down Down 「OUT」解除 「IN」解除
Down → Up Up 「IN」解除 「OUT」解除
Up → Down Up 「IN」実行 「OUT」実行


装置障害検出時の動作

 REFでは、同一REFグループを構成するもう一方の装置（リモートシステム）が正常に動作しているかどうかを確認するために、迂回ポート間でポーリングを行っています。ポーリングに対する応答がなくなった場合は、リモートシステムに障害が発生したと認識します。

ポーリングによってリモートシステムの障害を検出した場合は、次の動作を実行します。

これにより、正常に動作している装置のREFグループだけで通信を継続することができます。

使用上の注意事項

 REFの設定・運用にあたっては、下記のことがらにご注意ください。


他機能との併用について

 ■ REFグループ上で併用可能な機能は次のとおりです。
上記以外の機能をREFグループ上で使用することはサポート対象外ですのでご注意ください。

■ REFグループおよび所属ポートに対して実行可能なインターフェースモードコマンドは次のとおりです。

■ 仕様上、REFグループ経由での本体宛てIP通信はできません。Telnet、SSHなどの運用・管理機能は、マネージメント用Ethernetポート（eth0）など、REFグループ以外のポート経由で利用してください。

■ 下記の機能は初期状態で有効になっていますが、仕様上REFと同時に有効化することができないため、REFを使用するときは事前にspanning-tree enableコマンドとip igmp snoopingコマンドをno形式で実行して無効化してください。
これらの機能を無効化しないと次のようにREFの設定ができません。

awplus(config)# ref mode aggr-a ↓
% STP cannot be used on REF environment.
% IGMP Snooping cannot be used on REF environment.


基本的な設定手順

 REFの設定を行うときの基本的な手順は次のとおりです。
なお、ここであげる例は、設定の流れを示すためのものです。より具体的な設定については、次節「設定例」をご覧ください。

REFの設定は、同一REFグループを構成する2台の装置を一組として行う必要があります。
REFの正常動作には最低限下記コマンドの設定が必須です。どれが欠けても、REFの設定がエラーとなったり、設定エラーはなくともREFが正常に動作しなくなったりしますので、ご注意ください。

以下では、2台の装置「DC-A」と「DC-B」をREFモード「ToR」に設定し、サーバーとREFグループ1で接続するための設定手順を示します。

  1. （DC-A, DC-B共通）すべてのスイッチポートからケーブルを抜いておきます。

  2. （DC-A, DC-B共通）スタートアップコンフィグを消去し、空の設定で（初期設定状態で）システムを再起動します。これには、erase startup-configコマンドとreloadコマンドを使います。

    awplus# erase startup-config ↓
awplus# reload ↓

    これは、REFと併用可能な機能が限られているため、初期設定状態から設定を開始したほうが不要な設定が残らず都合がよいためです。また、REFモードの設定前には迂回ポートを適切な動作モードに変更する必要がありますが、その際ポート関連の設定をすべて初期状態に戻しておく必要があるため、初期設定状態でシステムを起動するほうが確実です。

  3. （DC-A, DC-B共通）使用するREFモードに応じて、迂回ポートを適切な動作モードに変更します（適切な動作モードに設定されていないと、REFモードの設定でエラーになるため）。これには、hardware profile interface portmodeコマンドを使います。

    この例のようにToRモードを使う場合は、QSFP+スロット「port1.0.57」と「port1.0.61」を「10G×4モード」に設定し、10Gポート×8（port1.0.57〜port1.0.64）として使えるように設定します。

    awplus> enable ↓
awplus# configure terminal ↓
awplus(config)# hardware profile interface port1.0.57,port1.0.61 portmode 10gx4 ↓


  4. （DC-A, DC-B共通）QSFP+スロットの動作モードの設定は、起動時にスタートアップコンフィグから読み込まれたときだけ有効になるため、いったん設定を保存して再起動します。

    awplus(config)# end ↓
awplus# copy running-config startup-config ↓
awplus# reload ↓

    Note - ここで再起動しなくても、REFの設定を進めることは可能です。ただし、その場合は手順8でref modeコマンドを実行したときに警告メッセージが表示され、また、REFの運用開始前に設定を保存して再起動することを忘れないようにする必要があります。

  5. （DC-A, DC-B共通）初期状態で有効になっているスパニングツリープロトコル（RSTP）とIGMP Snoopingを無効化します。これには、spanning-tree enableコマンドとip igmp snoopingコマンドをno形式で実行します。これらの機能を無効化しないとREF機能の設定はできません。

    awplus> enable ↓
awplus# configure terminal ↓
awplus(config)# no spanning-tree rstp enable ↓
awplus(config)# no ip igmp snooping ↓


  6. 必須の手順ではありませんが、DC-AとDC-Bを見分けやすくするため、hostnameコマンドでホスト名を設定します。

    awplus(config)# hostname DC-A ↓


    awplus(config)# hostname DC-B ↓


  7. DC-AとDC-Bに同じREFシステムIDを設定します。これには、ref system-idコマンドを使います。

    DC-A(config)# ref system-id 00:00:00:00:00:01 ↓


    DC-B(config)# ref system-id 00:00:00:00:00:01 ↓


  8. DC-AとDC-Bに同じREFモード（ここではToR）と異なるデバイス識別子（DC-Aが「A」、DC-Bが「B」）を設定します。これには、ref modeコマンドを使います。

    DC-A(config)# ref mode tor-a ↓


    DC-B(config)# ref mode tor-b ↓


  9. 必要なVLANを定義し、サーバーと接続するポート（REFグループの所属ポート）にVLANを割り当てます。VLAN設定の詳細については「L2スイッチング」の「バーチャルLAN」をご覧ください。

    DC-A(config)# vlan database ↓
DC-A(config-vlan)# vlan 101-110 ↓
DC-A(config-vlan)# exit ↓
DC-A(config)# interface port1.0.1 ↓
DC-A(config-if)# switchport mode trunk ↓
DC-A(config-if)# switchport trunk native vlan none ↓
DC-A(config-if)# switchport trunk allowed vlan add 101-110 ↓
DC-A(config-if)# exit ↓


    DC-B(config)# vlan database ↓
DC-B(config-vlan)# vlan 101-110 ↓
DC-B(config-vlan)# exit ↓
DC-B(config)# interface port1.0.1 ↓
DC-B(config-if)# switchport mode trunk ↓
DC-B(config-if)# switchport trunk native vlan none ↓
DC-B(config-if)# switchport trunk allowed vlan add 101-110 ↓
DC-B(config-if)# exit ↓


  10. サーバーと接続するポートをREFグループ1に参加させます。これには、ref-groupコマンドを使います。

    DC-A(config)# interface port1.0.1 ↓
DC-A(config-if)# ref-group 1 ↓


    DC-B(config)# interface port1.0.1 ↓
DC-B(config-if)# ref-group 1 ↓

    Note - この例では所属ポート（port1.0.1）にVLANの設定をしてからREFグループを作成していますが、手順9と手順10を入れ替え、REFグループを作成してから、REFグループ（ref1）に対してVLANの設定をしてもかまいません。どちらの順序で設定しても、ランニングコンフィグ上、VLAN設定コマンドはREFグループではなく所属ポートに対する設定として表現されます。

  11. その他必要な設定を行ったら、設定を保存します。

    DC-A(config-if)# end ↓
DC-A# copy running-config startup-config ↓


    DC-B(config-if)# end ↓
DC-B# copy running-config startup-config ↓

    Note - 迂回ポートの動作モード変更後に再起動していない場合（手順4をスキップした場合）は、ここでの設定保存後に再起動が必要です。

  12. ケーブルを接続します。

    Note - 迂回ポートの接続には、40GのQSFP+ダイレクトアタッチケーブル（AT-QSFP1CU/3CU）を使用するのが便利です。アップリンク迂回ポート（40Gモード）だけでなく、通常の迂回ポート（10G×4モード）もQSFP+ダイレクトアタッチケーブルでの接続が可能です。また、迂回ポート間はQSFP+モジュール（AT-QSFPSR）で接続することもできます。

    Note - 迂回ポートは必ず同じポート番号どうしで接続してください。番号の異なるポートどうしを接続すると迂回ポートが正しく作成されず、REFグループがダウンしたときにパケットの迂回転送ができなくなるため注意が必要です。

基本設定は以上です。

■ REFグループ内のどのポートからパケットを送出するかは、L2、L3ヘッダーの情報に基づいて決定されます。port-channel load-balanceコマンドを使うと、送出ポート決定に使うヘッダー情報を制御できます（この設定は通常のトランクグループと共通です）。

初期設定では、L2のヘッダー情報（送信元・宛先MACアドレス）を使って送出ポートを決定しますが、REFグループ「1」でL3のヘッダー情報（始点・終点IPアドレス）を使うようにしたければ、次のようにします。

awplus(config)# interface ref1 ↓
awplus(config-if)# port-channel load-balance src-dst-ip ↓


■ REFグループの情報は、show refコマンドで確認できます。

■ 迂回ポートの情報は、show ref bypassコマンドで確認できます。

設定例

 下記のデータセンター環境において、本製品をLeafスイッチおよびSpineスイッチとして使用する場合の具体的な設定例を示します。

本例では次の3個所でREFを使用します。

Leafスイッチ

 Leafスイッチ（2台1組構成）は、1サーバーラックに収容されている40台の物理サーバー（400台のサーバーインスタンス ＝ 400 VLAN）を集約し、上位のSpineスイッチと接続します。

Leafスイッチには下記のREFグループを設定し、REFモード「ToR」で動作させます。
本例では、LeafスイッチのREFシステムIDを「00:00:00:00:00:01」に設定します。REFシステムIDには、サーバーのLACPシステムIDやSpineスイッチのREFシステムIDと重複しない値を選択してください。

表 6：Leafスイッチのポート/REF/VLAN割り当て
ポート番号
1
2
3
. . .
40
41〜48
49〜56 (10G)
57〜64 (10G)
REFグループ
ref1
ref2
ref3
. . .
ref40
未使用
ref41
迂回ポート
所属VLAN
1010〜1019
1020〜1029
1030〜1039
. . .
1400〜1409
未使用
1010〜1409
使用時に決定
接続先
サーバー1
サーバー2
サーバー3
. . .
サーバー40
未使用
AGGR-A/B
TOR-1A/B間


次に、サーバーラック1に収容されているLeafスイッチ「TOR-1A」と「TOR-1B」の設定を示します。

以下ではコンフィグだけを示していますので、CLIからの設定手順については、前節「基本的な設定手順」をご参照ください。

TOR-1Aの設定

 

! QSFPスロットの動作モードを変更
hardware profile interface port1.0.49 portmode 10gx4
hardware profile interface port1.0.53 portmode 10gx4
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4

! ホスト名を設定
hostname TOR-1A

! VLANを定義
vlan database
 vlan 1010-1409

! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping

! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:01
ref mode tor-a

! サーバー接続用ポートのREFグループ、VLAN設定
interface port1.0.1
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-1019
 ref-group 1
interface port1.0.2
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1020-1029
 ref-group 2
interface port1.0.3
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1030-1039
 ref-group 3
interface port1.0.4
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1040-1049
 ref-group 4
interface port1.0.5
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1050-1059
 ref-group 5
interface port1.0.6
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1060-1069
 ref-group 6
interface port1.0.7
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1070-1079
 ref-group 7
interface port1.0.8
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1080-1089
 ref-group 8
interface port1.0.9
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1090-1099
 ref-group 9
interface port1.0.10
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1100-1109
 ref-group 10
interface port1.0.11
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1110-1119
 ref-group 11
interface port1.0.12
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1120-1129
 ref-group 12
interface port1.0.13
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1130-1139
 ref-group 13
interface port1.0.14
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1140-1149
 ref-group 14
interface port1.0.15
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1150-1159
 ref-group 15
interface port1.0.16
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1160-1169
 ref-group 16
interface port1.0.17
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1170-1179
 ref-group 17
interface port1.0.18
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1180-1189
 ref-group 18
interface port1.0.19
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1190-1199
 ref-group 19
interface port1.0.20
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1200-1209
 ref-group 20
interface port1.0.21
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1210-1219
 ref-group 21
interface port1.0.22
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1220-1229
 ref-group 22
interface port1.0.23
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1230-1239
 ref-group 23
interface port1.0.24
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1240-1249
 ref-group 24
interface port1.0.25
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1250-1259
 ref-group 25
interface port1.0.26
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1260-1269
 ref-group 26
interface port1.0.27
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1270-1279
 ref-group 27
interface port1.0.28
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1280-1289
 ref-group 28
interface port1.0.29
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1290-1299
 ref-group 29
interface port1.0.30
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1300-1309
 ref-group 30
interface port1.0.31
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1310-1319
 ref-group 31
interface port1.0.32
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1320-1329
 ref-group 32
interface port1.0.33
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1330-1339
 ref-group 33
interface port1.0.34
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1340-1349
 ref-group 34
interface port1.0.35
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1350-1359
 ref-group 35
interface port1.0.36
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1360-1369
 ref-group 36
interface port1.0.37
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1370-1379
 ref-group 37
interface port1.0.38
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1380-1389
 ref-group 38
interface port1.0.39
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1390-1399
 ref-group 39
interface port1.0.40
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1400-1409
 ref-group 40

! Spineスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.49-port1.0.56
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-1409
 ref-group 41


TOR-1Bの設定

 

! QSFPスロットの動作モードを変更
hardware profile interface port1.0.49 portmode 10gx4
hardware profile interface port1.0.53 portmode 10gx4
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4

! ホスト名を設定
hostname TOR-1B

! VLANを定義
vlan database
 vlan 1010-1409

! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping

! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:01
ref mode tor-b

! サーバー接続用ポートのREFグループ、VLAN設定
interface port1.0.1
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-1019
 ref-group 1
interface port1.0.2
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1020-1029
 ref-group 2
interface port1.0.3
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1030-1039
 ref-group 3
interface port1.0.4
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1040-1049
 ref-group 4
interface port1.0.5
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1050-1059
 ref-group 5
interface port1.0.6
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1060-1069
 ref-group 6
interface port1.0.7
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1070-1079
 ref-group 7
interface port1.0.8
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1080-1089
 ref-group 8
interface port1.0.9
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1090-1099
 ref-group 9
interface port1.0.10
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1100-1109
 ref-group 10
interface port1.0.11
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1110-1119
 ref-group 11
interface port1.0.12
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1120-1129
 ref-group 12
interface port1.0.13
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1130-1139
 ref-group 13
interface port1.0.14
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1140-1149
 ref-group 14
interface port1.0.15
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1150-1159
 ref-group 15
interface port1.0.16
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1160-1169
 ref-group 16
interface port1.0.17
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1170-1179
 ref-group 17
interface port1.0.18
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1180-1189
 ref-group 18
interface port1.0.19
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1190-1199
 ref-group 19
interface port1.0.20
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1200-1209
 ref-group 20
interface port1.0.21
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1210-1219
 ref-group 21
interface port1.0.22
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1220-1229
 ref-group 22
interface port1.0.23
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1230-1239
 ref-group 23
interface port1.0.24
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1240-1249
 ref-group 24
interface port1.0.25
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1250-1259
 ref-group 25
interface port1.0.26
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1260-1269
 ref-group 26
interface port1.0.27
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1270-1279
 ref-group 27
interface port1.0.28
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1280-1289
 ref-group 28
interface port1.0.29
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1290-1299
 ref-group 29
interface port1.0.30
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1300-1309
 ref-group 30
interface port1.0.31
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1310-1319
 ref-group 31
interface port1.0.32
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1320-1329
 ref-group 32
interface port1.0.33
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1330-1339
 ref-group 33
interface port1.0.34
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1340-1349
 ref-group 34
interface port1.0.35
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1350-1359
 ref-group 35
interface port1.0.36
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1360-1369
 ref-group 36
interface port1.0.37
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1370-1379
 ref-group 37
interface port1.0.38
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1380-1389
 ref-group 38
interface port1.0.39
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1390-1399
 ref-group 39
interface port1.0.40
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1400-1409
 ref-group 40

! Spineスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.49-port1.0.56
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-1409
 ref-group 41


Spineスイッチ

 Spineスイッチ（2台1組構成）は、5つのサーバーラック（Leafスイッチ10台5組。2000台のサーバーインスタンス ＝ 2000 VLAN）を集約し、上位のコアスイッチと接続します。

Spineスイッチには下記のREFグループを設定し、REFモード「AGGR」で動作させます。
本例では、SpineスイッチのREFシステムIDを「00:00:00:00:00:02」に設定します。REFシステムIDには、LeafスイッチのREFシステムIDやコアスイッチのLACPシステムIDと重複しない値を選択してください。

表 7：Spineスイッチのポート/REF/VLAN割り当て
ポート番号
1〜8
9〜16
17〜24
25〜32
33〜40
41〜48
49, 53 (40G)
57〜64 (10G)
REFグループ
ref42
ref43
ref44
ref45
ref46
ref47（アップリンク）
迂回ポート（ref47用）
迂回ポート（ref42〜46用）
所属VLAN
1010〜1409
1410〜1809
1810〜2209
2210〜2609
2610〜3009
1010〜3009
1010〜3009
使用時に決定
接続先
TOR-1A/B（ラック1）
TOR-2A/B（ラック2）
TOR-3A/B（ラック3）
TOR-4A/B（ラック4）
TOR-5A/B（ラック5）
コアスイッチ
AGGR-A/B間


次にSpineスイッチ「AGGR-A」と「AGGR-B」の設定を示します。

以下ではコンフィグだけを示していますので、CLIからの設定手順については、前節「基本的な設定手順」をご参照ください。

AGGR-Aの設定

 

! QSFPスロットの動作モードを変更
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4

! ホスト名を設定
hostname AGGR-A

! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping

! VLANを定義
vlan database
 vlan 1010-3009

! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:02
ref mode aggr-a

! Leafスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.1-1.0.8
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-1409
 ref-group 42
interface port1.0.9-1.0.16
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1410-1809
 ref-group 43
interface port1.0.17-1.0.24
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1810-2209
 ref-group 44
interface port1.0.25-1.0.32
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 2210-2609
 ref-group 45
interface port1.0.33-1.0.40
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 2610-3009
 ref-group 46

! コアスイッチ接続用ポートのアップリンクREFグループ、VLAN設定
interface port1.0.41-port1.0.48
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-3009
 ref-group 47 bypasstype 40g


AGGR-Bの設定

 

! QSFPスロットの動作モードを変更
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4

! ホスト名を設定
hostname AGGR-B

! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping

! VLANを定義
vlan database
 vlan 1010-3009

! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:02
ref mode aggr-b

! Leafスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.1-1.0.8
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-1409
 ref-group 42
interface port1.0.9-1.0.16
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1410-1809
 ref-group 43
interface port1.0.17-1.0.24
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1810-2209
 ref-group 44
interface port1.0.25-1.0.32
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 2210-2609
 ref-group 45
interface port1.0.33-1.0.40
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 2610-3009
 ref-group 46

! コアスイッチ接続用ポートのアップリンクREFグループ、VLAN設定
interface port1.0.41-port1.0.48
 switchport mode trunk
 switchport trunk native vlan none
 switchport trunk allowed vlan add 1010-3009
 ref-group 47 bypasstype 40g


ファームウェアバージョンアップへの応用

 REFを使用すれば、次の手順により、サービスを稼働させたままでのファームウェアバージョンアップが可能です。

以下の説明では、同一REFグループを構成する2台の装置を「A」、「B」と呼びます。
  1. REFグループを構成する片側の装置「A」のファームウェアをバージョンアップし、再起動します。装置「A」の再起動中も、もう一方の装置「B」において通信は継続されます。

  2. 装置「A」の再起動が完了し、REFグループが正常に構成されたことを確認したら、もう一方の装置「B」のファームウェアをバージョンアップし、再起動します。装置「B」の再起動中も、もう一方の装置「A」において通信は継続されます。

Note - ファームウェアバージョンアップの手順については、「運用・管理」の「システム」をご覧ください。

(C) 2011-2013 アライドテレシスホールディングス株式会社

PN: 613-001633 Rev.D