[index]
AT-DC2552XS コマンドリファレンス 2.5.3.1
インターフェース / レジリエントイーサネットファブリック（REF）
- 概要
- 複数装置にまたがるトランクグループ
- リンク障害と迂回経路
- データセンターネットワークでの使用
- 基本仕様
- REFシステムID
- デバイス識別子
- REFグループ
- アップリンク
- REFモードと迂回ポート
- リンク障害発生時の動作
- 迂回ポートの選択
- 迂回ポートに対する処理
- 装置障害検出時の動作
- 使用上の注意事項
- 他機能との併用について
- 基本的な設定手順
- 設定例
- Leafスイッチ
- TOR-1Aの設定
- TOR-1Bの設定
- Spineスイッチ
- AGGR-Aの設定
- AGGR-Bの設定
- ファームウェアバージョンアップへの応用
レジリエントイーサネットファブリック（REF）は、2台の本製品で同一のリンクアグリゲーショングループ（トランクグループ）を構成することにより、帯域幅の拡大やリンクの冗長性確保といったリンクアグリゲーションの利点を生かしつつ、2台のどちらかにリンク障害や装置障害が発生した場合でも該当トランクグループ経由での通信を継続できるようにする機能です。
Note - IEEE 802.3adでは、論理的に1ポートと見なされるポートの束を「リンクアグリゲーショングループ（LAG）」と呼びますが、本マニュアルでは、一般的な意味での「リンクアグリゲーショングループ」を「トランクグループ」と表記することにします。
リンクアグリゲーションは同一装置上の複数ポートを束ねて扱うことでリンクの冗長性を提供しますが、装置自身に障害が発生した場合はリンクを維持できなくなるため、配下のホストは該当装置経由での通信ができなくなります。
REFでは、LACP（Link Aggregation Control Protocol）をベースに独自の制御動作を追加し、2台の本製品で同一のトランクグループを構成できるようにすることで、この問題に対応しています。
概要
複数装置にまたがるトランクグループ
LACPには、同一のトランクグループを構成するポートの選択基準として「対向機器が同じであること」という条件があります。
次図は、サーバーがLACPによるNICチーミング機能を利用して2台のスイッチと接続している様子を示しています。しかしこの構成では、最初にトランクグループを形成した「DC2552XS-1」と接続したポートだけが通信を許可され、「DC2552XS-2」と接続したポートはトランクグループに参加できません。
LACPでは対向機器の識別にLACPパケット内のシステムIDだけを使用するため、複数の装置で同じシステムIDを使うようにすれば、複数装置にまたがるトランクグループを構成することができます。これがREFの基本的な考え方です。REFでは、このようにして構成された複数装置にまたがるトランクグループをREFグループと呼びます。
リンク障害と迂回経路
複数装置でREFグループを構成していれば、一方の装置がダウンしても残りの装置で通信を継続することができます。
しかし、両方の装置が稼働したまま、一方の装置でREFグループのリンクがダウンすると、該当装置に送られてきた該当REFグループ宛てのパケットは目的地に到達することができなくなります。
次図は、「DC2552XS-2」上のREFグループ1にリンク障害が発生した様子を示しています。この状態でサーバー宛てのパケットが「DC2552XS-2」に送られると、「DC2552XS-2」上のREFグループ1がダウンしているため、サーバーにパケットを届けられません。
このような状況を解決するため、REFではあらかじめ迂回経路となるべきポート（迂回ポート）を用意しておき、自装置のREFグループがダウンした場合には、該当REFグループ宛てのパケットを迂回ポート経由でもう一方の装置に転送することで、REFグループが正常に動作している装置からパケットを送出することができます。
次図は、さきほどと同様に「DC2552XS-2」上のREFグループ1がダウンしている様子を示しています。この状態でサーバー宛てのパケットが「DC2552XS-2」に送られると、「DC2552XS-2」は自身のREFグループ1がダウンしているため、受信したパケットを迂回ポート経由で「DC2552XS-1」に転送します。「DC2552XS-1」は迂回ポートで受信したパケットを正常に動作している自身のREFグループ1から送出してサーバーに届けます。
次の表は、REFグループの状態と迂回経路にかかわる動作をまとめたものです。なお、表内のREFグループ名と装置名は前図のものを使用しています。
表 1
| REFグループ1の状態 |
動作 |
| DC2552XS-1 |
DC2552XS-2 |
| Up |
Up |
DC2552XS-1、DC2552XS-2とも、受信したサーバー宛てのパケットを自身のREFグループ1へ転送する。迂回経路は使用しない |
| Down |
Up |
DC2552XS-1は受信したサーバー宛てのパケットを迂回経路に転送する。DC2552XS-2は迂回経路から受信したパケットを自身のREFグループ1に転送する |
| Up |
Down |
DC2552XS-2は受信したサーバー宛てのパケットを迂回経路に転送する。DC2552XS-1は迂回経路から受信したパケットを自身のREFグループ1に転送する |
| Down |
Down |
DC2552XS-1、DC2552XS-2ともREFグループ1がダウンしており、サーバーへの経路が存在しないため、迂回経路は使用しない |
データセンターネットワークでの使用
データセンターでは、「Leaf」と「Spine」という2つの層で構成されたネットワークが使用されています。この構成では、「Leafスイッチ」がサーバーラック内のサーバーを集約し、「Spineスイッチ」がLeafスイッチ（すなわちサーバーラック）を集約します。
REFはこのLeaf/Spine環境での使用を想定して設計されています。次図はデータセンターにおけるREFの使用例です。
サーバーラックに収容されている各サーバーは2つのネットワークインターフェースを使って、ラック内のLeafスイッチとLACPトランクグループを構成します。Leafスイッチは物理的には2台構成のREFグループですが、サーバーにとっては単一のLACP対応機器に見えるため、サーバーは標準のLACPに対応していればよく、REFを実装している必要はありません。
Note - REFはLACPによるリンクアグリゲーションだけをサポートしており、手動設定によるリンクアグリゲーションには未対応です。REFグループと接続するサーバーは、LACP（IEEE 802.3ad）を利用したNICチーミングに対応している必要があります。
上記の構成では、Leafスイッチの一台でREFグループがリンクダウンしても、サーバーは残ったもう一台のREFグループを使って通信を継続することができます。 また、Leafスイッチの一台に障害が発生した場合でも、正常に動作しているもう一台のスイッチを使用して通信を継続することができます。
また図にあるとおり、REFはLeafスイッチとSpineスイッチの間や、Spineスイッチとコアスイッチの間でも使用することができます。
基本仕様
REFシステムID
REFでは、複数の装置で単一のLACPトランクグループを構成するため、複数の装置に同一のLACPシステムIDを設定します。設定はCLIから手動で行います。
Note - システムIDは、別のREF対応装置ペアや他のLACP対応装置と重複しないよう設定する必要があります。他の装置または装置ペアと同じシステムIDを設定すると、REFグループを正常に構成できません。
このID（REFシステムID）はREFグループでのみ使用され、通常のLACPチャンネルグループでは使用されません。
デバイス識別子
LACPパケットには、送信ポートの識別子（ポートID）が含まれます。ポートIDは通常ポート番号をもとに生成されるもので、メンバーポートが別の装置のポートに接続されていることを確認するために使われます。
複数のメンバーポートで同一のシステムIDと同一のポートIDを持ったLACPパケットを受信した場合は、パケットループの可能性があるため、該当ポートはトランクグループに含まれません。
REFでは、2台の装置でREFグループを構成するため、同一REFグループ内に同じポート番号を持つポートが存在する可能性があります。その場合、これらのポートはトランクグループを構成できないことになりますが、REFでは同一REFグループを構成する2台の装置に「A」、「B」というデバイス識別子を設定し、これをポートIDに付加することで、この問題を解決しています。
Note - デバイス識別子は、後述するREFモードと迂回ポートの設定時にあわせて指定します。
REFグループ
REFグループは、LACPを使用して複数の装置にまたがるポートを単一のトランクグループとしたものです。
各装置において、REFグループは64個まで設定可能です。また、各装置において、REFグループには最大8ポートが所属できます。
REFグループを構成できる装置数は、2装置のみです。
アップリンク
パケットの転送経路が迂回経路に切り替わるまでの時間は、REFグループの所属VLAN数に依存します。
Spineスイッチとコアスイッチの間には通常多数のVLANが設定されるため、この部分のREFグループを迂回経路に切り替えるには、ある程度の時間がかかると予想されます。
またSpineスイッチとコアスイッチの間では大量のトラフィックが想定されるため、迂回経路にも十分な帯域が必要となります。
これらを解決するため、REFでは、Spineスイッチとコアスイッチの間で使用するREFグループを「アップリンクREFグループ」と呼んで特別扱いします。
アップリンクとして設定されたREFグループには、大量のトラフィックを処理するため、迂回経路用に40Gポートが割り当てられます。また、REFグループがダウンしたときの迂回経路への切り替え時間を短縮するため、このポートはあらかじめアップリンクREFグループと同じVLANに所属するよう自動設定されます。
Note - アップリンクREFグループを複数作成する場合、すべてのアップリンクREFグループが同じVLANに所属している必要があります。迂回ポートには最初に作成したアップリンクREFグループのVLAN設定が反映されるため、アップリンクREFグループ間で所属VLANに差異があると、一部のVLANは迂回ポート経由での通信ができなくなるため注意してください。
REFモードと迂回ポート
REFでは、前述したLeaf/Spine環境での役割に応じたREFモード「ToR」（Leafスイッチ）と「AGGR」（Spineスイッチ）があらかじめ用意されています。迂回ポートは、REFモードによって次のように固定で割り当てられます。
表 2
| REFモード |
割り当てられる迂回ポート |
| ToR |
1.0.57〜1.0.64（10G） |
| AGGR |
1.0.49, 1.0.53（40G）※ アップリンクREFグループ用 |
| 1.0.57〜1.0.64（10G） |
ToRモードはLeafスイッチ、AGGRモードはSpineスイッチで使用することを想定したモードです。
なお、AGGRモードで割り当てられる迂回ポート1.0.49と1.0.53は、コアスイッチとの接続に使うアップリンクREFグループ専用となります。
迂回ポートには次の用途があります。
- トラフィックを迂回転送する
- 装置間でポーリングを行う
- REFグループの状態変化を通知する
迂回ポートは、どちらかの装置でREFグループがダウンしたときに初めてトラフィックの転送に使用されます。両方の装置でREFグループが正常に動作している間は、迂回ポートはトラフィックの転送には使用されません（装置間のポーリングと状態通知には使用されます）。
Note - 迂回ポートとして設定されたポートではMACアドレスを学習しません。
Note - 迂回ポートとして設定されたポートの所属VLANは、show vlanコマンドでは表示されません。
リンク障害発生時の動作
REFグループのリンクに障害が発生したときは、次の動作を行います。
迂回ポートの選択
REFグループがダウンすると、該当REFグループ宛てパケットの迂回に使用する迂回ポートが1つ選択されます。すなわち、ダウンしたREFグループ1つに対して、1つの迂回ポートが必要です。どの迂回ポートを使用するかは、次の基準によって決定されます。
表 3
| 基準 |
使用する迂回ポート |
| アップリンクREFグループがダウンした場合 |
40Gの迂回ポート（1.0.49, 1.0.53）のうち、使用されていない最若番のポートを使用する |
| 通常のREFグループがダウンした場合 |
10Gの迂回ポート（1.0.57〜1.0.64）のうち、使用されていない最若番のポートを使用する |
迂回ポートがすべて使用済みの場合、使用中の迂回ポートが解放されるまで該当REFグループの通信はできなくなります。複数のREFグループが迂回ポートの空きを待っている場合は、REFグループ番号の小さい順に迂回ポートが割り当てられます。REFグループ番号順の割り当て動作は、使用中の迂回ポートがリンクダウン・リンクアップしたときも同じです。
迂回ポートに対する処理
REFグループのリンクに障害が発生した際、迂回ポートに対して行う処理は以下のとおりです。
なお、次表における迂回方向の「IN」、「OUT」は、迂回ポートに対するパケットの出入りを示しています。すなわち、「IN」はリンクダウンしているREFグループ宛てのパケットを受信して迂回ポートに転送する側を、「OUT」は迂回ポートから受信したパケットを正常に動作しているREFグループに転送する側を意味しています。
表 4
| 迂回方向 |
迂回ポートに対する処理 |
| IN |
本来なら自装置のREFグループに転送すべきパケットを、迂回経路に転送するための設定を行う |
| OUT |
迂回経路から受信したパケットを、自装置のREFグループに転送するための設定を行う |
上記を踏まえ、REFグループの状態遷移時に実行される動作を次の表にまとめます。
なお次表では、同一REFグループを構成している2台の装置のうち、状態変化の起きた装置を「装置A」、もう一方を「装置B」と記述しています。
表 5
| 装置AのREFグループの状態変化 |
装置BのREFグループの状態 |
装置Aの動作 |
装置Bの動作 |
| Down → Up |
Down |
「OUT」実行 |
「IN」実行 |
| Up → Down |
Down |
「OUT」解除 |
「IN」解除 |
| Down → Up |
Up |
「IN」解除 |
「OUT」解除 |
| Up → Down |
Up |
「IN」実行 |
「OUT」実行 |
装置障害検出時の動作
REFでは、同一REFグループを構成するもう一方の装置（リモートシステム）が正常に動作しているかどうかを確認するために、迂回ポート間でポーリングを行っています。ポーリングに対する応答がなくなった場合は、リモートシステムに障害が発生したと認識します。
ポーリングによってリモートシステムの障害を検出した場合は、次の動作を実行します。
- 全てのREFグループにおいて、リモートシステムのREFグループの状態をクリアする。
- 迂回ポートを使用していた場合は、それを解除する。
これにより、正常に動作している装置のREFグループだけで通信を継続することができます。
使用上の注意事項
REFの設定・運用にあたっては、下記のことがらにご注意ください。
- 作成できるREFグループの数は最大64です。
通常のトランクグループ（LACPチャンネルグループとスタティックチャンネルグループ）の作成可能数は合計で最大32ですが、REFグループはこれと無関係に64個まで作成可能です。
- 1台の装置上におけるREFグループの所属ポート数は最大8です（9ポート以上設定することはできません）。グループ内のポートは隣接していなくてもかまいません。
- アップリンクREFグループの所属VLAN数は最大2000、アップリンクでない通常のREFグループの所属VLANは最大400です。
- REFグループは、すべて同一メディアタイプのポートで構成してください。たとえば、REFグループ内に10GBASE-SRポートと10GBASE-LRポートを混在させるような構成はサポート対象外です。また、通信速度の異なるポート（10Gポートと40Gポート）を混在させることはできません。
- REFグループの所属ポートは、すべて同一のVLAN設定である必要があります。REFグループの設定を行うときは、あらかじめすべての所属ポートを、同一VLAN所属、かつ、同一タグ設定（accessかtrunk）にしておく必要があります。
- アップリンクREFグループを複数作成する場合、すべてのアップリンクREFグループの所属VLANが同じになるよう設定する必要があります。迂回ポートには最初に作成したアップリンクREFグループのVLAN設定が反映されるため、アップリンクREFグループ間で所属VLANに差異があると、一部のVLANは迂回ポート経由での通信ができなくなるため注意してください。
- REFの設定は、同一REFグループを構成する2台の装置を一組として行う必要があります。
- 2台の装置に同一のREFシステムIDを設定します。このとき、システムIDには、他のREF対応装置ペアや他のLACP対応装置と重複しない値を選ぶ必要があります。
- 2台の装置に同一のREFモード（ToRかAGGR）、かつ、異なるデバイス識別子（AかB）を設定します。
- REFモードの設定前には、迂回ポートを適切な動作モードに変更しておく必要があります。
- ToRモードを使用する場合は、QSFP+スロット「port1.0.57」と「port1.0.61」を「10G×4モード」に設定し、10Gポート×8（port1.0.57〜port1.0.64）として使えるように設定します。
- AGGRモードに使用する場合は、QSFP+スロット「port1.0.49」と「port1.0.53」を「40Gモード」（初期設定）に設定し、また、「port1.0.57」と「port1.0.61」を「10G×4モード」に設定し、10Gポート×8（port1.0.57〜port1.0.64）として使えるように設定します。
- 迂回ポートの接続には、40GのQSFP+ダイレクトアタッチケーブル（AT-QSFP1CU/3CU）を使用するのが便利です。アップリンク迂回ポート（40Gモード）だけでなく、通常の迂回ポート（10G×4モード）もQSFP+ダイレクトアタッチケーブルでの接続が可能です。また、迂回ポート間はQSFP+モジュール（AT-QSFPSR）で接続することもできます。
- 迂回ポートは同じポート番号どうしで接続する必要があります。
番号の異なるポートどうしを接続すると迂回ポートが正しく作成されず、REFグループがダウンしたときにパケットの迂回転送ができなくなるためご注意ください。
- 同一REFグループを構成する2台の装置は、REFグループの対向機器からは単一のLACP対応機器に見えます。したがって、対向機器は標準のLACPに対応していればよく、必ずしもREFに対応している必要はありません。
- REFグループ全体を表すインターフェース名は「refX」（XはREFグループ番号）です。ただし、REFと併用できる機能は限定されているため、「refX」に対して実行できるコマンドもそれほど多くありません。詳しくは次節「他機能との併用について」をご覧ください。
- 迂回ポートに対してインターフェースモードコマンドを実行することはできません（迂回ポートを対象とするインターフェースモードには移行できません）。
- 迂回ポートとして設定されたポートではMACアドレスを学習しません。
- 迂回ポートとして設定されたポートの所属VLANは、show vlanコマンドでは表示されません。
他機能との併用について
■ REFグループ上で併用可能な機能は次のとおりです。
- タグVLAN
- RRP Snooping
- ポリシーマップによるQoS（Quality of Service）
上記以外の機能をREFグループ上で使用することはサポート対象外ですのでご注意ください。
■ REFグループおよび所属ポートに対して実行可能なインターフェースモードコマンドは次のとおりです。
- REFグループ（refX）に対して実行すべきもの
- 所属ポートに対して実行すべきもの（すべての所属ポートに同じ設定をしてください）
- 所属ポート、REFグループのどちらに対して実行してもよいもの（所属ポートに対する場合は、すべての所属ポートに同じ設定をしてください）
■ 仕様上、REFグループ経由での本体宛てIP通信はできません。Telnet、SSHなどの運用・管理機能は、マネージメント用Ethernetポート（eth0）など、REFグループ以外のポート経由で利用してください。
■ 下記の機能は初期状態で有効になっていますが、仕様上REFと同時に有効化することができないため、REFを使用するときは事前にspanning-tree enableコマンドとip igmp snoopingコマンドをno形式で実行して無効化してください。
- スパニングツリープロトコル（STP/RSTP/MSTP）
- IGMP snooping
これらの機能を無効化しないと次のようにREFの設定ができません。
awplus(config)# ref mode aggr-a ↓
% STP cannot be used on REF environment.
% IGMP Snooping cannot be used on REF environment.
|
基本的な設定手順
REFの設定を行うときの基本的な手順は次のとおりです。
なお、ここであげる例は、設定の流れを示すためのものです。より具体的な設定については、次節「設定例」をご覧ください。
REFの設定は、同一REFグループを構成する2台の装置を一組として行う必要があります。
REFの正常動作には最低限下記コマンドの設定が必須です。どれが欠けても、REFの設定がエラーとなったり、設定エラーはなくともREFが正常に動作しなくなったりしますので、ご注意ください。
以下では、2台の装置「DC-A」と「DC-B」をREFモード「ToR」に設定し、サーバーとREFグループ1で接続するための設定手順を示します。
- （DC-A, DC-B共通）すべてのスイッチポートからケーブルを抜いておきます。
- （DC-A, DC-B共通）スタートアップコンフィグを消去し、空の設定で（初期設定状態で）システムを再起動します。これには、erase startup-configコマンドとreloadコマンドを使います。
awplus# erase startup-config ↓
awplus# reload ↓
|
これは、REFと併用可能な機能が限られているため、初期設定状態から設定を開始したほうが不要な設定が残らず都合がよいためです。また、REFモードの設定前には迂回ポートを適切な動作モードに変更する必要がありますが、その際ポート関連の設定をすべて初期状態に戻しておく必要があるため、初期設定状態でシステムを起動するほうが確実です。
- （DC-A, DC-B共通）使用するREFモードに応じて、迂回ポートを適切な動作モードに変更します（適切な動作モードに設定されていないと、REFモードの設定でエラーになるため）。これには、hardware profile interface portmodeコマンドを使います。
- ToRモードを使用する場合は、QSFP+スロット「port1.0.57」と「port1.0.61」を「10G×4モード」に設定し、10Gポート×8（port1.0.57〜port1.0.64）として使えるように設定します。
- AGGRモードに使用する場合は、QSFP+スロット「port1.0.49」と「port1.0.53」を「40Gモード」（初期設定）に設定し、また、「port1.0.57」と「port1.0.61」を「10G×4モード」に設定し、10Gポート×8（port1.0.57〜port1.0.64）として使えるように設定します。
この例のようにToRモードを使う場合は、QSFP+スロット「port1.0.57」と「port1.0.61」を「10G×4モード」に設定し、10Gポート×8（port1.0.57〜port1.0.64）として使えるように設定します。
awplus> enable ↓
awplus# configure terminal ↓
awplus(config)# hardware profile interface port1.0.57,port1.0.61 portmode 10gx4 ↓
|
- （DC-A, DC-B共通）QSFP+スロットの動作モードの設定は、起動時にスタートアップコンフィグから読み込まれたときだけ有効になるため、いったん設定を保存して再起動します。
awplus(config)# end ↓
awplus# copy running-config startup-config ↓
awplus# reload ↓
|
Note - ここで再起動しなくても、REFの設定を進めることは可能です。ただし、その場合は手順8でref modeコマンドを実行したときに警告メッセージが表示され、また、REFの運用開始前に設定を保存して再起動することを忘れないようにする必要があります。
- （DC-A, DC-B共通）初期状態で有効になっているスパニングツリープロトコル（RSTP）とIGMP Snoopingを無効化します。これには、spanning-tree enableコマンドとip igmp snoopingコマンドをno形式で実行します。これらの機能を無効化しないとREF機能の設定はできません。
awplus> enable ↓
awplus# configure terminal ↓
awplus(config)# no spanning-tree rstp enable ↓
awplus(config)# no ip igmp snooping ↓
|
- 必須の手順ではありませんが、DC-AとDC-Bを見分けやすくするため、hostnameコマンドでホスト名を設定します。
awplus(config)# hostname DC-A ↓
|
awplus(config)# hostname DC-B ↓
|
- DC-AとDC-Bに同じREFシステムIDを設定します。これには、ref system-idコマンドを使います。
DC-A(config)# ref system-id 00:00:00:00:00:01 ↓
|
DC-B(config)# ref system-id 00:00:00:00:00:01 ↓
|
- DC-AとDC-Bに同じREFモード（ここではToR）と異なるデバイス識別子（DC-Aが「A」、DC-Bが「B」）を設定します。これには、ref modeコマンドを使います。
DC-A(config)# ref mode tor-a ↓
|
DC-B(config)# ref mode tor-b ↓
|
- 必要なVLANを定義し、サーバーと接続するポート（REFグループの所属ポート）にVLANを割り当てます。VLAN設定の詳細については「L2スイッチング」の「バーチャルLAN」をご覧ください。
DC-A(config)# vlan database ↓
DC-A(config-vlan)# vlan 101-110 ↓
DC-A(config-vlan)# exit ↓
DC-A(config)# interface port1.0.1 ↓
DC-A(config-if)# switchport mode trunk ↓
DC-A(config-if)# switchport trunk native vlan none ↓
DC-A(config-if)# switchport trunk allowed vlan add 101-110 ↓
DC-A(config-if)# exit ↓
|
DC-B(config)# vlan database ↓
DC-B(config-vlan)# vlan 101-110 ↓
DC-B(config-vlan)# exit ↓
DC-B(config)# interface port1.0.1 ↓
DC-B(config-if)# switchport mode trunk ↓
DC-B(config-if)# switchport trunk native vlan none ↓
DC-B(config-if)# switchport trunk allowed vlan add 101-110 ↓
DC-B(config-if)# exit ↓
|
- サーバーと接続するポートをREFグループ1に参加させます。これには、ref-groupコマンドを使います。
DC-A(config)# interface port1.0.1 ↓
DC-A(config-if)# ref-group 1 ↓
|
DC-B(config)# interface port1.0.1 ↓
DC-B(config-if)# ref-group 1 ↓
|
Note - この例では所属ポート（port1.0.1）にVLANの設定をしてからREFグループを作成していますが、手順9と手順10を入れ替え、REFグループを作成してから、REFグループ（ref1）に対してVLANの設定をしてもかまいません。どちらの順序で設定しても、ランニングコンフィグ上、VLAN設定コマンドはREFグループではなく所属ポートに対する設定として表現されます。
- その他必要な設定を行ったら、設定を保存します。
DC-A(config-if)# end ↓
DC-A# copy running-config startup-config ↓
|
DC-B(config-if)# end ↓
DC-B# copy running-config startup-config ↓
|
Note - 迂回ポートの動作モード変更後に再起動していない場合（手順4をスキップした場合）は、ここでの設定保存後に再起動が必要です。
- ケーブルを接続します。
Note - 迂回ポートの接続には、40GのQSFP+ダイレクトアタッチケーブル（AT-QSFP1CU/3CU）を使用するのが便利です。アップリンク迂回ポート（40Gモード）だけでなく、通常の迂回ポート（10G×4モード）もQSFP+ダイレクトアタッチケーブルでの接続が可能です。また、迂回ポート間はQSFP+モジュール（AT-QSFPSR）で接続することもできます。
Note - 迂回ポートは必ず同じポート番号どうしで接続してください。番号の異なるポートどうしを接続すると迂回ポートが正しく作成されず、REFグループがダウンしたときにパケットの迂回転送ができなくなるため注意が必要です。
基本設定は以上です。
■ REFグループ内のどのポートからパケットを送出するかは、L2、L3ヘッダーの情報に基づいて決定されます。port-channel load-balanceコマンドを使うと、送出ポート決定に使うヘッダー情報を制御できます（この設定は通常のトランクグループと共通です）。
初期設定では、L2のヘッダー情報（送信元・宛先MACアドレス）を使って送出ポートを決定しますが、REFグループ「1」でL3のヘッダー情報（始点・終点IPアドレス）を使うようにしたければ、次のようにします。
awplus(config)# interface ref1 ↓
awplus(config-if)# port-channel load-balance src-dst-ip ↓
|
■ REFグループの情報は、show refコマンドで確認できます。
■ 迂回ポートの情報は、show ref bypassコマンドで確認できます。
設定例
下記のデータセンター環境において、本製品をLeafスイッチおよびSpineスイッチとして使用する場合の具体的な設定例を示します。
- サーバー
- 各物理サーバーでは仮想マシンを含め合計10台のサーバーインスタンスが動作
（各サーバーインスタンスには異なるVLANをアサイン）
- Leafスイッチ
- Leafスイッチ（2台1組構成）は、1サーバーラックに収容されている40台の物理サーバーを集約し、上位のSpineスイッチと接続
（400台のサーバーインスタンス ＝ 400 VLAN）
- Spineスイッチ
- Spineスイッチ（2台1組構成）は、5つのサーバーラック（Leafスイッチ10台5組）を集約し、上位のコアスイッチと接続
（2000台のサーバーインスタンス ＝ 2000 VLAN）
本例では次の3個所でREFを使用します。
- サーバー・Leafスイッチ間
- Leafスイッチ・Spineスイッチ間
- Spineスイッチ・コアスイッチ間
Leafスイッチ
Leafスイッチ（2台1組構成）は、1サーバーラックに収容されている40台の物理サーバー（400台のサーバーインスタンス ＝ 400 VLAN）を集約し、上位のSpineスイッチと接続します。
Leafスイッチには下記のREFグループを設定し、REFモード「ToR」で動作させます。
- 物理サーバーとの接続に使うREFグループ×40（ref1〜ref40）
- Spineスイッチとの接続に使うREFグループ×1（ref41）
本例では、LeafスイッチのREFシステムIDを「00:00:00:00:00:01」に設定します。REFシステムIDには、サーバーのLACPシステムIDやSpineスイッチのREFシステムIDと重複しない値を選択してください。
表 6：Leafスイッチのポート/REF/VLAN割り当て
| ポート番号 |
1 |
2 |
3 |
. . . |
40 |
41〜48 |
49〜56 (10G) |
57〜64 (10G) |
| REFグループ |
ref1 |
ref2 |
ref3 |
. . . |
ref40 |
未使用 |
ref41 |
迂回ポート |
| 所属VLAN |
1010〜1019 |
1020〜1029 |
1030〜1039 |
. . . |
1400〜1409 |
未使用 |
1010〜1409 |
使用時に決定 |
| 接続先 |
サーバー1 |
サーバー2 |
サーバー3 |
. . . |
サーバー40 |
未使用 |
AGGR-A/B |
TOR-1A/B間 |
次に、サーバーラック1に収容されているLeafスイッチ「TOR-1A」と「TOR-1B」の設定を示します。
以下ではコンフィグだけを示していますので、CLIからの設定手順については、前節「基本的な設定手順」をご参照ください。
TOR-1Aの設定
! QSFPスロットの動作モードを変更
hardware profile interface port1.0.49 portmode 10gx4
hardware profile interface port1.0.53 portmode 10gx4
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4
! ホスト名を設定
hostname TOR-1A
! VLANを定義
vlan database
vlan 1010-1409
! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping
! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:01
ref mode tor-a
! サーバー接続用ポートのREFグループ、VLAN設定
interface port1.0.1
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-1019
ref-group 1
interface port1.0.2
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1020-1029
ref-group 2
interface port1.0.3
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1030-1039
ref-group 3
interface port1.0.4
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1040-1049
ref-group 4
interface port1.0.5
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1050-1059
ref-group 5
interface port1.0.6
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1060-1069
ref-group 6
interface port1.0.7
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1070-1079
ref-group 7
interface port1.0.8
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1080-1089
ref-group 8
interface port1.0.9
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1090-1099
ref-group 9
interface port1.0.10
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1100-1109
ref-group 10
interface port1.0.11
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1110-1119
ref-group 11
interface port1.0.12
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1120-1129
ref-group 12
interface port1.0.13
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1130-1139
ref-group 13
interface port1.0.14
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1140-1149
ref-group 14
interface port1.0.15
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1150-1159
ref-group 15
interface port1.0.16
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1160-1169
ref-group 16
interface port1.0.17
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1170-1179
ref-group 17
interface port1.0.18
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1180-1189
ref-group 18
interface port1.0.19
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1190-1199
ref-group 19
interface port1.0.20
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1200-1209
ref-group 20
interface port1.0.21
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1210-1219
ref-group 21
interface port1.0.22
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1220-1229
ref-group 22
interface port1.0.23
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1230-1239
ref-group 23
interface port1.0.24
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1240-1249
ref-group 24
interface port1.0.25
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1250-1259
ref-group 25
interface port1.0.26
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1260-1269
ref-group 26
interface port1.0.27
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1270-1279
ref-group 27
interface port1.0.28
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1280-1289
ref-group 28
interface port1.0.29
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1290-1299
ref-group 29
interface port1.0.30
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1300-1309
ref-group 30
interface port1.0.31
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1310-1319
ref-group 31
interface port1.0.32
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1320-1329
ref-group 32
interface port1.0.33
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1330-1339
ref-group 33
interface port1.0.34
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1340-1349
ref-group 34
interface port1.0.35
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1350-1359
ref-group 35
interface port1.0.36
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1360-1369
ref-group 36
interface port1.0.37
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1370-1379
ref-group 37
interface port1.0.38
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1380-1389
ref-group 38
interface port1.0.39
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1390-1399
ref-group 39
interface port1.0.40
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1400-1409
ref-group 40
! Spineスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.49-port1.0.56
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-1409
ref-group 41
|
TOR-1Bの設定
! QSFPスロットの動作モードを変更
hardware profile interface port1.0.49 portmode 10gx4
hardware profile interface port1.0.53 portmode 10gx4
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4
! ホスト名を設定
hostname TOR-1B
! VLANを定義
vlan database
vlan 1010-1409
! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping
! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:01
ref mode tor-b
! サーバー接続用ポートのREFグループ、VLAN設定
interface port1.0.1
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-1019
ref-group 1
interface port1.0.2
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1020-1029
ref-group 2
interface port1.0.3
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1030-1039
ref-group 3
interface port1.0.4
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1040-1049
ref-group 4
interface port1.0.5
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1050-1059
ref-group 5
interface port1.0.6
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1060-1069
ref-group 6
interface port1.0.7
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1070-1079
ref-group 7
interface port1.0.8
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1080-1089
ref-group 8
interface port1.0.9
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1090-1099
ref-group 9
interface port1.0.10
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1100-1109
ref-group 10
interface port1.0.11
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1110-1119
ref-group 11
interface port1.0.12
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1120-1129
ref-group 12
interface port1.0.13
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1130-1139
ref-group 13
interface port1.0.14
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1140-1149
ref-group 14
interface port1.0.15
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1150-1159
ref-group 15
interface port1.0.16
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1160-1169
ref-group 16
interface port1.0.17
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1170-1179
ref-group 17
interface port1.0.18
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1180-1189
ref-group 18
interface port1.0.19
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1190-1199
ref-group 19
interface port1.0.20
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1200-1209
ref-group 20
interface port1.0.21
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1210-1219
ref-group 21
interface port1.0.22
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1220-1229
ref-group 22
interface port1.0.23
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1230-1239
ref-group 23
interface port1.0.24
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1240-1249
ref-group 24
interface port1.0.25
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1250-1259
ref-group 25
interface port1.0.26
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1260-1269
ref-group 26
interface port1.0.27
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1270-1279
ref-group 27
interface port1.0.28
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1280-1289
ref-group 28
interface port1.0.29
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1290-1299
ref-group 29
interface port1.0.30
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1300-1309
ref-group 30
interface port1.0.31
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1310-1319
ref-group 31
interface port1.0.32
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1320-1329
ref-group 32
interface port1.0.33
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1330-1339
ref-group 33
interface port1.0.34
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1340-1349
ref-group 34
interface port1.0.35
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1350-1359
ref-group 35
interface port1.0.36
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1360-1369
ref-group 36
interface port1.0.37
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1370-1379
ref-group 37
interface port1.0.38
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1380-1389
ref-group 38
interface port1.0.39
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1390-1399
ref-group 39
interface port1.0.40
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1400-1409
ref-group 40
! Spineスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.49-port1.0.56
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-1409
ref-group 41
|
Spineスイッチ
Spineスイッチ（2台1組構成）は、5つのサーバーラック（Leafスイッチ10台5組。2000台のサーバーインスタンス ＝ 2000 VLAN）を集約し、上位のコアスイッチと接続します。
Spineスイッチには下記のREFグループを設定し、REFモード「AGGR」で動作させます。
- Leafスイッチとの接続に使うREFグループ ×5（ref42〜ref46）
- コアスイッチとの接続に使うアップリンクREFグループ ×1（ref47）
本例では、SpineスイッチのREFシステムIDを「00:00:00:00:00:02」に設定します。REFシステムIDには、LeafスイッチのREFシステムIDやコアスイッチのLACPシステムIDと重複しない値を選択してください。
表 7：Spineスイッチのポート/REF/VLAN割り当て
| ポート番号 |
1〜8 |
9〜16 |
17〜24 |
25〜32 |
33〜40 |
41〜48 |
49, 53 (40G) |
57〜64 (10G) |
| REFグループ |
ref42 |
ref43 |
ref44 |
ref45 |
ref46 |
ref47（アップリンク） |
迂回ポート（ref47用） |
迂回ポート（ref42〜46用） |
| 所属VLAN |
1010〜1409 |
1410〜1809 |
1810〜2209 |
2210〜2609 |
2610〜3009 |
1010〜3009 |
1010〜3009 |
使用時に決定 |
| 接続先 |
TOR-1A/B（ラック1） |
TOR-2A/B（ラック2） |
TOR-3A/B（ラック3） |
TOR-4A/B（ラック4） |
TOR-5A/B（ラック5） |
コアスイッチ |
AGGR-A/B間 |
次にSpineスイッチ「AGGR-A」と「AGGR-B」の設定を示します。
以下ではコンフィグだけを示していますので、CLIからの設定手順については、前節「基本的な設定手順」をご参照ください。
AGGR-Aの設定
! QSFPスロットの動作モードを変更
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4
! ホスト名を設定
hostname AGGR-A
! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping
! VLANを定義
vlan database
vlan 1010-3009
! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:02
ref mode aggr-a
! Leafスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.1-1.0.8
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-1409
ref-group 42
interface port1.0.9-1.0.16
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1410-1809
ref-group 43
interface port1.0.17-1.0.24
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1810-2209
ref-group 44
interface port1.0.25-1.0.32
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 2210-2609
ref-group 45
interface port1.0.33-1.0.40
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 2610-3009
ref-group 46
! コアスイッチ接続用ポートのアップリンクREFグループ、VLAN設定
interface port1.0.41-port1.0.48
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-3009
ref-group 47 bypasstype 40g
|
AGGR-Bの設定
! QSFPスロットの動作モードを変更
hardware profile interface port1.0.57 portmode 10gx4
hardware profile interface port1.0.61 portmode 10gx4
! ホスト名を設定
hostname AGGR-B
! 併用が不可能なRSTPとIGMP Snoopingを無効化
no spanning-tree rstp enable
no ip igmp snooping
! VLANを定義
vlan database
vlan 1010-3009
! REFシステムIDとREFモード、デバイス識別子を設定
ref system-id 00:00:00:00:00:02
ref mode aggr-b
! Leafスイッチ接続用ポートのREFグループ、VLAN設定
interface port1.0.1-1.0.8
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-1409
ref-group 42
interface port1.0.9-1.0.16
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1410-1809
ref-group 43
interface port1.0.17-1.0.24
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1810-2209
ref-group 44
interface port1.0.25-1.0.32
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 2210-2609
ref-group 45
interface port1.0.33-1.0.40
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 2610-3009
ref-group 46
! コアスイッチ接続用ポートのアップリンクREFグループ、VLAN設定
interface port1.0.41-port1.0.48
switchport mode trunk
switchport trunk native vlan none
switchport trunk allowed vlan add 1010-3009
ref-group 47 bypasstype 40g
|
ファームウェアバージョンアップへの応用
REFを使用すれば、次の手順により、サービスを稼働させたままでのファームウェアバージョンアップが可能です。
以下の説明では、同一REFグループを構成する2台の装置を「A」、「B」と呼びます。
- REFグループを構成する片側の装置「A」のファームウェアをバージョンアップし、再起動します。装置「A」の再起動中も、もう一方の装置「B」において通信は継続されます。
- 装置「A」の再起動が完了し、REFグループが正常に構成されたことを確認したら、もう一方の装置「B」のファームウェアをバージョンアップし、再起動します。装置「B」の再起動中も、もう一方の装置「A」において通信は継続されます。
Note - ファームウェアバージョンアップの手順については、「運用・管理」の「システム」をご覧ください。
(C) 2011-2012 アライドテレシスホールディングス株式会社
PN: 613-001633 Rev.C