ラベル WireShark の投稿を表示しています。 すべての投稿を表示
ラベル WireShark の投稿を表示しています。 すべての投稿を表示

2012年12月9日日曜日

TCP Zerowindow による通信断 その②

前回の記事にもアップしたように、TSMアプリケーション側のタイムアウト値を延ばすことで回避しました。

タイムアウト値が60秒だったところを、600秒にしています。

その結果、以下に示すように通信断が発生しそうにはなりますが、なんとか持ちこたえることができるようになっています。


受信サーバ側からTCP ZeroWindowが192.168.1.55から出ます。

これは、受信側のバッファがいっぱいで受けられないという状況になっていることを示唆しています。


その後、192.168.1.10からTCP ZeroWindow Probeが出ています。

これは、送信側が受信側へバッファに余裕ができたかチェックをしています。


このチェックに対して、192.168.1.55からはTCP ZeroWindowAckを返答しています。

これは、受信側がまだ無理であると回答しているということです。


このやりとりが続き、

192.168.1.55から、TCP ZeroWindow Update を出して受信側のバッファがOKにになりましたよ、と通知しています。

待った甲斐がありましたということです。その後受信開始。



NO Time Source Dest TCP備考
3201 20:19:05 192.168.1.10 192.168.1.55 TCP 1460 byte
3202 20:19:05 192.168.1.55 192.168.1.10 TCP Zerowindow
3203 20:19:06 192.168.1.10 192.168.1.55 TCP ZerowindowProbe
3204 20:19:06 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3205 20:19:07 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 1秒後に確認
3206 20:19:07 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3207 20:19:09 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 2.5秒後に確認
3208 20:19:09 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3209 20:19:14 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 5秒後に確認
3210 20:19:14 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3211 20:19:24 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 10秒後に確認
3212 20:19:24 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3232 20:19:43 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 20秒後に確認
3233 20:19:43 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3269 20:20:21 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 40秒後に確認
3270 20:20:21 192.168.1.55 192.168.1.10 TCP ZerowindowAck
3282 20:21:38 192.168.1.10 192.168.1.55 TCP ZerowindowProbe 80秒後に確認
3283 20:21:38 192.168.1.55 192.168.1.10 TCP Zerowindow Update ※受信OKになった!!








このエントリーをはてなブックマークに追加

TCP Zerowindow による通信断 その①



TCP Zerowindowによる通信切断が発生している状況をパケットキャプチャーしました。

以下では 192.168.1.55 がバックアップデータを受信する側、192.168.1.10 がバックアップデータを送信する側になっています。

Tivoli Storage Manager Server(192.168.1.55),Tivoli Storage Manager Client(192.168.1.10)間で発生していました。

以後、TSM Server,TSM Clientと表記します。

通信を開始してから、すぐにTCP ZeroWindowが192.168.1.55から出ています。

これは、受信側のバッファがいっぱいで受けられないという状況になっていることを示唆しています。

その後、192.168.1.10からTCP ZeroWindow Probeが出ています。

これは、送信側が受信側へバッファに余裕ができたかチェックをしています。

このチェックに対して、192.168.1.55からはTCP ZeroWindowAckを返答しています。

これは、受信側がまだ無理であると回答しているということです。

このやりとりが、送信側と受信側の間で繰り返されています。

1秒経過してから確認し、その後、2秒経過してから再び確認、今度は4秒経過してから、、というように2倍ずつ確認の間隔が延びていきます。

そして結果的に受信側に余裕ができることが無いままRSTパケット(リセットパケット)を発行し通信断で終了してしまっています。

この場合、バックアップデータを送信する側のTSMアプリケーション側でタイムアウト値を延ばすことで回避しています。

下図でいうところのRSTパケットを出しているのはアプリケーション側ということになるんですね。

だからタイムアウト値を延ばすことで、もうちょっとがんばって通信してくれるようになるんです。



ここからまだ続きがあります。TCP Zerowindowによる通信断 その②へ続く


NO Time Source Dest TCP 備考
6087 17:40:51 192.168.1.10 192.168.1.55 ACK 1460Byte
6088 17:40:50 192.168.1.55 192.168.1.10 TCP ZeroWindow
6089 17:40:51 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe
6090 17:40:51 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6091 17:40:52 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe 1秒後に確認
6092 17:40:52 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6093 17:40:54 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe 2.5秒後に確認
6094 17:40:54 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6095 17:40:59 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe 5秒後に確認
6096 17:40:59 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6097 17:41:09 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe 10秒後に確認
6098 17:41:09 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6099 17:41:28 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe 20秒後に確認
6100 17:41:28 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6107 17:42:06 192.168.1.10 192.168.1.55 TCP ZeroWindow Probe 40秒後に確認
6108 17:42:06 192.168.1.55 192.168.1.10 TCP ZeroWindowAck
6157 17:43:22 192.168.1.55 192.168.1.10 RST 76秒後にリセット








このエントリーをはてなブックマークに追加

2012年12月8日土曜日

iSCSIパケットをWireSharkで見てみる

VMware ESXiサーバからiSCSI経由のストレージが見えなくなる現象が発生していたので、WireSharekでパケットを取り中身を確認してみました。

iSCSIで接続されているストレージは10Gイーサで接続されているので、

正直パケットがちゃんと取れるのか不安なところでしたが、、、1Gイーサにミラーリングして無理やり取ってみました。

http://www.ietf.org/rfc/rfc3720.txt のサイトでiSCSIコマンドのコードを確認すると以下のようになっています。


Some of the status codes defined in [SAM2] are:


0x00 GOOD
0x02 CHECK CONDITION
0x08 BUSY
0x18 RESERVATION CONFLICT
0x28 TASK SET FULL
0x30 ACA ACTIVE
0x40 TASK ABORTED


取ったパケットの量は当然膨大なので、フィルタ機能でソートをかけないと見れたものではありません。。

上記のコードでフィルタをかけてみます。

ストレージが見えなくなるということは、SCSI Reservationが発生しているのだろうということで、コード 0x18 でフィルタをかけてみます。

フィルタの箇所で、iscsi.scsiresponse.status == 0x18 と入力すれば、 SCSI Reservation conflict が発生している箇所だけ抜き出せます。







2200 10.1.4.200 10.1.4.1 iSCSI SCSI: Response LUN: 0x03 (Write(10)) (Reservation Conflict)
2201 10.1.4.200 10.1.4.1 iSCSI SCSI: Reserve(6) LUN: 0x03
2202 10.1.4.200 10.1.4.1 iSCSI SCSI: Response LUN: 0x03 (Reserve(6)) (Reservation Conflict)
2203 10.1.4.200 10.1.4.1 iSCSI SCSI: Reserve(6) LUN: 0x03

というように、LUN の番号が確認できるので、どのディスクで Conflict が発生しているか確認できます。

iscsi.opcode == 0x21 でフィルタをかけると以下のようにSCSI Reserve して書き込みして、 Release する一連の動きが確認できます。

フィルタをすると、 Reserve なしで Write のみのパケットも多数あります。

Conflictが多発している状態では、このReseve Good 状態をみんな目指して競合状態になっているようですね。。

そもそもなんでなんだ??という話ですが。

ネットでいろいろ調べると、スペックだったり、ストレージのFirmwareをアップデートしてなおったりと色々なようです。


下の例は、Wiresharkから抜き取ったもの。

一番左から、パケット番号、取得開始,経過時間、ソースアドレス、デスティネーションアドレス、パケット種別、パケットの詳細の内容です。



1142 10.1.4.200 10.1.4.1 iSCSI SCSI: Response LUN: 0x03 (Reserve(6)) (Good)


1146 10.1.4.200 10.1.4.1 iSCSI SCSI: Response LUN: 0x03 (Write(10)) (Good)


1148 10.1.4.200 10.1.4.1 iSCSI SCSI: Response LUN: 0x03 (Release(6)) (Good)


11114 10.1.4.200 10.1.4.1 iSCSI SCSI: Response LUN: 0x03 (Write(10)) (Good)


Reservationをかけにいって、Reserve Good ,
書き込みをして Write Good ,
その後解放 Release Good でGoodづくめです。