OpenStack Open vSwitch GREトンネルでDoS攻撃

ある日、いつも通りにOpenStackをイジイジしていると突然、社内ネットワークがダウンしました。

結果的には無知だった私が悪いのですが、OpenStackの怖い話として遺しておきたいと思います。



障害時の心境

　　　　　　　　 ,. -‐””'””¨¨¨ヽ
　　　　 　 　 (.＿＿_,,,… -ｧァﾌ|　　　　　　　　　　あ…ありのまま　今　起こった事を話すぜ！
　 　 　 　 　 |i i|　 　 }!　}} /／|
　　　　 　 　 |l､{　 　j}　/,,ｨ//｜　　　　　　　『おれは openvswitch を restart したと思ったら
　　　　　　　 i|:!ヾ､_ﾉ／ u {:}//ﾍ　　　　　　　　いつのまにか社内ネットワークが停止していた』
　　　　　　　 |ﾘ u’ }　 ,ﾉ　_,!V,ﾊ |
　　 　 　 ／´fト､_{ﾙ{,ィ’ｅﾗ　, ﾀ人　　　　　　　　な…　何を言ってるのか　わからねーと思うが
　　　　 /’ 　 ヾ|宀| {´,)⌒/ |<ヽﾄiゝ　　　　　　　　おれも　何をされたのか　わからなかった…
　　　　,ﾞ　 ／ )ヽ iLﾚ 　u' |　| ヾｌﾄﾊ〉
　　 　 |／_／　 ﾊ !ニ⊇　'／:} 　V:::::ヽ　　　　　　　　頭がどうにかなりそうだった…
　　　 /／ 二二二7'T'' ／u'　__ /:::::::/｀ヽ
　　　/'´r　-―一ｧ‐ﾞＴ´　'"´ ／::::／-‐ 　＼　　　設定ミスだとか操作ミスだとか
　　 / // 　 广¨´ 　/'　　 ／:::::／´￣｀ヽ ⌒ヽ　　　　そんなチャチなもんじゃあ　断じてねえ
　　ﾉ ' /　 ノ:::::ー-､___／:::::／/ 　 　 　 ヽ　　}
_／｀丶　/::::::::::::::::::::::::::￣`ー-{:::...　　　 　　　ｲ　 OpenStackの恐ろしさの片鱗を味わったぜ…


環境

Debian Wheezy に Grizzly をパッケージで構築し、
Open vSwitch＋VLAN で Quantum を設定してありました。

ネットワークは、fixed ipは完全に独立したネットワークでしたが、floating ip兼・管理アドレスは、社内ネットワークに普通にぶら下げてありました。


経緯

Grizzlyで遊んでいると、DHCPを筆頭にネットワーク周りがおかしくなったので、解決すべく色々と再起動したり設定を変更していました。

そんな中、ある設定を変更して /etc/init.d/openvswitch-switch restart すると、いきなり私のSSHプロンプトが切断され、偶然に社内ネットワークに異変が起きたというにはあまりのタイミングの良さに、脇汗がドバっと放出されました。

・・・そう、私が落としたのです。


対応

私はOpenStackで遊んでいただけなので、全く悪くないはずなのですが、エンジニアの勘ですぐさまネットワーク管理者に連絡した上で、原因調査をしました。

障害内容が内容なのですぐ復旧すべく、コンソールでいじらずにOpenStackサーバのLANケーブルを１本ずつ抜いてみたところ・・・管理アドレス用のケーブルを抜くと障害が解消されました。念のため、もう１回挿して、openvswitch restart をするとやはり再発したため、信じたくない確信を持って、ケーブルを抜去。その上で、社内ネットワークに全く影響のないよう完全に隔離した構成に変更して検証を始めました。


原因

直前にいじっていた設定は２つ３つだったのですぐ問題の設定値が判明しました。

/etc/quantum/plugins/openvswitch/ovs_quantum_plugin.ini

GREの環境でもないのに有効にしたことが原因となります。
GREについては今も全然自信がないので以下、推測も含みますが・・・

Quantum関連が起動している状態で openvswitch restart をすると・・・デフォルトのトンネルブリッジである br-tun 経由で対向に接続しようとしますが、br-tun なんてトンネルは作成していないので、DefaultG/Wに通信が飛ぶことになりました。その際の tcpdump は

こんなのが秒間数百以上もG/Wに飛び、それによってG/Wサーバが高負荷になり、ネットワーク障害が発生する運びになりました。

必ずしもopenvswitch restartで起きるのではなく、Quantumがきっちり動いていないと発生しなかったり、
設定を vlan に戻して restart した後に修復したと思っても、通信確認で管理アドレスに ping 打ったらまた上記通信が大量発生したりと、正直よく条件がわかっていませんが、再現はわりと簡単に出来ました。


感想戦

異常が発生した当初は、G/Wに影響あるということで、IPアドレスを直接重複させたり、VRRPの邪魔したり、VLANとか、NameSpace内のDHCPがまさかーとか色々可能性を考えましたが、完全独立のテスト環境を用意してG/Wでtcpdumpしてたらすぐわかったので、本番で使う前に経験できてよかったとしておきたいと思います。

ただGREを利用する予定はないものの、GRE自体を理解していないと非常にマズいと思ったのでこの辺は見ておきました。
  • GRE ( Generic Routing Encapsulation ) とは
  • Network virtualization with open stack quantum

    • そもそも理解していない設定を使うなって話ではありますが、それにしても最初の接続通信とか数秒に１回の頻度にしてくれればいいものを、殺しにかかるような通信にしなくてもいいじゃないかこの野郎！！ ・・・って文句は Quantum に言えばいいのかな・・・Open vSwitch は送ってる本人ではないから違うよね・・・もはやそれすら自信ない。


    ネットワークが一番自信ないとこなので、もっと勉強しなきゃなのですが、
    いかんせん、なんかネットワークって身体の一部になるように修得できないっていうか
    苦労のわりに全然楽しくないっていうか・・・まぁもっと精進しますです、はい。

    Posted on 2013/05/07   カテゴリー: Open vSwitch, OpenStack タグ: , , , パーマリンク