うるう秒でCPU状態が狂うよう


2012年7月1日に実施されたうるう秒により、CPU利用率が跳ね上がる現象が多々発生したようで。

御多分にもれず自分も被害に遭って、ただでさえ面倒な事を残しておいた週明けに拍車がかかったBlueMondayであります。



MySQLでの被害

  • MySQL Bugs: #65778: User has reported large and continued spike in CPU after leap second
  • うるう秒のあとにMySQLなどのCPU使用率が高騰する件について – SH2の日記

  • この辺ですね。世知辛い世の中です。

    XENでの被害

    どちらかというとLinuxカーネルバージョンの問題だと思いますが、自分の環境では Dom0 Squeeze & DomU Squeeze の DomU において高確率で被害に遭っていました。現象としては、ただOSを立ち上げた状態のサーバなのに異常なCPU使用率をたたき出しているプロセスがちらほら。automountごときが常時10%になっていたり、その割に nagios-nrpe-server は普通だったり。でも top 打ったら150%叩きだしたり。NameNodeのJavaが600%だったり、瞬間的に6000%とか笑わせにきたり・・・Dom0やLenny系は無事なので、特定のカーネルバージョン+特定のソフトウェアで問題が出るようで。

  • Leap second causing ksoftirqd and java to use lots of cpu time – Frederik’s Blog

  • 仮想環境の開発してると時間関係に悩まされる時があり、DomUでのCPU処理が極端に遅い時ってたいてい時刻の進み自体遅くなっている(=dateを打っても数十秒で1秒しか進まないような)ことがほとんどです。なので今回はCPU利用率が高くなるということで時刻も極端に速く動いているかと思いきやそうではないようで。

    XENでもっと言うと、current_clocksourceがjiffiesなのかxenなのか。時刻更新をDom0任せにしているかNTPにしているかでも被害に遭うかどうかが変わりそうですね。ていうか1秒挿入されるということは時刻更新で1秒過去に戻るようなものだけど、その程度でこんなことになるものでしょうか。確かに普段の時刻更新は遅れに対して進める場合がほとんどなので、あまり無い挙動ではありますが。あとは知ったかで software interrupt 関係とか・・?


    今は深く考えすぎても時間がもったいないので続報待ちで。
    今年は208日問題とかもあったし、これ系は勘弁願いたいですな。

    うるう秒でCPU状態が狂うよう への1件のコメント

    1. 外道父 より:

      Squeeze Dom0でもCPU挙動がおかしい例を発見。
      簡単なbashやただのmkdirでも50~100%のCPU使用率になっていた。
      単発プロセスだと問題ないけど複数だとI/Oが遅いという例も有り。

      メモリとかデバイスを待つのは iowait だけど、mkdir とかで CPU Usage が高くなるのは、CPU thread間で手間取って CPU時間に加算されちゃってるとかじゃないのかな、と予想。並列処理が変になってる感じがする。

    コメントを残す

    メールアドレスが公開されることはありません。

    次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <img localsrc="" alt=""> <pre class="" title="" data-url=""> <span class="" title="" data-url="">