Fusion-ioグッズ・コレクション

我社にて Fusion-io の ioDrive を使い始めて２年が経とうとしています。

最初の頃は若干苦労した部分もあれど、苦労に見合うどころじゃない性能を得たり、MySQLで利用した場合の試験を色々やったり思い出深く、今では最も好きなハードの内の１つなのですが、そんな細けぇことはどうでもよくなるモノをGETしたので自慢します。

続きを読む →

Posted on 2012/07/12   Fusion-ioグッズ・コレクション はコメントを受け付けていません

YARN＋Capacity Schedulerの管理画面

まだ続いてみるYARN＋Capacity Scheduler。

プロパティの説明だけではわかりづらいので、
簡単な説明をつけた管理画面のキャプチャを貼ります。

続きを読む →

Posted on 2012/07/11   YARN＋Capacity Schedulerの管理画面 はコメントを受け付けていません

YARN＋Capacity Schedulerのリソース調整

前記事で説明したYARNでのメモリ設定と並列度は、Capacity Schedulerとして特に上限を定めずに、総リソースに対してフルに動作しようとする状態における説明でした。

今回は、それに対してさらにCapacity Schedulerの機能を活用して、様々な条件でリソース上限を設定する方法を記します。

続きを読む →

Posted on 2012/07/09   YARN＋Capacity Schedulerのリソース調整 はコメントを受け付けていません

YARN＋Capacity Schedulerのメモリと並列処理

YARN＋Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。

MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた方がよいと思います。

続きを読む →

Posted on 2012/07/07   YARN＋Capacity Schedulerのメモリと並列処理 はコメントを受け付けていません

YARN＋Capacity Schedulerの基礎知識

CDH4でのYARN＋Capacity Schedulerに触れたので記しておきます。

まずは基礎知識のためのリンクとか単語とか。

続きを読む →

Posted on 2012/07/05   YARN＋Capacity Schedulerの基礎知識 はコメントを受け付けていません