YARN+Capacity Schedulerのリソース調整

前記事で説明したYARNでのメモリ設定と並列度は、Capacity Schedulerとして特に上限を定めずに、総リソースに対してフルに動作しようとする状態における説明でした。

今回は、それに対してさらにCapacity Schedulerの機能を活用して、様々な条件でリソース上限を設定する方法を記します。

続きを読む

YARN+Capacity Schedulerのメモリと並列処理

YARN+Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。

MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた方がよいと思います。

続きを読む

YARN+Capacity Schedulerの基礎知識

CDH4でのYARN+Capacity Schedulerに触れたので記しておきます。

まずは基礎知識のためのリンクとか単語とか。

続きを読む

Fluentdの所感 その2

YARNについて書きたい気持ちを抑えて前回の続きです。

まだfluentdをがっつり導入しているわけじゃなく、独自プラグインや構成については改良の余地があるかもなので、まぁ参考程度に見ておいてください。

続きを読む

Fluentdの所感 その1

Fluentdをある程度触ったので、書きなぐったメモをおこしておきます。

少し多いし、今後もまだ触るので小分けしておきます。

続きを読む