「Hadoop」カテゴリーアーカイブ

まだ続いてみるYARN＋Capacity Scheduler。 プロパティの説明だけではわかりづらいので、 簡単な説明をつけた管理画面のキャプチャを貼ります。

前記事で説明したYARNでのメモリ設定と並列度は、Capacity Schedulerとして特に上限を定めずに、総リソースに対してフルに動作しようとする状態における説明でした。 今回は、それに対してさらにCapacity … 続きを読む →

YARN＋Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。 MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた方がよ … 続きを読む →

CDH4でのYARN＋Capacity Schedulerに触れたので記しておきます。 まずは基礎知識のためのリンクとか単語とか。