タグ別アーカイブ: yarn

CDH4 Configurations with YARN, Capacity Scheduler and Hive

検索 前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。

YARN+Capacity Schedulerの管理画面

検索 まだ続いてみるYARN+Capacity Scheduler。 プロパティの説明だけではわかりづらいので、 簡単な説明をつけた管理画面のキャプチャを貼ります。

YARN+Capacity Schedulerのリソース調整

検索 前記事で説明したYARNでのメモリ設定と並列度は、Capacity Schedulerとして特に上限を定めずに、総リソースに対してフルに動作しようとする状態における説明でした。 今回は、それに対してさらにCapac … 続きを読む

YARN+Capacity Schedulerのメモリと並列処理

検索 YARN+Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。 MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた … 続きを読む

YARN+Capacity Schedulerの基礎知識

検索 CDH4でのYARN+Capacity Schedulerに触れたので記しておきます。 まずは基礎知識のためのリンクとか単語とか。