「BigData」カテゴリーアーカイブ

Fluentd＋WebHDFSのAPPENDエラーをlog4jで除外

前回に続いてFluendからWebHDFSに書き込んだ時の話ですが、今回はどちらかというと log4j の話になります。 log4j についてずっとド素人なままHadoopを使ってきたのですが、さすがに放っておけない事象 … 続きを読む →

Posted on 2012/07/17   Fluentd＋WebHDFSのAPPENDエラーをlog4jで除外 はコメントを受け付けていません

Fluentd＋WebHDFSの書き込み問題

以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの … 続きを読む →

Posted on 2012/07/13   Fluentd＋WebHDFSの書き込み問題 はコメントを受け付けていません

YARN＋Capacity Schedulerの管理画面

まだ続いてみるYARN＋Capacity Scheduler。 プロパティの説明だけではわかりづらいので、 簡単な説明をつけた管理画面のキャプチャを貼ります。

Posted on 2012/07/11   YARN＋Capacity Schedulerの管理画面 はコメントを受け付けていません

YARN＋Capacity Schedulerのリソース調整

前記事で説明したYARNでのメモリ設定と並列度は、Capacity Schedulerとして特に上限を定めずに、総リソースに対してフルに動作しようとする状態における説明でした。 今回は、それに対してさらにCapacity … 続きを読む →

Posted on 2012/07/09   YARN＋Capacity Schedulerのリソース調整 はコメントを受け付けていません

YARN＋Capacity Schedulerのメモリと並列処理

YARN＋Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。 MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた方がよ … 続きを読む →

Posted on 2012/07/07   YARN＋Capacity Schedulerのメモリと並列処理 はコメントを受け付けていません