「cdh4」タグアーカイブ

CDH4 Configurations with YARN, Capacity Scheduler and Hive

前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。

Posted on 2012/09/03   CDH4 Configurations with YARN, Capacity Scheduler and Hive はコメントを受け付けていません

How to upgrade from CDH3 to CDH4 for Debian

イベント２つを経て、何から書くか迷うところですが、先に @tagomoris との約束を果たすためにCDH3からCDH4への具体的なアップグレード手順を紹介します。 この約束を果たすと、@ryu_kobayashi が … 続きを読む →

Posted on 2012/08/31   How to upgrade from CDH3 to CDH4 for Debian はコメントを受け付けていません

Fluentd＋WebHDFSのAPPENDエラーをlog4jで除外

前回に続いてFluendからWebHDFSに書き込んだ時の話ですが、今回はどちらかというと log4j の話になります。 log4j についてずっとド素人なままHadoopを使ってきたのですが、さすがに放っておけない事象 … 続きを読む →

Posted on 2012/07/17   Fluentd＋WebHDFSのAPPENDエラーをlog4jで除外 はコメントを受け付けていません

Fluentd＋WebHDFSの書き込み問題

以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの … 続きを読む →

Posted on 2012/07/13   Fluentd＋WebHDFSの書き込み問題 はコメントを受け付けていません

YARN＋Capacity Schedulerの管理画面

まだ続いてみるYARN＋Capacity Scheduler。 プロパティの説明だけではわかりづらいので、 簡単な説明をつけた管理画面のキャプチャを貼ります。

Posted on 2012/07/11   YARN＋Capacity Schedulerの管理画面 はコメントを受け付けていません