CDH4 Configurations with YARN, Capacity Scheduler and Hive

前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。

非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。

はじめに

言うまでもなく、参考・利用においては自己責任でお願いします

ホスト名・ファイルパスは適当に変換してください

descriptionの日本語は私のメモですので怪しかったらググってください

英文のみの場合はまだ未検証だったり説明するまでもないものになっています

2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます

ファイルはUTF-8です

capacity-scheduler.xml (2012/09/03)

Gist版

Hive設定

公式

/etc/hive/conf/hive-default.xml.template

Hive AdminManual Configuration

外道式

hive-site.xml (2012/09/03)

Gist版

一応最初から他人に見せる前提で書いていったので、ぼちぼちまとまっているとは思うのですが、mapred-site.xml とかはMRv1との関係もあってだいぶゴチャゴチャしてますね。。CDH4ではどのMRv1の設定を必要としているのか、もまだはっきりしない部分が残っているのですが、さすがに１つ１つ確認する時間というか気力がないです・・・

そしてCDH4でのFair Scheduler復活が待っていたり、そもそもエラーログいっぱい出るしなので、この辺はほどほどにチカラを抜いてやるのが良いのかなとも思います。

それでは良い設定ライフを！！