CDH4 Configurations with YARN, Capacity Scheduler and Hive

前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。

非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。



はじめに

  • 言うまでもなく、参考・利用においては自己責任でお願いします
  • ホスト名・ファイルパスは適当に変換してください
  • descriptionの日本語は私のメモですので怪しかったらググってください
  • 英文のみの場合はまだ未検証だったり説明するまでもないものになっています
  • 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます
  • ファイルはUTF-8です

  • Hadoop設定

  • CDH3からCDH4への設定変更リスト

  • core

    公式
  • core-default.xml
  • 外道式
  • core-site.xml (2012/09/03)
  • Gist版

  • hdfs

    公式
  • hdfs-default.xml
  • 外道式
  • hdfs-site.xml (2012/09/03)
  • Gist版

  • mapred

    公式
  • mapred-default.xml
  • 外道式
  • mapred-site.xml (2012/09/06)
  • Gist版

  • yarn

    公式
  • yarn-default.xml
  • 外道式
  • yarn-site.xml (2012/09/06)
  • Gist版

  • Capacity Scheduler設定

    公式
  • Hadoop MapReduce Next Generation – Capacity Scheduler
  • 外道式
  • capacity-scheduler.xml (2012/09/03)
  • Gist版

  • Hive設定

    公式
  • /etc/hive/conf/hive-default.xml.template
  • Hive AdminManual Configuration
  • 外道式
  • hive-site.xml (2012/09/03)
  • Gist版



  • 一応最初から他人に見せる前提で書いていったので、ぼちぼちまとまっているとは思うのですが、mapred-site.xml とかはMRv1との関係もあってだいぶゴチャゴチャしてますね。。CDH4ではどのMRv1の設定を必要としているのか、もまだはっきりしない部分が残っているのですが、さすがに1つ1つ確認する時間というか気力がないです・・・

    そしてCDH4でのFair Scheduler復活が待っていたり、そもそもエラーログいっぱい出るしなので、この辺はほどほどにチカラを抜いてやるのが良いのかなとも思います。

    それでは良い設定ライフを!!