CDH4 Configurations with YARN, Capacity Scheduler and Hive


前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。

非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。



はじめに

  • 言うまでもなく、参考・利用においては自己責任でお願いします
  • ホスト名・ファイルパスは適当に変換してください
  • descriptionの日本語は私のメモですので怪しかったらググってください
  • 英文のみの場合はまだ未検証だったり説明するまでもないものになっています
  • 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます
  • ファイルはUTF-8です

  • Hadoop設定

  • CDH3からCDH4への設定変更リスト

  • core

    公式
  • core-default.xml
  • 外道式
  • core-site.xml (2012/09/03)
  • Gist版

  • hdfs

    公式
  • hdfs-default.xml
  • 外道式
  • hdfs-site.xml (2012/09/03)
  • Gist版

  • mapred

    公式
  • mapred-default.xml
  • 外道式
  • mapred-site.xml (2012/09/06)
  • Gist版

  • yarn

    公式
  • yarn-default.xml
  • 外道式
  • yarn-site.xml (2012/09/06)
  • Gist版

  • Capacity Scheduler設定

    公式
  • Hadoop MapReduce Next Generation – Capacity Scheduler
  • 外道式
  • capacity-scheduler.xml (2012/09/03)
  • Gist版

  • Hive設定

    公式
  • /etc/hive/conf/hive-default.xml.template
  • Hive AdminManual Configuration
  • 外道式
  • hive-site.xml (2012/09/03)
  • Gist版



  • 一応最初から他人に見せる前提で書いていったので、ぼちぼちまとまっているとは思うのですが、mapred-site.xml とかはMRv1との関係もあってだいぶゴチャゴチャしてますね。。CDH4ではどのMRv1の設定を必要としているのか、もまだはっきりしない部分が残っているのですが、さすがに1つ1つ確認する時間というか気力がないです・・・

    そしてCDH4でのFair Scheduler復活が待っていたり、そもそもエラーログいっぱい出るしなので、この辺はほどほどにチカラを抜いてやるのが良いのかなとも思います。

    それでは良い設定ライフを!!

    CDH4 Configurations with YARN, Capacity Scheduler and Hive への2件のコメント

    1. 外道父 より:

      もりすの要望によりGistにも上げておきました。
      (長いし縦スクロール簡単にできなかったのでリンクだけ追記)

    2. 外道父 より:

      更新情報 2012/09/06

      [mapred-site.xml]
      * mapreduce.[map|reduce].log.level を追加

      [yarn-site.xml]
      * yarn.log-aggregation-enable の説明追加
      * yarn.nodemanager.remote-app-log-dir の例パスがローカルと勘違いしやすかったので変更

    コメントを残す

    メールアドレスが公開されることはありません。

    次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <img localsrc="" alt=""> <pre class="" title="" data-url=""> <span class="" title="" data-url="">