yarn.resourcemanager.address
hostname-of-resourcemanager:8032
ResourceManagerのアプリケーションマネージャがLISTENするアドレス:ポート情報です
yarn.resourcemanager.scheduler.address
hostname-of-resourcemanager:8030
スケジューラがLISTENするアドレス:ポート情報です
yarn.resourcemanager.resource-tracker.address
hostname-of-resourcemanager:8031
ResourceManagerとNodeManagerが通信するポートで、
ResourceManagerではLISTEN情報となり、
NodeManagerでは接続するResourceManagerの情報となります
yarn.resourcemanager.admin.address
hostname-of-resourcemanager:8033
ResourceManagerの管理者インターフェースのLISTEN情報です
yarn.resourcemanager.webapp.address
hostname-of-resourcemanager:8088
ResourceManagerのWEBインターフェースのLISTEN情報です
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
スケジューラの種類の指定。
今はCapacitySchedulerしかない。
yarn.nodemanager.aux-services
mapreduce.shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
Classpath for typical applications.
yarn.application.classpath
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
$YARN_HOME/*,$YARN_HOME/lib/*
yarn.nodemanager.resource.memory-mb
32768
1NodeManager当たりで確保されるメモリMbyte。
ResourceManagerでは Used Resources の項目に、全NodeManager分を足した数が表示される。
yarn.app.mapreduce.am.resource.mb
2048
Application Master 1つに割り当てられるメモリMbyte。defaultは1536。
512など低すぎるとジョブが実行できない場合がある。推奨値は1024~2048。
yarn.nodemanager.local-dirs
/disk/1/yarn/local,
/disk/2/yarn/local,
/disk/3/yarn/local,
/disk/4/yarn/local,
/disk/5/yarn/local,
/disk/6/yarn/local,
/disk/7/yarn/local,
/disk/8/yarn/local
List of directories to store localized files in.
ローカルに置くジョブファイルのパス。カンマ区切りで複数指定可能。
yarn.nodemanager.log-dirs
/disk/1/yarn/logs,
/disk/2/yarn/logs,
/disk/3/yarn/logs,
/disk/4/yarn/logs,
/disk/5/yarn/logs,
/disk/6/yarn/logs,
/disk/7/yarn/logs,
/disk/8/yarn/logs
Where to store container logs.
ローカルに置くログファイルのパス。カンマ区切りで複数指定可能。
yarn.log-aggregation-enable
true
集約ログを保存するかどうか。
集約ログはMAP/REDUCE/ApplicationMasterなど様々な内容が
1ディレクトリ内にホスト毎ファイルとなって保存される。
yarn.nodemanager.remote-app-log-dir
/yarn/app-logs/
Where to aggregate logs to.
集約ログのHDFS保存パス。この下はユーザで区切られる。
yarn.app.mapreduce.am.staging-dir
/user
ユーザ毎のジョブファイルを置くHDFSディレクトリ。
yarn.resourcemanager.client.thread-count
100
The number of threads used to handle applications manager requests.
yarn.resourcemanager.scheduler.client.thread-count
100
Number of threads to handle scheduler interface.
yarn.app.mapreduce.am.job.task.listener.thread-count
64
The number of threads used to handle RPC calls in the MR AppMaster from remote tasks
yarn.nodemanager.container-manager.thread-count
32
Number of threads container manager uses.
yarn.resourcemanager.am.max-retries
3
The maximum number of application master retries.
yarn.app.mapreduce.client-am.ipc.max-retries
3
The number of client retries to the AM - before reconnecting to the RM to fetch Application Status.