Hadoop」カテゴリーアーカイブ

Notes of upgrading from CDH4.1 to CDH4.4

ついつい CDH4.1 から CDH4.4 にアップグレードしてしまいましたので、手順を省いて注意点などを記しておきます。 機能的には What’s New in CDH4.4.0 まで見てもメリットよりリス … 続きを読む

Fluentd+WebHDFS&DataNode半死で起きた問題

Fluentd CollectorからHDFSに書き込むのに fluent-plugin-webhdfs を利用していますが、 DataNodeが1台変死した際に色々おかしくなったので書き留めておきます。 原因特定と解決 … 続きを読む

Cloudera Manager Free Editionの雑感

CDHを利用して1年になりますが、1度もCloudera Managerを利用したことがなかったので、ふと気になって少しだけ触ってみました。 Free Editionをほんの少し見てみただけなので全然役に立つ内容ではない … 続きを読む

How to convert non-HA NameNode to QJM HA on CDH4

CDH3から始めてCDH4.1までアップグレードして利用し続けていますが、この過程でNameNodeの構成は変更せずに運用してきました。 当然、CDH4からの公式HA構成に関心はあったのですが、複数の更新を同時に行うと危 … 続きを読む

Hadoop SecondaryNameNodeのメモリ不足エラー

少々可愛がり方が足りなかったのか、SecondaryNameNodeでメモリ不足が発生して、機能が停止してしまいました。 その際の調査や修復の記録になります。