fluentd」カテゴリーアーカイブ

Fluentd+WebHDFS&DataNode半死で起きた問題

Fluentd CollectorからHDFSに書き込むのに fluent-plugin-webhdfs を利用していますが、 DataNodeが1台変死した際に色々おかしくなったので書き留めておきます。 原因特定と解決 … 続きを読む

Fluentd Meetup #2 発表資料

このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわ … 続きを読む

td-agent版Fluentdデーモンの特徴と監視

td-agent版Fluentdを大量に導入してみて、かなり快適に動いています。 ただ、若干不安定な部分があり、対応が必要だったので記しておきます。

Fluentd+WebHDFSのAPPENDエラーをlog4jで除外

前回に続いてFluendからWebHDFSに書き込んだ時の話ですが、今回はどちらかというと log4j の話になります。 log4j についてずっとド素人なままHadoopを使ってきたのですが、さすがに放っておけない事象 … 続きを読む

Fluentd+WebHDFSの書き込み問題

以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの … 続きを読む