月別アーカイブ: 2012年7月

XENのFaultToleranceでHadoopを完全冗長化できないか

XENにはFaultToleranceという耐障害性技術があります。 現段階ではただの構想ですが、Hadoopなど冗長性が重要なのに機能的に乏しいシステムに適用できないかなーと思い調べてみました。ゆくゆくは試してみたい構 … 続きを読む

ioDriveドライバの再構築 after カーネル再構築

前回の微続きで、カーネルを再構築して入れ替えた際に、そのサーバでioDriveを利用していた場合の対応についてです。 Fusion-io社が配布してくれているモノは十分なのですが、俺の対処が横着だったためにハマった例です … 続きを読む

SqueezeでXENカーネルの再構築 for 208日問題+メモリ制限解除

少し古い話題ですが、メモを掘り起こしておきます。 (ぼちぼち補完しましたが、メモが古いので若干乱れがある点はご容赦を) Debian SqueezeでXENを構築する上で、俺が知る限りカーネル再構築に関わる問題が2つある … 続きを読む

Fluentd+WebHDFSのAPPENDエラーをlog4jで除外

前回に続いてFluendからWebHDFSに書き込んだ時の話ですが、今回はどちらかというと log4j の話になります。 log4j についてずっとド素人なままHadoopを使ってきたのですが、さすがに放っておけない事象 … 続きを読む

Fluentd+WebHDFSの書き込み問題

以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの … 続きを読む