Percona XtraBackupの抽出と圧縮の並列処理

久々にXtraBackupの話題です。
以前に紹介した基本手順では、tarアーカイブをgzip圧縮していました。

実はこれよりもっと速い方法がありまして、データサイズが大きくなると必須になってくるのではないかと思います。その、計測内容と結果について紹介していきたいと思います。

続きを読む →

Posted on 2012/12/05   Percona XtraBackupの抽出と圧縮の並列処理 はコメントを受け付けていません

Cloudera Impala発表資料

11/26 の『Hadoopソースコードリーディング 第13回』でCloudera Impalaの発表をしてきました。
きっかけはTwitter上で、ビールの化身 も◯す の外道父を呼べば？から始まって、１分かからず依頼ツィートが飛んできて引き受けた感じで、Twitterで数分で全てが完結する非常にフットワークの軽い業界になります。

それでは、発表資料や補足などを書いていきます。

続きを読む →

Posted on 2012/11/27   Cloudera Impala発表資料 はコメントを受け付けていません

Hadoop SecondaryNameNodeのメモリ不足エラー

少々可愛がり方が足りなかったのか、SecondaryNameNodeでメモリ不足が発生して、機能が停止してしまいました。

その際の調査や修復の記録になります。

続きを読む →

Posted on 2012/11/14   Hadoop SecondaryNameNodeのメモリ不足エラー はコメントを受け付けていません

Cloudera Impala (Beta) File format & Compression codec

前回に続いて、Cloudera Impalaに触れていきます。
今回は軽く、Impalaが対応するデータの保存形式と圧縮形式についてまとめておきます。

ある程度は検証手順も記載しますが、基本は最後のまとめだけ見てもらえればOKです。

続きを読む →

Posted on 2012/11/12   Cloudera Impala (Beta) File format & Compression codec はコメントを受け付けていません

How to install Cloudera Impala (Beta) on Debian

Hiveより数倍、数十倍速いとの触れ込みに触発され、Cloudera Impalaに挑戦してみました。『Debianには入らないよ』と明記されているだけあって、一度は挫折記事を書き始めたりしつつ、忍耐と閃きで乗り切ったインストール記録になります。

とても良いネタなのでCDH3ユーザは早くコッチにおいでと手招きしておきたいと思います。

続きを読む →

Posted on 2012/11/06   How to install Cloudera Impala (Beta) on Debian はコメントを受け付けていません