カテゴリー別アーカイブ: BigData

Hinemosをジョブスケジューラ目的でDebianに構築

検索 需要ガン無視で、ちょっとマイナーなことやったからって書いておく系。少し古目の情報です。 ジョブの定期的な実行をしたい時、スケジューラを自分たちで作るか何を使うか議論すると思いますが、とりあえず手軽にお試しでやってみ … 続きを読む

xautomation自動マウス&キーボード操作マニュアル

検索 前回に続いて、xautomationによるマウス&キーボードの操作方法を記します。 それとブラウザ・Iceweasel(Firefox)を利用して、とあるサイトからファイルをダウンロードしてくるスクリプトを紹介しま … 続きを読む

Debian XEN DomUで自動マウス&キーボードの環境構築

検索 データ解析をやっていると、サーバからのログ収集だけでなく、ブラウザの管理画面からしか取得できないデータを自動的に取得する場面が出てきます。 それをGnome+VNC+xautomationでやってしまえという試みで … 続きを読む

td-agent版Fluentdデーモンの特徴と監視

検索 td-agent版Fluentdを大量に導入してみて、かなり快適に動いています。 ただ、若干不安定な部分があり、対応が必要だったので記しておきます。

XENのFaultToleranceでHadoopを完全冗長化できないか

検索 XENにはFaultToleranceという耐障害性技術があります。 現段階ではただの構想ですが、Hadoopなど冗長性が重要なのに機能的に乏しいシステムに適用できないかなーと思い調べてみました。ゆくゆくは試してみ … 続きを読む