お久！2017年前半頃から少しずつ触り始めたKafkaですが、運用に至るまでに必要な基本情報をまとめてみました。年明けのブログ欲衰退を吹き飛ばすにはリンク集に限ります。メモをブログ用に置換するだけなのだ！
Kafkaで何をやるかによっては全然足りないでしょうが、まぁ静かなブームっぽいので、触ろうとする人たちはたいてい自分でなんとかするマニアばっかりでしょう。自分も、やるべきことは大体やったけど、シリーズ化するかは未定ですたい。
リンク集
Official
- Apache Kafka Documentation
- Apache Kafka 日本語訳
- Index – Apache Kafka – Apache Software Foundation
- FAQ – Apache Kafka – Apache Software Foundation
Book
- Kafka: The Definitive Guide (PDF)
- Amazon.co.jp： Kafka: The Definitive Guide: Real-time Data and Stream Processing at Scale: Neha Narkhede, Gwen Shapira, Todd Palino: 洋書
Beginning
- Apache Kafkaチュートリアル
- Apache Kafkaに入門した | SOTA
- Apache Kafka ―入門からTrifectaを用いた可視化まで― – Qiita
- ストリーム処理を支えるキューイングシステムの選び方
- Apache Kafkaを使ったマイクロサービス基盤
- Kafkaを使った マイクロサービス基盤 part2 ＋運用して起きたトラブル集
- 高速にApache Kafkaを試す – Qiita
- Kafka を知るための情報源 – SummerWind
- Apache Kafka Best Practices
- AWSマネージドサービスをフル活用したヘルスケアIoTプラットフォーム
- Awsでつくるapache kafkaといろんな悩み
- Apache Kafka について | ギャップロ
- kafkaと戯れ – Qiita
- Cloudera Distribution of Apache Kafka Overview
- Kafka カテゴリーの記事一覧 – 夢とガラクタの集積場
- Apache Kafka for HDInsight (public preview) (1) – Microsoft Japan Data Platform Tech Sales Team Blog
- kafkaでpublishのロジックを独自に作ってデータロスを無くす話
- サイボウズのサービスを支えるログ基盤
- PHPカンファレンス2017でApache Kafkaについて話しました – ytake Hatena
- Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す – ITアーキテクトブログ – Medium
- Apache Kafkaがついにバージョン1.0に到達、オープンソース化から約7年。大量のデータを高速に収集できるメッセージ処理システム － Publickey
- Best Practices for Running Apache Kafka on AWS | AWS Big Data Blog
Install
- How to Install Apache Kafka on CentOS 7 – Vultr.com
- GitHub – id/zookeeper-el7-rpm: A set of scripts to package Apache Zookeeper into an rpm (CentOS/RedHat 7)
- GitHub – id/kafka-el7-rpm: A set of scripts to package Apache Kafka into an rpm (CentOS/RedHat 7)
Config
- Configuring Kafka for Performance and Resource Management
- Kafka、Spark、Elasticsearchのパラメータチューニング | Think IT（シンクイット）
Cluster
- kafkaクラスタにおけるzookeeperのアンサンブル構成について | エンジニアっぽいことを書くブログ
- Kafka Replication – Apache Kafka – Apache Software Foundation
Partition
- How to choose the number of topics/partitions in a Kafka cluster? を読んだメモ – Qiita
- Kafka Topic Architecture
- Kafka のトピック・パーティションの決め方を考察する – uchan note
- Kafkaのパーティンション数を決める時に考慮すること – The Dabsong Conshirtoe
Rebalance
- How to Rebalance Topics in a Kafka Cluster – experience@imaginea
- Kafka Tutorial: Kafka clusters, Kafka consumer failover, and Kafka broker failover
- Kafkaコンシューマのリバランスはいつ行われるか – 見習いプログラミング日記
- Apache Kafkaで、クラスタメンバーの増減とPartitionの再割り当てをやってみる – CLOVER
- GitHub – everpeace/kafka-reassign-optimizer: Kafka Partitions Re-Assignment Optimizer in scala
ZooKeeper
- ビッグデータ処理の常識をJavaで身につける（8）：管理が困難―分散処理の常識はZooKeeperで変わる (1/3) – ＠IT
- ZooKeeper 管理者ガイド
- ZooKeeper概要とzoo.cfg設定覚え書き | OpenGroove
- Hadoop本読書会 – 13章 ZooKeeper – 大規模分散技術勉強会 in 名古屋
- ZooKeeperについて調査 · GitHub
- クラスタの構築 – どぅーちゅいむーにー
- Adding nodes to a ZooKeeper ensemble · GitHub
- How to Monitor Zookeeper – Server Density Blog
- Building Exhibitor · soabase/exhibitor Wiki · GitHub
- Running Exhibitor · soabase/exhibitor Wiki · GitHub
- GitHub – soabase/exhibitor: ZooKeeper co-process for instance monitoring, backup/recovery, cleanup and visualization.
- ZooKeeper Dynamic Reconfiguration (>= 3.5.3 beta)
kafka-manager
- kafka-managerをインストールする – CLOVER
- GitHub – yahoo/kafka-manager: A tool for managing Apache Kafka.
- GitHub – amaverick/kafka-manager-el7-spec-rpm: Spec file to package Kafka-manager into an rpm (CentOS/RHEL 7.x)
Connect
KSQL
- Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで － Publickey
- Introducing KSQL: Open Source Streaming SQL for Apache Kafka
- GitHub – confluentinc/ksql: KSQL – a Streaming SQL Engine for Apache Kafka
- [DEPCRECATED] Installation · confluentinc/ksql Wiki · GitHub
MQTT
- Apache Kafka Connect MQTT Source Tutorial | HowToProgram
- Landoop | From MQTT to Kafka with Connect and Stream Reactor
- GitHub – jacklund/mqttKafkaBridge: Bridge which consumes MQTT messages and republishes them on Kafka on the same topic
- Scaling MQTT with Apache Kafka – Tim Kellogg – YouTube
BenchMark
- Kafka benchmark commands · GitHub
- Kafka Benchmark Commands · GitHub
- Producer Performance Tuning for Apache Kafka
- Performance testing – Apache Kafka – Apache Software Foundation
- Kafka Benchmarking
Monitoring
- HDInsightのKafkaをJolokia（REST API）でモニタリングしてみる。 | 技術的な何か。
- Monitoring Kafka — Confluent Platform 3.3.0 documentation
- Monitoring Kafka performance metrics
- GitHub – Appdynamics/kafka-monitoring-extension: AppDynamics Monitoring Extension for use with Kafka
- How to Monitor Kafka – Server Density Blog
- kafka monitorを動かしてみた | エンジニアっぽいことを書くブログ
- Monitoring Kafka over simple HTTP | Tech and stuff
- GitHub – martonw/kafka-http-metrics-reporter: This is a http metrics reporter for kafka using Jetty with the Codahale metrics servlets
MirrorMaker
- Kafka mirroring (MirrorMaker) – Apache Kafka – Apache Software Foundation
- Kafka Mirror Maker Best Practices – Hortonworks
- Mirror Apache Kafka のトピック – Azure HDInsight | Microsoft Docs
おそらく大抵のやりたいことにたいして必要な情報量が多めなのでアレな印象かもですが、ミドルウェアとしてはそう悪くありません。現在、進化の真っ只中って感じのようですし、用途によってはジャストフィットしそうであり、エンジニアの玩具としても、そっち方面の欲求をそれなりに満たしてくれるポテンシャルがあります。
まぁせっかく検証から実装まで色々済ませたので、息子が起床から登校の準備までスパッと気持ちよくやってくれた日とかに、ちょいちょい続編できたらいいかなって感じでFINISHです:-)
