confluentinc\/cp-zookeeper<\/strong> bietet den ZooKeeper-Dienst.<\/p>Diese Docker-Images erleichtern die Bereitstellung, indem sie für konsistente Umgebungen sorgen, die Konfiguration vereinfachen und eine einfache Skalierung ermöglichen.<\/p>
Für den Einstieg müssen wir zunächst die erforderlichen Verzeichnisse für die Datenspeicherung erstellen und die richtigen Berechtigungen setzen:<\/p>
mkdir -p .\/kafka\/data .\/zookeeper\/data .\/zookeeper\/log\n\nchmod -R 777 .\/kafka .\/zookeeper<\/pre>Um Kafka mit Docker einzurichten, müssen Sie eine Datei namens docker-compose.yml<\/strong> erstellen. Diese Datei sollte sich im Stammverzeichnis Ihres Projekts innerhalb des Ubuntu‑VPS befinden (Beispiel: \/kafka). Mehr dazu im nächsten Schritt.<\/p>\n
\n\t\t\t\n\t\t\t\t<\/path>\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n<\/div>3. Erstellen Sie eine Docker-Compose-Datei<\/h3> Die Docker-Compose-Datei dient als Blaupause für Ihre Kafka-Bereitstellung und legt alle erforderlichen Dienste und deren Konfigurationen fest. Erstellen Sie in Ihrem Projektverzeichnis eine neue Datei mit dem Namen `docker-compose.yml`<\/strong> und konfigurieren Sie sie mit den folgenden grundlegenden Komponenten:<\/p>version: '3.8'\n\nnetworks:\n\n kafka-net:\n\n driver: bridge\n\nservices:\n\n zookeeper:\n\n image: confluentinc\/cp-zookeeper:7.8\n\n container_name: zookeeper\n\n ports:\n\n - \"2181:2181\"\n\n environment:\n\n ZOOKEEPER_CLIENT_PORT: 2181\n\n ZOOKEEPER_TICK_TIME: 2000\n\n ZOOKEEPER_INIT_LIMIT: 5\n\n ZOOKEEPER_SYNC_LIMIT: 2\n\n volumes:\n\n - zookeeper_data:\/var\/lib\/zookeeper\/data\n\n - zookeeper_log:\/var\/lib\/zookeeper\/log\n\n networks:\n\n - kafka-net\n\n healthcheck:\n\n test: [\"CMD\", \"nc\", \"-z\", \"localhost\", \"2181\"]\n\n interval: 30s\n\n timeout: 10s\n\n retries: 3\n\n kafka:\n\n image: confluentinc\/cp-kafka:7.8\n\n container_name: kafka\n\n depends_on:\n\n - zookeeper\n\n ports:\n\n - \"9092:9092\"\n\n - \"29092:29092\"\n\n environment:\n\n KAFKA_BROKER_ID: 1\n\n KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181\n\n KAFKA_ADVERTISED_LISTENERS: PLAINTEXT:\/\/kafka:29092,PLAINTEXT_HOST:\/\/your-vps-ip:9092\n\n KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT\n\n KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT\n\n KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1\n\n KAFKA_LOG_DIRS: \"\/var\/lib\/kafka\/data\"\n\n KAFKA_LOG_RETENTION_HOURS: 168\n\n KAFKA_MESSAGE_MAX_BYTES: 1000000\n\n KAFKA_AUTO_CREATE_TOPICS_ENABLE: \"true\"\n\n KAFKA_DELETE_TOPIC_ENABLE: \"true\"\n\n KAFKA_NUM_PARTITIONS: 3\n\n KAFKA_DEFAULT_REPLICATION_FACTOR: 1\n\n volumes:\n\n - kafka_data:\/var\/lib\/kafka\/data\n\n - kafka_logs:\/var\/log\/kafka\n\n networks:\n\n - kafka-net\n\n healthcheck:\n\n test: [\"CMD\", \"nc\", \"-z\", \"localhost\", \"9092\"]\n\n interval: 30s\n\n timeout: 10s\n\n retries: 3\n\nvolumes:\n\n kafka_data:\n\n driver: local\n\n kafka_logs:\n\n driver: local\n\n zookeeper_data:\n\n driver: local\n\n zookeeper_log:\n\n driver: local<\/pre>Diese Einrichtung umfasst die folgenden Hauptkomponenten:<\/p>
\nKafka-Container-Einstellungen wie Broker-ID, Listener-Konfigurationen und die Verbindung zu ZooKeeper. <\/li>\n\n\n\n ZooKeeper-Diensteinstellungen, einschließlich Client-Port und Tick-Time, für die Verwaltung der Cluster-Koordination. <\/li>\n\n\n\n Netzwerkkonfigurationen, die es Kafka- und ZooKeeper-Containern ermöglichen, über das interne Docker-Netzwerk zu kommunizieren. <\/li>\n\n\n\n Volume-Zuordnungen für Kafka und ZooKeeper, um sicherzustellen, dass Daten erhalten bleiben, selbst wenn Container neu gestartet werden. <\/li>\n<\/ul>Das Ergebnis ist ein Kafka-Cluster mit einem einzelnen Broker und einer einzelnen ZooKeeper-Instanz, das sich ideal für Entwicklung und Tests eignet. Es verwendet die neuesten Images der Confluent Community Platform, eine zuverlässige und gut gepflegte Distribution von Apache Kafka.<\/p>
\n
\n\t\t\t\n\t\t\t\t<\/path>\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n<\/div>4. Kafka starten<\/h3> Starten Sie Ihren Kafka-Cluster mit dem Docker-Compose-Befehl:<\/p>
docker compose up -d<\/pre>Stellen Sie sicher, dass beide Dienste ordnungsgemäß laufen, indem Sie den Containerstatus und die Protokolle überprüfen:<\/p>
docker compose ps\n\ndocker compose logs kafka\n\ndocker compose logs zookeeper<\/pre>Sie sollten beide Container im Status Up<\/strong> sehen, ohne Fehlermeldungen in den Protokollen. Der Kafka-Broker benötigt in der Regel einige Sekunden, um vollständig zu starten, nachdem ZooKeeper bereit ist.<\/p>\n
\n\t\t\t\n\t\t\t\t<\/path>\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n<\/div>5. Die Bereitstellung testen<\/h3> Überprüfen wir die Bereitstellung, indem wir ein Test-Thema erstellen und Nachrichten austauschen. Erstellen Sie zunächst ein neues Topic mit dem Namen test-topic<\/strong>:<\/p>docker compose exec kafka kafka-topics --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1<\/pre>Öffnen Sie jetzt zwei Terminalfenster, um das Erzeugen und Empfangen von Nachrichten zu testen. Starten Sie im ersten Terminal den Konsolen-Producer:<\/p>
docker compose exec kafka kafka-console-producer --topic test-topic --bootstrap-server localhost:9092<\/pre>Starten Sie im zweiten Terminal den Konsolen-Consumer:<\/p>
docker compose exec kafka kafka-console-consumer --topic test-topic --bootstrap-server localhost:9092 --from-beginning<\/pre>Geben Sie im Producer-Terminal einige Nachrichten ein und drücken Sie nach jeder Nachricht die Eingabetaste. Diese Nachrichten sollten in Echtzeit im Consumer-Terminal erscheinen und bestätigen, dass Ihre Kafka-Bereitstellung korrekt funktioniert. Um den Producer oder den Consumer zu beenden, drücken Sie Strg+C.<\/p>
\n
\n\t\t\t\n\t\t\t\t<\/path>\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n<\/div>6. Optimieren Sie Ihre Apache-Kafka-Bereitstellung<\/h3> Die Optimierung Ihrer Kafka-Bereitstellung ist entscheidend, um eine hohe Leistung und Zuverlässigkeit sicherzustellen. Hier sind einige Ansätze, die Sie verwenden können:<\/p>
Konfiguration von Umgebungsvariablen<\/strong> <\/p>Passen Sie Ihre Kafka-Konfiguration mithilfe von Umgebungsvariablen an. Stellen Sie Kafka-Properties ein, indem Sie KAFKA_<\/strong> voranstellen, sie in Großbuchstaben umwandeln und Punkte durch Unterstriche ersetzen.<\/p>Verwenden Sie zum Beispiel KAFKA_BROKER_ID<\/strong> und KAFKA_ZOOKEEPER_CONNECT<\/strong>, um grundlegende Broker-Einstellungen festzulegen. Mit dieser Methode verwalten Sie verschiedene Konfigurationen einfacher, ohne Core-Dateien bearbeiten zu müssen.<\/p>Kafka-Broker skalieren<\/strong> <\/p>Um Ihr Kafka-Cluster mit Docker Compose zu skalieren, können Sie die Anzahl der Broker-Instanzen anpassen. Der Befehl docker compose up –scale kafka=n<\/strong> funktioniert, aber es ist besser, in Ihrer Datei docker-compose.yml<\/strong> separate Broker-Services zu definieren. Dadurch werden Broker-ID-Konflikte vermieden und eine reibungslose Cluster-Koordination sichergestellt, während Sie zugleich mehr Kontrolle über Konfigurationen und Ressourcenzuweisung erhalten.<\/p>Konfiguration des externen Zugriffs<\/strong> <\/p>Wenn Sie Kafka für externe Anwendungen verfügbar machen müssen, setzen Sie die Eigenschaft KAFKA_ADVERTISED_LISTENERS<\/strong> korrekt, um die Konnektivität sicherzustellen. Für Produktionsumgebungen sollten Sie Node-Ports oder Load-Balancer verwenden, um einen sicheren und zuverlässigen externen Zugriff zu gewährleisten.<\/p>Um eine optimale Leistung aufrechtzuerhalten, achten Sie auf die Hardware und die Konfigurationen. Verwenden Sie schnelle SSDs für die Speicherung, verwalten Sie Partitionen effizient und legen Sie geeignete Replikationsfaktoren fest. Überwachen Sie regelmäßig die Systemmetriken und passen Sie die Konfigurationen entsprechend Ihrer Arbeitslast und Ihrem Anwendungsfall an.<\/p>
Für Produktionsumgebungen sollte Sicherheit mit TLS-Verschlüsselung und MFA oberste Priorität haben. Tools wie Prometheus<\/strong> und Grafana<\/strong> helfen dabei, die Cluster-Gesundheit und -Performance zu überwachen, sodass Sie Engpässe erkennen und beheben können, bevor sie zu Problemen werden.<\/p>Fazit<\/h2> Die Bereitstellung von Apache Kafka mit Docker bietet eine einfache und effiziente Möglichkeit, eine leistungsstarke Event-Streaming-Plattform aufzusetzen. In dieser Anleitung werden die wichtigsten Schritte erläutert – von der Vorbereitung Ihres Hostinger-VPS bis zur Einrichtung einer Docker-Compose-Datei, die sowohl Kafka als auch ZooKeeper verwaltet.<\/p>
Aber Kafka einzurichten ist erst der Anfang. Sein tatsächliches Potenzial zeigt sich erst, wenn es Teil eines größeren Datenökosystems ist.<\/p>
Beachten Sie, dass dieses Handbuch zwar ideal für Entwicklung und Tests ist, produktive Umgebungen jedoch zusätzliche Schritte für Sicherheit, Monitoring und Hochverfügbarkeit erfordern. Wenn Ihr Bedarf steigt, können Sie Ihren Kafka-Cluster skalieren, indem Sie Broker hinzufügen, Partitionen effizient verwalten und ihn für bestimmte Workloads optimieren.<\/p>
![\"\"](\"https:\/\/imagedelivery.net\/LqiWLm-3MGbYHtFuUbcBtA\/wp-content\/uploads\/sites\/29\/2024\/02\/DE-VPS-hosting_in-text-banner.png\/public\")
<\/a><\/figure>![\"Hostinger](\"https:\/\/imagedelivery.net\/LqiWLm-3MGbYHtFuUbcBtA\/wp-content\/uploads\/sites\/29\/2026\/06\/vps-app-hpanel.png\/public\")