# Kafka monitoring Behalten Sie den Zustand und die Leistung Ihrer Apache Kafka-Cluster genau im Auge, insbesondere in Produktionsumgebungen. Erkennen Sie Probleme, bevor sie sich zu Ausfällen auswachsen. Die Überwachung der Kafka-Leistung ist angesichts des exponentiellen Wachstums und der zunehmenden Komplexität von Implementierungen von entscheidender Bedeutung für die Gewährleistung einer optimalen Leistung und Verfügbarkeit Ihrer Kafka-Cluster. Da Kafka auf mehreren Partitionen auf verschiedenen Knoten läuft, dynamisch skaliert wird und große Datenmengen verarbeitet, kann die Verwaltung und Überwachung dieser Cluster eine Herausforderung darstellen. Das **Kafka-Monitoring** trägt zu einer besseren Verfügbarkeit und Cluster-Leistung bei, indem wichtige Metriken verfolgt, Probleme in Echtzeit identifiziert und eine schnelle Behebung gewährleistet wird. Applications Manager bietet eine produktionsreife Kafka-Monitoring-Suite, die das Kafka-Messaging-Ökosystem effektiv überwacht und Unternehmen dabei hilft, eine hohe Verfügbarkeit und Effizienz bei Messaging und Datenübertragung für einen reibungslosen Geschäftsbetrieb sicherzustellen. Unser Kafka-Monitoring-Tool wurde für die Anforderungen von Unternehmen entwickelt und hilft Ihnen, Produktionsprobleme schneller zu beheben, sodass die technischen Teams bei der Systembereitstellung effektiver arbeiten können. ## Applications Manager: das einzige Kafka-Monitoring-Tool, das Sie brauchen Unabhängig davon, ob Sie ein erfahrener Kafka-Administrator oder ein Neuling in diesem Ökosystem sind, kann eine Kafka-Monitoring-Software wie Applications Manager die Transparenz und Kontrolle bieten, die Sie benötigen, um Ihre Kafka-Cluster reibungslos zu betreiben. Mit dem **Kafka monitor** von Applications Manager können Sie die folgenden Metriken in unserem **Kafka monitoring dashboard** im Blick behalten: ## Ressourcennutzung der Kafka-Server verfolgen Sie benötigen detaillierte Einblicke in die Ressourcennutzung Ihrer Kafka-Server, um eine klare Vorstellung von der Auslastung zu bekommen. Mit dem Kafka-Monitoring von Applications Manager können Sie die wichtigsten Metriken zur Ressourcennutzung überwachen, z. B. den physischen Speicher, den virtuellen Speicher und den Swap-Speicher, um herauszufinden, wie viel RAM der Kafka-Server verbraucht, und um im Falle eines plötzlichen Anstiegs des Ressourcenverbrauchs benachrichtigt zu werden. Außerdem erhalten Sie detaillierte Statistiken über den JVM-Heap- und Nicht-Heap-Speicher des Kafka-Servers. So können Sie feststellen, wie viele Daten gespeichert werden, und etwaige Speicherlecks erkennen. ![Kafka Monitoring - ManageEngine Applications Manager](https://www.manageengine.com/de/applications_manager/images/resource-utilization.webp) ## Details zur Thread-Nutzung analysieren Behalten Sie die Threads genau im Auge, die in Ihren Kafka-Servern verwendet werden, um mehrere Messaging-Anfragen gleichzeitig zu verarbeiten und Engpässe wie Speicherüberlastung, Thread Deadlocks und Thread Starvation zu vermeiden. Das Kafka-Monitoring von Applications Manager hilft Ihnen bei der Analyse von Thread-Details, indem Metriken wie Daemon-, Peak- und Live-Thread-Anzahl verfolgt werden, um im Falle von Leistungsanomalien festzustellen, welcher Thread die Probleme verursacht. ![Kafka Monitoring Tool - ManageEngine Applications Manager](https://www.manageengine.com/de/applications_manager/images/thread-usage.webp) ## Umfassende Einblicke in die Leistung der Kafka-Cluster gewinnen Überwachen Sie die wichtigsten Metriken Ihrer Kafka-Cluster über das Kafka-Dashboard und verschaffen Sie sich durch das Monitoring der Kafka-Cluster einen detaillierten Einblick in die Leistung der unten aufgeführten Komponenten: ### Broker-Statistiken Sie erhalten umfassende Informationen über die Topics, die innerhalb des Brokers eines Kafka-Clusters ausgeführt werden, und können Warnungen konfigurieren, falls ein Topic abnormal arbeitet. Behalten Sie die wichtigsten Metriken Ihrer Topics genau im Auge, z. B. eingehende oder ausgehende Bytes, eingehende Nachrichten und fehlgeschlagene Fetch- oder Produce-Anfragen, und vergleichen Sie die Leistung der einzelnen Topics, um fundierte Entscheidungen über die Zuweisung von Ressourcen oder den Lastausgleich zwischen den Topics zu treffen. Applications Manager verfolgt durch das Monitoring der Kafka-Topics die folgenden Schlüsselmetriken: | Parameter | Beschreibung | |---|---| | **Log Details** | | | Log Flush Rate | Log Flush Rate Die asynchrone Leerungsrate des Festplattenprotokolls. | | **Metriken zu Broker-Topics** | | | Bytes In / Min | Die aggregierte Rate eingehender Bytes (in das Topic dieses Brokers geschriebene Datenmenge) pro Minute. | | Bytes Out / Min | Die aggregierte Rate ausgehender Bytes pro Minute. | | Bytes Rejected / Min | Bytes Rejected/Min Die Datenmenge der vom Broker abgelehnten Nachrichten pro Minute. | | Failed Fetch Requests / Min | Die Anzahl der Datenleseanfragen von Consumern, die von Brokern für dieses Topic pro Minute nicht verarbeitet werden konnten. | | Failed Produce Requests / Min | Die Anzahl der fehlgeschlagenen Anfragen von Producern. | | Messages In / Min | Messages In/Min Die Anzahl der Nachrichten, die beim Kafka-Broker eingehen. | | **Replikationsmanager** | | | IsrExpands / Min | Die Anzahl der „In-Sync-Replica“-Erweiterungen. | | IsrShrinks / Min | IsrShrinks/Min Die Anzahl der entfernten „In-Sync-Replicas“. | | Leader Count | Leader Count Die Anzahl der Partitionen, für die ein bestimmter Host der Leader ist. | | Partition Count | Die Anzahl der Partitionen im Cluster. | | Under Replicated Partitions | Die Anzahl der Partitionen im Cluster, die nicht ausreichend repliziert sind. | | RequestHandlerAvgIdlePercent | Der durchschnittliche Anteil der Zeit, in der die Request-Handler-Threads im Leerlauf sind. | ### Controller-Statistiken Sie erhalten detaillierte Informationen zu den Kafka-Brokern, die als Controller für die Verwaltung der Partitionen, Leader und Replikate in einem Kafka-Cluster dienen. Verschaffen Sie sich einen Überblick über die aktiven Controller, um den Broker zu identifizieren, der zum Zeitpunkt des Problems im Cluster Leader war, sowie die genaue Anzahl der Offline-Partitionen, damit Sie Fehler schnell beheben und Probleme lösen können. Dies sind die wichtigsten Metriken eines Kafka-Controllers, die Sie im Auge behalten sollten: | Parameter | Beschreibung | |---|---| | **Details zum Kafka-Controller** | | | Active Controller Count | Die Anzahl der aktiven Controller im Cluster. | | Offline Partitions Count | Die Anzahl der nicht verfügbaren Partitionen. | | Leader Election Rate | Die Rate der Leader-Wahlen. | | Unclean Leader Election Rate | Unclean Leader Election Rate Die Rate der nicht bereinigten Leader-Wahlen. | ### Netzwerkdetails Sie können sich einen umfassenden Überblick über die Messaging-Details Ihres Kafka-Servers verschaffen und den Anfragedurchsatz oder die Gesamtrate der ein- und ausgehenden Bytes zu Ihren Broker-Topics überwachen, um mögliche Engpässe zu erkennen und geeignete Maßnahmen zu ergreifen, z. B. die Implementierung einer End-to-End-Komprimierung von Nachrichten. Im Folgenden finden Sie eine Liste der wichtigsten Metriken, die in Ihrem Kafka-Netzwerk überwacht werden müssen: | Parameter | Beschreibung | |---|---| | **Anfragebearbeitungsrate** | | | Request Produce / Min | Die Anzahl der Nachrichten, die an das Topic auf diesem Broker geschrieben wurden. | | Request Fetch Consumer / Min | Die Menge der Daten, die die Consumer aus dem Topic auf diesem Broker abgerufen haben. | | Request Fetch Follower / Min | Die Anfragen von Brokern, die Follower einer Partition sind, um neue Daten abzurufen. | | **Für Anfragen benötigte Zeit** | | | Total Time Produce / Min | Die Gesamtzeit für die Zustellung der Anfrage. | | Total Time Fetch Consumer / Min | Die Gesamtzeit, in der die Consumer Daten aus dem Topic auf diesem Broker abgerufen haben. | | Total Time Fetch Follower / Min | Die Gesamtzeit, die von den Followern einer Partition benötigt wird, um neue Daten abzurufen. | | **Netzwerkprozessorrate** | | | Network Processor Avg Idle Percent/Min | Die durchschnittliche freie Kapazität der Netzwerkprozessoren pro Minute. | ### Topic details Sie erhalten umfassende Informationen über die Topics, die innerhalb des Brokers eines Kafka-Clusters ausgeführt werden, und können Warnungen konfigurieren, falls ein Topic abnormal arbeitet. Behalten Sie die wichtigsten Metriken Ihrer Topics genau im Auge, z. B. eingehende oder ausgehende Bytes, eingehende Nachrichten und fehlgeschlagene Fetch- oder Produce-Anfragen, und vergleichen Sie die Leistung der einzelnen Topics, um fundierte Entscheidungen über die Zuweisung von Ressourcen oder den Lastausgleich zwischen den Topics zu treffen. Applications Manager überwacht die folgenden wichtigen Metriken zu Kafka-Topics: | Parameter | Beschreibung | |---|---| | **Topic Details** | | | Topic Name | Gibt den Namen des Topics an. | | Bytes in / Min | Die aggregierte Rate eingehender Bytes (in das Topic dieses Brokers geschriebene Datenmenge) pro Minute. | | Bytes Out / Min | Die aggregierte Rate ausgehender Bytes pro Minute. | | Failed Fetch Requests / Min | Failed Fetch Requests/Min Die Gesamtzahl der fehlgeschlagenen Fetch-Anfragen pro Minute. | | Failed Produce Requests / Min | Die Gesamtzahl der fehlgeschlagenen Produce-Anfragen. | | Messages In / Min | Die Anzahl der Nachrichten, die beim Kafka-Broker eingehen. | ## ZooKeeper-Leistungsmetriken verfolgen Sie können Kafka-Cluster mit Apache ZooKeeper verwalten, indem Sie Cluster, Broker und Topic-Konfigurationen beobachten und sich auch um die Wahl von Partitions-Leadern kümmern. Da ZooKeeper Metadaten über die Kafka-Broker, -Topics und -Partitionen speichert und sich mit administrativen Aufgaben wie der Wahl von Partitions-Leadern befasst, sollten Sie die ZooKeeper-Metriken genau im Auge behalten, um Ausfälle oder Verlangsamungen zu vermeiden und dafür zu sorgen, dass der Kafka-Cluster fehlerfrei arbeitet. ![Kafka Monitoring Dashboard - ManageEngine Applications Manager](https://www.manageengine.com/de/applications_manager/images/zookeeper-performance-monitoring.webp) ## Intelligente Warnmeldungen und Berichte für eine schnellere Problemlösung Rationalisieren Sie die Erkennung und Behebung von Vorfällen, indem Sie Leistungsprobleme in Kafka-Clustern, z. B. Consumer-Verzögerungen oder Offline-Partitionen, erkennen und sofortige Benachrichtigungen per E-Mail, SMS oder Slack erhalten. Sie können diese Warnungen an externe Tools für das Vorfallmanagement wie ServiceNow oder ManageEngine ServiceDesk Plus senden. Durch das Automatisieren von Korrekturmaßnahmen, z. B. mithilfe von Webhooks zum Starten externer Aktionen, können Sie außerdem schnell auf Vorfälle reagieren. Nutzen Sie die Möglichkeiten des maschinellen Lernens für prädiktive Berichte über die Leistung von Kafka-Clustern sowie KI-gesteuerte Warn- und Berichtsfunktionen, um die Überwachung der Kafka-Leistung und die Fehlerbehebung zu vereinfachen und so einen unterbrechungsfreien Geschäftsbetrieb zu gewährleisten. ![Kafka Performance Monitoring - ManageEngine Applications Manager](https://www.manageengine.com/de/applications_manager/images/alerting-reporting.webp)