Monitoreo de Apache Kafka​

Apache Kafka es un sistema de mensajería de código abierto, tolerante a fallas, basado en suscripción, desarrollado por LinkedIn. Un servicio de logs distribuido, Kafka a menudo es utilizado en lugar de los bróker de mensajería tradicionales debido a su mayor rendimiento, escalabilidad, confiabilidad y replicación.

El diseño centrado en clusters de Kafka ofrece una fuerte durabilidad y tolerancia a fallos. Como Kafka es un sistema distribuido, los temas son divididos y replicados entre los múltiples nodos; y ofrece un increíble detalle técnico a medida que se profundiza en los temas. Gracias a un profundo monitoreo de rendimiento y una alerta temprana ante problemas, Kafka puede ser una opción sumamente atractiva para la integración de información. Applications Manager recolecta todas las métricas de rendimiento que pueden ayudar en la detección y resolución de problemas de Kafka y alertarle sobre aquellos que requieren acciones correctivas.

 

Conozca la utilización de los recursos del sistema

Descubra automáticamente los servidores Kafka, y realice el seguimiento de los detalles de utilización de recursos tales como memoria, CPU y disco para asegurar que no se quedará sin estos recursos. Asegúrese que su servidor Apache Kafka está funcionando continuamente y funcionando como espera. Sea notificado rápidamente cada vez que haya aumentos inesperados en el consumo de los recursos o patrones inusuales.

Kafka Memory Utilization

Vigile la utilización de threads y JVM

Como Kafka se ejecuta en la Java Virtual Machine (JVM), depende de los procesos de recolección de basura de Java para liberar memoria. Cuanto mayor es la actividad en su cluster Kafka, mayor será la frecuencia de ejecución de la recolección de basura. Vigile los tamaños de heap de la JVM y asegure que los threads iniciados no sobrecarguen la memoria del servidor. Vigile la utilización de los threads con métricas tales como Daemon, Peak and Live Thread Count para prevenir cuellos de botella de rendimiento en su sistema.

Kafka Thread Usage

Comprenda las estadísticas de bróker, controlador y replicación

En un cluster Kafka, uno de los brókers se desempeña como el controlador, el cual es responsable de gestionar los estados de las particiones y réplicas y de llevar a cabo tareas administrativas tales como la reasignación de particiones. Monitoree los controladores activos para ver que bróker fue el controlador cuando ocurrió cierto problema y la cantidad de particiones offline para prevenir interrupciones del servicio. Vigile las particiones replicadas para saber si la replicación va tan rápido como se ha configurado.

Kafka Replication Statistics

 

Monitoree detalles de la red y temas

Obtenga un panorama general de la utilización de la red en su host, vigile el rendimiento de la red o agregue una mayor tasa de bytes entrantes y salientes en sus temas de bróker para más información en cuanto a dónde se encuentran los cuellos de botella potenciales. Tome decisiones informadas tales como si debería o no habilitar la compresión de extremo a extremo de sus mensajes.

Kafka Network Usage

Solucione problemas de rendimiento más rápido

Obtenga notificaciones instantáneas cuando existan problemas de rendimiento con los componentes de Apache Kafka. Esté informado acerca de los cuellos de botella en el rendimiento y sepa cuál aplicación está causando la carga excesiva. Tome acciones correctivas rápidamente antes que sus usuarios finales experimenten problemas.