Monitoreo de Kafka

Apache Kafka es una plataforma de streaming de eventos distribuidos de código abierto y tolerante a fallos desarrollada por LinkedIn. Kafka, un servicio de log distribuido, a menudo se utiliza en lugar de los brokers de mensajería tradicionales debido a su mayor rendimiento, escalabilidad, fiabilidad y replicación. Dado que Kafka es un sistema distribuido, los temas se dividen y replican en varios nodos.

A lo largo de los años, Kafka ha crecido considerablemente tanto en volumen como en complejidad, y al ser un componente crucial en la infraestructura de TI, es necesario implementar un monitor de Kafka dedicado para supervisar sus operaciones y rendimiento. Las herramientas de monitoreo de Kafka, como el monitor de rendimiento de Kafka de Applications Manager, recopilan todas las métricas de rendimiento que pueden ayudar a solucionar los problemas de Kafka, y le muestran cuáles requieren una acción correctiva.

Supervisar las métricas de rendimiento de Kafka con las funciones de monitoreo de Kafka de Applications Manager.

Las métricas de rendimiento de Kafka más importantes que se deben tener en cuenta al realizar el monitoreo de Kafka incluyen lo siguiente:

  • Métricas de utilización de recursos
  • Métricas del broker de Kafka
  • Métricas del productor de Kafka
  • Métricas del consumidor de Kafka

Asegúrese de que sus recursos no están sobrecargados

Con la función de monitoreo de Kafka de Applications Manager, puede descubrir y monitorear automáticamente los servidores de Kafka y supervisar los detalles de utilización de recursos, como el crecimiento de la memoria, la CPU y el disco, a lo largo del tiempo; esto le asegurará que no se quede sin recursos. El software de monitoreo de Kafka de Applications Manager le ayudará a asegurarse de que su servidor Kafka funciona continuamente como se espera, gracias a las alertas que se envían cada vez que hay aumentos repentinos en el consumo de recursos o patrones inusuales.

Kafka Monitoring - ManageEngine Applications Manager

Controlar los hilos y el uso de JVM

Dado que se ejecuta en Java Virtual Machine (JVM), Kafka depende de los procesos de recolección de basura de Java para liberar memoria. Cuanta más actividad haya en su clúster de Kafka, más a menudo se ejecutará la recolección de basura. Con la herramienta de monitoreo de Kafka de Applications Manager, es fácil controlar el tamaño de la pila de JVM y asegurarse de que los hilos iniciados no sobrecargan la memoria del servidor. El monitor de rendimiento de Kafka de Applications Manager también le permite controlar el uso de hilos con métricas como el recuento de hilos daemon, pico y activos para evitar cuellos de botella en el rendimiento de su sistema.

Apache Kafka Monitoring - ManageEngine Applications Manager

Comprender las estadísticas del broker, el controlador y la replicación

En un clúster de Kafka, el broker que sirve de controlador gestiona los estados de las particiones y las réplicas, además de realizar tareas administrativas como la reasignación de particiones. Con el software de monitoreo de Kafka de Applications Manager, puede monitorear los controladores activos para ver qué broker era el controlador cuando se produjo un problema, así como cuál era el recuento de particiones desconectadas en ese momento. También puede monitorear la latencia de vaciado de logs del broker; cuanto más tiempo se tarde en vaciar los logs en un disco, más tiempo abarcará la copia de seguridad de la canalización. El monitor de Kafka de Applications Manager ayudará a supervisar las particiones infra-replicadas para ver si la replicación va tan rápido como se configuró.

Kafka Monitoring Tool - ManageEngine Applications Manager

Monitorear los detalles de la red y los temas

Con la herramienta de gestión Applications Manager, es más fácil monitorear las redes de Kafka. Obtenga una imagen completa del uso de la red en su host y supervise el rendimiento de la red o agregue la tasa de bytes entrantes y salientes en los temas de su broker para comprender dónde se encuentran los posibles cuellos de botella. Tome decisiones informadas, como por ejemplo si debe activar la compresión de extremo a extremo de sus mensajes.

Kafka Performance Monitoring - ManageEngine Applications Manager
Vea cómo Applications Manager puede cumplir con sus requisitos de monitoreo del rendimiento de Kafka. Programe una demostración personalizada.
Solicitar demostración

Gestionar los fallos y solucionar los problemas más rápidamente

Con su potente sistema de gestión de fallos, la herramienta de gestión de Kafka de Applications Manager obtiene datos sobre los fallos que se producen en el sistema, así como datos desglosados sobre los orígenes de dichos fallos. Esto acelera considerablemente el proceso de análisis y resolución de fallos. Es fácil configurar umbrales para varios atributos de rendimiento y emitir alarmas cada vez que se superan esos umbrales.

En los umbrales también se pueden asociar acciones como el escalamiento de correo electrónico/SMS, la acción del servicio de Windows y la operación de MBean. Estas acciones se pueden realizar automáticamente cuando se violan los umbrales. Muy pocas herramientas de monitoreo de Kafka, como Applications Manager, permiten configurar perfiles de anomalías con líneas de base dinámicas para investigar la degradación gradual del rendimiento que, de otro modo, podría pasar desapercibida.

Kafka Monitor - ManageEngine Applications Manager

Obtener informes ricos en datos sobre todas las métricas de rendimiento

La herramienta de monitoreo de Apache Kafka de Applications Manager proporciona informes exhaustivos sobre todos los atributos de rendimiento importantes. Con estos informes, puede analizar las tendencias históricas de varias métricas para tomar decisiones informadas. Junto con el monitoreo de Apache Kafka, Applications Manager también le permite predecir las tendencias de crecimiento y utilización usando técnicas de machine learning, lo que le ayuda durante la planificación de la capacidad.

Kafka Monitoring Software - ManageEngine Applications Manager

Además del monitoreo de Apache Kafka, Applications Manager también ofrece monitoreo para los siguientes servidores de middleware :

 

 

Preguntas frecuentes sobre el monitoreo de Kafka:

¿Qué es el monitoreo de Kafka y cómo monitorear Kafka?

+
section2

Usted está en una compañía confiable.

>> <<