Descubrimiento de aplicaciones y mapeo de dependencias (ADDM)

Monitoreo de Apache Spark​

Apache Spark es un framework open source para el procesamiento de big data desarrollado para la velocidad, con módulos incorporados para streaming, SQL, aprendizaje automático y procesamiento de gráficos. Apache Spark cuenta con un motor de ejecución DAG avanzado que soporta flujos de datos acíclicos y computación en memoria. Spark funciona sobre Hadoop, Mesos, standalone, o en la nube. Puede acceder a diversos recursos de datos incluyendo HDFS, Cassandra, HBase y S3.

Existen muchos componentes que se unen para hacer que una aplicación spark funcione. Si planea implementar Spark en su entorno de producción, Applications Manager puede garantizarle que puede monitorear diferentes componentes, comprender los parámetros de rendimiento, ser alertado cuando las cosas no funcionen y saber cómo detectar y resolver problemas.

Datos en tiempo real​

Descubra automáticamente la topología completa del servicio de su pipeline de datos y aplicaciones. Lleve a cabo, en tiempo real, una administración completa de clusters y nodos, y monitoree la ejecución de la aplicación Spark gracias a la visualización de workflow. Visualice, en modo standalone, el master y los workers que se ejecutan en nodos individuales y el ejecutor de procesos, por cada aplicación creada en el cluster. Obtenga información actualizada sobre las métricas de tiempo de ejecución del clúster, los nodos individuales y las configuraciones.

Apache Spark real-time data

Seguimiento de la utilización de recursos

Administre recursos para que sus aplicaciones Spark se ejecuten de manera óptima. Al agregar jobs nuevos, los equipos de operaciones deben equilibrar los recursos disponibles con las prioridades del negocio. Esté al corriente del estado de su cluster con estadísticas detalladas del rendimiento tales como disco, E/S, métricas de utilización de memoria y el estado de los nodos (en tiempo real) con la utilización de CPU de todos los nodos, seguido por la ocupación del heap de la JVM.

Apache Spark Memory Utilization

Información de core y aplicación

Obtenga información sobre las métricas de aplicación de producción Spark; organice y segmente sus aplicaciones Spark según los datos definidos por el usuario; y escoja entre las aplicación según el estado (activo, en espera, completado) y la duración de la ejecución. Cuando un job falla, la causa normalmente es la falta de cores. El monitoreo de nodos / worker de Spark brinda métricas tales como la cantidad de cores libres y utilizados para que los usuarios puedan realizar la asignación de recursos basada en los cores.

Apache Spark Application Details

Detalles de RDD y contadores

Obtenga métricas del rendimiento incluyendo RDDs (Resilient Distributed Datasets) almacenados para la aplicación dada, estado del almacenamiento y utilización de memoria de un RDD dado, y todos los contadores Spark de cada una de sus ejecuciones Spark. Obtenga información detallada de los hits de cache a nivel de archivo y lista paralela de jobs para optimizaciones de rendimiento potenciales.

Apache Spark RDD Details

 

Resuelva problemas de rendimiento más rápido

Obtenga notificaciones instantáneas cuando existan problemas de rendimiento en los componentes de Apache Spark. Esté informado ante los cuellos de botella en el rendimiento y descubra cual aplicación está causando el exceso de carga. Tome acciones rápidas para remediarlo antes que los usuarios se vean afectados por los problemas.