Monitoramento Apache Spark

O Apache Spark é uma estrutura de processamento de big data de código aberto desenvolvida para obter velocidade, com módulos integrados para streaming, SQL, machine learning e processamento de gráficos. O Apache Spark oferece um mecanismo (engine) de execução DAG avançado que suporta fluxo de dados acíclicos e computação na memória. Ele é executado em Hadoop, Mesos, de maneira independente (standalone) ou na nuvem. O Spark pode acessar diversas fontes de dados, incluindo HDFS, Cassandra, HBase e S3. Há muitos componentes reunidos para fazer uma aplicação Spark funcionar. Se você planeja implantar o Spark no seu ambiente de produção, o Applications Manager pode assegurar o monitoramento de componentes distintos, entender os parâmetros de desempenho, ser alertado quando algo der errado e saber como solucionar problemas.

Obtenha visibilidade do desempenho do Spark

Descubra toda a topologia de serviço do seu pipeline de dados e aplicações automaticamente. Execute o gerenciamento completo de clusters e nós em tempo real, bem como o monitoramento da execução da aplicação Spark com visualização do fluxo de trabalho. Visualize o mestre (master) e os trabalhadores (workers) que estão rodando em nós individuais e os processos executores no modo autônomo para cada aplicação criada no cluster. Obtenha insights atualizados sobre métricas de tempo de execução do cluster, nós individuais e configurações.

Acompanhe a utilização de recursos

Gerencie recursos para que suas aplicações Spark sejam executadas de maneira otimizada. Ao adicionar novos jobs, as equipes de operações devem equilibrar os recursos disponíveis com as prioridades de negócios. Fique por dentro da saúde do seu cluster com estatísticas detalhadas de desempenho, como E/S de Disco e métricas de Uso de memória; bem como integridade dos nós (em tempo real) com o uso de CPU para todos eles, seguido pela ocupação do heap da JVM.

Obtenha informações sobre núcleos (cores) e aplicações do Spark

Obtenha insights sobre as métricas da sua aplicação Spark em produção; organize e segmente suas aplicações Spark com base em dados definidos pelo usuário; e classifique as aplicações com base no status (ativo, em espera, concluído) e na duração da execução. Quando um job falha, a causa normalmente é a falta de núcleos (cores). O monitoramento do nó/trabalhador do Spark fornece métricas, incluindo o número de núcleos disponíveis e de usos, para que os usuários possam realizar a alocação de recursos com base nos núcleos.

Entenda o desempenho de RDDs e contadores

Obtenha métricas de desempenho, incluindo RDDs (conjuntos de dados distribuídos resilientes) armazenados para uma determinado aplicação, status de armazenamento e uso de memória de um determinado RDD e todos os contadores do Spark para cada uma de suas execuções Spark. Obtenha insights detalhados sobre cache hits no nível do arquivo e jobs de lista em paralelo para possíveis otimizações de desempenho.

Corrija problemas de desempenho mais rapidamente

Receba notificações instantâneas quando houver problemas de desempenho com os componentes do Apache Spark. Conheça os gargalos de desempenho e descubra qual aplicação está causando a carga excessiva. Tome ações corretivas rápidas antes que os usuários finais tenham problemas.