O monitoramento do desempenho do Kafka é fundamental para garantir o desempenho e disponibilidade ideais dos clusters do Kafka, devido ao crescimento exponencial e complexidade cada vez maior das implantações. Como o Kafka é executado em várias partições entre nós, cresce dinamicamente e trata grandes volumes de dados, gerenciar e monitorar esses clusters pode ser um desafio. O monitoramento do Kafka contribui para melhorar o tempo de atividade e desempenho do cluster, rastreando as principais métricas, identificando problemas em tempo real e garantindo correções rápidas.
O Applications Manager oferece um conjunto de monitoramento do Kafka pronto para produção que ajuda a rastrear o ecossistema de mensagens do Kafka de maneira eficaz e ajuda as organizações a manter alta disponibilidade e eficiência na transferência de mensagens e dados para operações de negócio contínuas. Projetada para atender aos requisitos corporativos, nossa ferramenta de monitoramento do Kafka ajuda a reduzir o tempo necessário para solucionar problemas no ambiente de produção, permitindo que as equipes de engenharia trabalhem com mais eficiência na implantação do sistema.
Applications Manager: A única ferramenta de monitoramento do Kafka de que você precisa
Quer você seja um administrador experiente do Kafka ou novato no ecossistema, o software de monitoramento do Kafka, como o Applications Manager, pode fornecer a visibilidade e controle necessários para manter os clusters do Kafka funcionando sem problemas. O monitor do Kafka do Applications Manager permite que você acompanhe as seguintes métricas no nosso de monitoramento do Kafka::
Estatísticas da utilização dos recursos
Detalhes de uso de threads
Monitoramento do desempenho do Kafka principal
Estatísticas de desempenho do ZooKeeper
Rastreie a utilização de recursos dos seus servidores Kafka
Obtenha insights detalhados sobre estatísticas de uso de recursos dos seus servidores Kafka para ter uma ideia clara da capacidade de utilização do seu servidor Kafka. Com o monitoramento do Kafka do Applications Manager, você pode monitorar as principais métricas de uso de recursos, como memória física, memória virtual e memória de troca, para saber o nível de RAM que o servidor Kafka está utilizando e ser notificado em caso de aumento repentino no consumo de recursos. Além disso, obtenha estatísticas detalhadas sobre a memória heap e não heap do JVM do seu servidor Kafka para descobrir quantos dados estão sendo armazenados e detectar vazamentos de memória, se houver.
Analise detalhes de uso de threads
Fique de olho nos threads utilizados nos servidores Kafka para gerenciar várias solicitações de mensagens e evitar gargalos, como sobrecarga de memória, bloqueios de threads e insuficiência de threads. O monitoramento do Kafka do Applications Manager ajuda a analisar detalhes dos threads, rastreando métricas como daemon, pico e contagem de threads ativos para identificar qual deles está realmente causando os problemas em caso de anormalidades de desempenho.
Obtenha insights profundos sobre o desempenho dos seus clusters Kafka
Monitore as principais métricas dos seus clusters Kafka a partir do painel do produto e obtenha visibilidade detalhada do desempenho dos componentes abaixo com o monitoramento de clusters Kafka:
Estatísticas de agentes
Obtenha informações completas sobre os tópicos que estão sendo executados no agente de um cluster Kafka e configure alertas caso algum tópico esteja apresentando um desempenho anormal. Fique atento às principais métricas dos seus tópicos, como bytes recebidos ou enviados, mensagens recebidas e solicitações de busca ou produção com falha, e compare seu desempenho entre os tópicos para tomar decisões fundamentadas sobre a alocação de recursos ou balanceamento de carga entre os tópicos.
O monitoramento de tópicos do Kafka do Applications Manager rastreia as seguintes métricas principais desses tópicos:
| Parâmetro | Descrição |
|---|---|
| Detalhes do log | |
| Taxa de descarga de logs | A taxa de descarga assíncrona do log de disco. |
| Métricas de tópicos do agente | |
| Bytes recebidos / min | A taxa agregada de bytes de entrada (quantidade de dados gravados no tópico desse agente) por minuto. |
| Bytes de saída / min | A taxa agregada de bytes de saída por minuto. |
| Bytes rejeitados / min | A quantidade de dados em mensagens rejeitadas pelo agente por minuto. |
| Solicitações de busca malsucedidas / min | O número de solicitações de leitura de dados de consumidores que os agentes não conseguiram processar para esse tópico por minuto. |
| Solicitações em produção malsucedidas / min | O número de solicitações do produtor que falharam. |
| Mensagens recebidas / min | O número de mensagens que chegam ao agente Kafka. |
| Gerenciador de replicação | |
| IsrExpands/min. | O número de expansões de réplicas "em sincronia". |
| IsrShrinks/min. | O número de encolhimentos de réplicas "em sincronia". |
| Contagem de líderes | O número de partições para as quais um determinado host é o líder. |
| Contagem de partições | O número de partições no cluster. |
| Partições replicadas insuficientemente | Indica o número de partições no cluster que estão sendo sub-replicadas. |
| Percentual médio de ociosidade do manipulador de solicitações | A fração média de tempo em que os threads do manipulador de solicitações estão ociosos. |
Estatísticas do controlador
Obtenha informações detalhadas sobre os agentes do Kafka que servem como controladores para gerenciar as partições, líderes e réplicas em um cluster Kafka. Mantenha o controle dos controladores ativos para identificar o agente que era o líder quando o problema ocorreu no cluster, juntamente com a contagem exata de partições offline para uma solução rápida de problemas e resolução de incidentes.
Aqui estão as principais métricas de um controlador Kafka que você precisa monitorar:
| Parâmetro | Descrição |
|---|---|
| Detalhes do controlador Kafka | |
| Contagem de controladores ativos | Número de controladores ativos no cluster. |
| Contagem de partições offline | O número de partições indisponíveis. |
| Taxa de eleição de líderes | A taxa de eleições de líderes. |
| Taxa de eleição de líderes impuros | A taxa de eleições de líderes impuros. |
Detalhes da rede
Obtenha uma visão geral completa dos detalhes de mensagens do seu servidor Kafka e monitore a taxa de transferência de solicitações ou taxa total de bytes de entrada e saída nos tópicos do seu agente para identificar possíveis gargalos e tomar as medidas apropriadas, como a implementação de compactação ponta a ponta para suas mensagens, caso necessário.
Aqui está a lista das principais métricas que precisam ser monitoradas na sua rede Kafka:
| Parâmetro | Descrição |
|---|---|
| Taxa de processamento de solicitações | |
| Solicitação de produção/min | O número de mensagens gravadas no tópico desse agente. |
| Solicitação de consumidores de busca/min | A quantidade de dados que os consumidores obtiveram desse tópico nesse agente. |
| Solicitação de seguidores de busca/min | As solicitações de agentes que são seguidores de uma partição para obter novos dados. |
| Tempo gasto com solicitações | |
| Tempo total de produção/min | O tempo total para atender à solicitação especificada. |
| Tempo total de consumidores de busca/min | O tempo total que os consumidores obtiveram dados desse tópico nesse agente. |
| Tempo total de seguidores de busca/min | O tempo total gasto pelos seguidores de uma partição para obter novos dados |
| Taxa do processador de rede | |
| Percentual de ociosidade m´dia de processadores de rede/min | A capacidade livre média dos processadores de rede por minuto. |
Detalhes do tópico
Obtenha informações completas sobre os tópicos que estão sendo executados no agente de um cluster Kafka e configure alertas caso algum tópico esteja apresentando um desempenho anormal. Fique atento às principais métricas dos seus tópicos, como bytes recebidos ou enviados, mensagens recebidas e solicitações de busca ou produção com falha, e compare seu desempenho entre os tópicos para tomar decisões fundamentadas sobre a alocação de recursos ou balanceamento de carga entre os tópicos.
O Applications Manager monitora as seguintes métricas principais dos tópicos do Kafka:
| Parâmetro | Descrição |
|---|---|
| Detalhes do tópico | |
| Nome do tópico | Especifica o nome do tópico. |
| Bytes recebidos/min | A taxa agregada de bytes de entrada (quantidade de dados gravados no tópico desse agente) por minuto. |
| Bytes de saída/min | A taxa agregada de bytes de saída por minuto. |
| Solicitações de busca com falha/min | O número total de solicitações de busca com falha por minuto. |
| Solicitações de produção com falha/min. | O número total de solicitações de produtores com falha. |
| Mensagens recebidas/min | O número de mensagens que chegam ao agente Kafka. |
Acompanhe as métricas de desempenho do ZooKeeper
Gerencie seus clusters Kafka com o Apache ZooKeeper, rastreando clusters, agentes e configurações de tópicos, além de gerenciar a eleição de líderes de partição. Como o ZooKeeper armazena metadados sobre os agentes, tópicos e partições do Kafka e gerencia tarefas administrativas, como a eleição de líderes de partição, fique de olho nas métricas do ZooKeeper para evitar interrupções indesejadas no desempenho ou lentidão e para manter um cluster Kafka saudável.
Alertas e relatórios inteligentes para uma resolução mais rápida de incidentes
Simplifique a detecção e resolução de incidentes identificando problemas de desempenho em clusters do Kafka, como atraso do consumidor ou partições offline, e receba notificações imediatas por e-mail, texto ou Slack. Você pode enviar esses alertas para ferramentas externas de gerenciamento de incidentes, como o ServiceNow ou ServiceDesk Plus da ManageEngine. Você também pode responder a incidentes rapidamente automatizando ações corretivas, como o uso de webhooks para iniciar ações externas.
Utilize o poder do machine learning para gerar relatórios preditivos sobre o desempenho do cluster Kafka, bem como os recursos de alertas e relatórios orientados por IA para simplificar o monitoramento do desempenho do Kafka e solução de problemas, garantindo operações de negócio ininterruptas.
Simplifique o monitoramento do Kafka com o Applications Manager
Desbloqueie a experiência de monitoramento transparente do Kafka com o Applications Manager. Rastreie todos os seus indicadores críticos de desempenho do Kafka juntamente com o restante da pilha de aplicações. Obtenha a versão mais recente agora!
Teste grátis de 30 diasPerguntas comuns feitas sobre o monitoramento do Kafka
O que é o monitoramento do Apache Kafka e como você monitora o Kafka?
O monitoramento do Kafka é o processo de supervisionar o uso de recursos e operações subjacentes no Kafka para garantir que seu desempenho não seja afetado. O Kafka cresceu consideravelmente em termos de volume e complexidade e, por ser um componente fundamental na infraestrutura de TI, é necessário implementar um software dedicado de monitoramento do Kafka, como o Applications Manager da ManageEngine, para rastrear suas operações, identificar e resolver gargalos e otimizar o desempenho.
Quais são os benefícios de monitorar o Kafka?
O monitoramento do Kafka ajuda a garantir o tempo de atividade do sistema e eficiência otimizada. Insights detalhados sobre métricas como taxa de transferência, latência e consumo de recursos em tempo real ajudam os administradores a identificar anomalias de desempenho e corrigi-las prontamente. A visibilidade no nível do código ajuda a solucionar problemas mais rapidamente e garante correções rápidas. Isso melhora a disponibilidade do Kafka e aprimora a experiência do usuário final. A utilização de análises históricas para prever o desempenho do Kafka promove o seu gerenciamento proativo e é útil ao planejar a capacidade e crescimento, garantindo a operação tranquila dos clusters Kafka.
Qual é o custo para monitorar os clusters Kafka?
A ferramenta de monitoramento do Kafka do Applications Manager custa a partir de US$ 395/ano para monitorar até 10 clusters Kafka. Esta é uma das soluções de monitoramento do Kafka mais econômicas para a sua empresa e permite que você dimensione o monitoramento conforme a implantação do Kafka cresce.
Como configuro o monitoramento do Kafka no Applications Manager?
O monitoramento do Apache Kafka é fácil de configurar com o Applications Manager. Basta ativar o JMX no agente Kafka e configurar o monitor Kafka no Applications Manager especificando as credenciais JMX, incluindo nome de usuário, senha, porta JMX e caminho JNDI.
Quais métricas de desempenho do Kafka posso coletar com o Applications Manager?
Você pode coletar métricas detalhadas de monitoramento do Kafka relacionadas à integridade e desempenho de todos os componentes do Kafka a seguir:
- Agente do Kafka
- Consumidor
- Produtor
- Controlador
- Tópicos
- Rede
- Configuração
- Uso de JVM
- Threads
Consulte a nossa página de ajuda de monitoramento do Kakfa para obter mais informações.
