IA agêntica para ITOps: sua organização está preparada para os desafios de segurança?
A IA está prestes a gerar cada vez mais valor em TI, ao permitir novas formas de simplificar operações complexas, oferecer insights acionáveis, automatizar tarefas rotineiras com automações sensíveis ao contexto e detectar eventos anormais com algoritmos avançados de machine learning.
Com a IA agêntica, os sistemas conseguem entender o que está acontecendo em um ambiente de TI, raciocinar sobre as causas raiz mais prováveis, determinar o melhor curso de ação e implementar essas mudanças sem a necessidade de intervenção humana adicional.
Essa capacidade provoca uma mudança importante na forma como pensamos os sistemas de IA. A questão deixa de ser o que um sistema de IA agêntica é capaz de fazer e passa a ser qual o grau de controle que a organização tem sobre o agente.
É aqui que entram os desafios da governança de IA.
À medida que as organizações dão mais autonomia aos agentes de IA, a governança precisa evoluir junto. Um agente que só analisa informações representa um risco muito menor do que um que pode acessar sistemas, usar ferramentas e fazer alterações de forma independente. Aplicar os mesmos controles a ambos vai impor controle excessivo a casos de uso de baixo risco ou deixar um agente de maior risco sem medidas de proteção.
O foco, portanto, deve ser criar as proteções adequadas em torno do nível de autonomia que o agente possui. Isso significa controlar o acesso, limitar o impacto, monitorar o progresso e garantir que a intervenção humana seja possível caso o risco se torne inaceitável.
Existem, porém, várias implicações de segurança importantes que os líderes de TI devem considerar antes de conceder maior autonomia aos agentes de IA.
1. Saber a que os agentes de IA têm acesso
Um agente de IA precisa enxergar para poder agir. Por isso, ele deve ser tratado como um usuário privilegiado dentro da organização.
Agentes de AIOps podem interagir com sistemas de monitoramento e de chamados, endpoints, clouds, bancos de dados, APIs e ferramentas de segurança. O que esses agentes podem acessar e o que podem fazer com os dados acessados precisa ser rigorosamente controlado e auditado o tempo todo. É por isso que o gerenciamento de identidades e acessos (IAM) é a base da governança de agentes.
As organizações devem definir as seguintes políticas e controles:
A quais sistemas, ações e dados um agente pode ter acesso?
Quem é o responsável pelo agente?
Quais revisões de IAM são necessárias?
Um agente deve ter apenas o acesso necessário para executar suas tarefas. Ele deve se limitar ao indispensável, mesmo que isso signifique menos automação.
2. Alinhar a autonomia ao risco
Nem toda ação executada por um agente carrega o mesmo risco.
Um agente que analisa a causa raiz de um incidente representa um risco significativamente menor do que um que age diretamente para resolvê-lo. Por exemplo, um agente que recomenda alterações no conjunto de regras do firewall é consideravelmente menos arriscado do que um que atualiza essas regras. O nível de autonomia concedido deve, portanto, estar alinhado ao risco que ele representa.
Um exemplo de abordagem baseada em risco é o framework Agentic AIOps da ManageEngine, que define quatro níveis de autonomia operacional:
Observar (Observe): o agente monitora o ambiente, analisa e identifica incidentes.
Recomendar (Recommend): o agente fornece subsídios, sujeitos à aprovação humana, para a resolução de incidentes.
Agir (Act): o agente executa tarefas operacionais predefinidas e de baixo risco, dentro de guardrails claramente definidos.
Escalar (Escalate): o agente interrompe as tarefas operacionais e escala para operadores humanos as tarefas de maior risco.
O agente é autorizado a executar tarefas operacionais predefinidas e de baixo risco, dentro de guardrails claramente definidos. O ponto principal é que, à medida que a autonomia de um agente aumenta, também devem aumentar o nível de controles e medidas de proteção.
3. Definir requisitos de segurança de dados
Um agente precisa de informação para operar. Quanto mais dados ele pode acessar, maior o impacto de um eventual incidente de segurança.
Ambientes de TI contêm uma grande quantidade de dados sensíveis, incluindo bancos de dados de gerenciamento de configuração (CMDBs), registros de incidentes, dados de pessoal, informações da infraestrutura de rede, documentação interna e credenciais.
Os mesmos princípios do IAM se aplicam à segurança de dados. A abordagem de segurança da ManageEngine coloca a governança de dados ao lado do IAM e da observabilidade como alicerce para proteger agentes de IA.
Antes de conectar um agente a uma fonte de dados, os líderes de TI devem se perguntar:
O agente realmente precisa desses dados?
Esses dados são sensíveis?
Estão sujeitos a algum requisito regulatório?
A integridade desses dados pode ser verificada e quem pode atualizá-los?
Por quanto tempo o agente precisa de acesso a esses dados?
O que aconteceria se as informações contidas nesses dados estivessem incorretas?
Ao desenhar a política de acesso a dados de um agente, é importante lembrar que, quanto mais amplo o escopo de visibilidade, maior a probabilidade de a política estar sujeita a requisitos regulatórios. Isso vale especialmente se o agente puder tomar ações diretas com base nas informações que processa.
4. Considerar prompt injection e outros cenários de manipulação
A segurança de um agente depende da segurança das informações que ele consome. Ele pesquisa possíveis soluções para um incidente, varrendo a internet, documentos, e-mails, tickets de suporte ou qualquer outra fonte de informação não confiável que possa ser manipulada por meio de prompt injection.
A pesquisa da ManageEngine sobre segurança de IA agêntica destaca ameaças como prompt injection, memory poisoning (envenenamento de memória) e integrações inseguras de ferramentas. Ataques de prompt injection podem ser usados para influenciar a saída de um agente. Isso não é necessariamente uma vulnerabilidade, mas um ataque em potencial que deve ser compreendido e mitigado.
O risco é especialmente significativo para agentes que utilizam ferramentas para executar suas tarefas.
Um ataque de prompt injection pode ser usado para influenciar quais ferramentas um agente de IA seleciona ou seus parâmetros. Da mesma forma, um invasor pode tentar contornar os controles de segurança existentes e injetar prompts adicionais que levem o agente a violar as políticas de segurança.
Por isso, é fundamental que as organizações realizem testes abrangentes dos agentes em cenários de ataque. Alguns desses cenários devem incluir:
Testar o comportamento do agente quando instruído a executar ações não permitidas pela política de governança de agentes.
Testar o comportamento do agente quando:
exposto a conteúdo externo não confiável;
apresentado a dados operacionais falsificados;
instruído a utilizar ferramentas não aprovadas;
tentando contornar a autorização, a aprovação ou qualquer outra medida de segurança;
apresentado a cadeias de requisições não convencionais ou imprevistas.
Ao testar o comportamento de um agente nesses cenários, os líderes de TI podem entender melhor as formas pelas quais ele pode ser explorado. Isso, por sua vez, permite desenvolver as medidas de segurança apropriadas.
5. Estabelecer observabilidade
Com ferramentas de automação convencionais, é relativamente simples para um administrador determinar a causa raiz de um comportamento observado, rastreando até o script de regra que o disparou. Isso nem sempre acontece com um agente que consome múltiplas fontes de informação, interage com diversas ferramentas e executa várias operações na tentativa de resolver um incidente.
Os administradores de TI devem ser capazes de definir o que levou um agente a executar determinadas ações e quais ferramentas ele usou para executá-las. Em outras palavras, devem conseguir responder às seguintes perguntas:
O que o agente fez?
O que disparou a ação do agente?
A quais informações o agente teve acesso?
Quais ações foram realizadas?
Quais ferramentas foram usadas?
Qual autorização o agente recebeu?
Um humano aprovou a ação?
O que aconteceu depois?
Essa visibilidade sobre a operação de um agente é vital não só para fins de auditoria, mas também para a segurança operacional. A observabilidade permite que os administradores de TI detectem incidentes, investiguem as ações de um agente e determinem se sua autonomia deve ser restringida e de que forma.
6. Projetar políticas de freio para agentes
Um agente autônomo precisa de um freio de emergência. As equipes de TI devem sempre ter a opção de interrompê-lo, limitar suas permissões ou revogar sua capacidade de realizar mudanças no ambiente de TI.
O white paper da ManageEngine, com orientações para ITOps, inclui mecanismos de reversibilidade e de circuit breaker entre os controles necessários para uma autonomia segura.
Dependendo do caso de uso, as organizações podem considerar a implementação das seguintes medidas de segurança:
Gates de aprovação para operações de alto impacto
Limites operacionais
Procedimentos de escalonamento
Freios de emergência
Mecanismos de reversibilidade
Thresholds de autonomia operacional
Essas políticas e controles devem ser testados antes que um agente seja implantado em ambiente de produção. Idealmente, elas devem estar sempre em vigor, independentemente de o agente operar em ambiente de teste ou de produção.
A capacidade de interromper um agente não deve depender de o próprio agente decidir parar.
7. Desenvolver políticas de governança para o ciclo de vida dos agentes de IA
A capacidade de um agente de agir por conta própria traz riscos, mas um agente que continua evoluindo representa uma ameaça ainda maior. Desenhar estratégias de governança para agentes de IA que operem de acordo com seus perfis de risco e graus de autonomia é essencial.
Isso significa que os líderes de TI devem considerar suas abordagens de governança em cinco momentos distintos do ciclo de vida do agente:
Antes do lançamento: determinar o que o agente pode fazer e quem é o responsável.
No momento do deploy: estabelecer políticas e procedimentos de monitoramento e aprovação.
Durante a operação: revisar a atividade. Definir políticas de gestão de incidentes e de aprovação.
Durante modificações: tomar as medidas adequadas sempre que houver mudanças no modelo, nas ferramentas, nos dados ou nas operações do agente.
Na desativação: revogar acessos e remover ferramentas e acessos a dados não autorizados.
Dessa forma, as organizações garantem que um agente de IA não acumule privilégios indevidos por continuar em operação muito depois de seu propósito original ter deixado de existir.
Garantindo o seu futuro com a IA agêntica
A IA agêntica pode dar mais autonomia à TI, mas essa autonomia precisa ser equilibrada com o nível certo de controle. As organizações que estão adotando agentes de IA devem focar no que eles podem acessar e alterar e em quais tarefas exigem a intervenção de humanos. A ManageEngine aborda a ITOps agêntica com ênfase em autonomia controlada, observabilidade e medidas de segurança.
Para saber como incorporar a IA agêntica às suas operações de TI com segurança, baixe nosso white paper,From alerts to action: How agentic AI will change your ITOps.
Artigo traduzido. Conteúdo original escrito por Shreeharini V.
Nota: encontre a revenda da ManageEngine certa. Entre em contato com a nossa equipe de canais pelo e-mail latam-sales@manageengine.com .
Importante: a ManageEngine não trabalha com distribuidores no Brasil.