Riscos de segurança da IA generativa que toda empresa deve estar preparada

Cada vez mais nos acostumamos  a usar IA no dia a dia de trabalho. Enviamos dados de clientes ao ChatGPT para análise, compartilhamos e-mails de clientes para redigir respostas ou pedimos ao Claude que gere código para aplicações corporativas.

É para isso que a IA generativa foi projetada: criar conteúdo, de textos e códigos até imagens e vídeos. Nas empresas, ela pode ajudar a automatizar e concluir tarefas rapidamente, economizando tempo dos colaboradores e ajudando os colaboradores serem mais produtivos.

No entanto, ao depender demais da IA generativa, podemos expor as organizações a uma série de riscos de segurança.

A segurança da IA generativa tem como foco garantir que ela seja usada de forma responsável, conforme o pretendido. O objetivo é simples: ajudar as organizações a obter os benefícios da IA, minimizando os riscos de segurança que podem acompanhá-la.

Por que a IA generativa cria novos riscos de segurança para as empresas? 

A forma como usamos a IA generativa pode introduzir riscos de segurança, especialmente quando a IA passa a fazer parte dos fluxos de trabalho diários. Os riscos podem vir do conteúdo gerado pela IA, das informações compartilhadas com ela ou dos sistemas e serviços conectados a ela.

Para os desenvolvedores, a IA generativa pode ajudar a escrever código com mais rapidez e em grande escala. Mas, ao pedir que gere código, ela pode recomendar trechos que contenham vulnerabilidades.

Também podem ocorrer ataques de prompt injection, fazendo com que a IA gere código perigoso ou inseguro. Além disso, o excesso de confiança faz desenvolvedores deixarem de revisar adequadamente o código gerado por ela. Eles podem simplesmente acreditar no resultado e usar o código como está.

Outros colaboradores, fora das funções de desenvolvimento, podem enfrentar riscos semelhantes. Eles podem inserir informações sensíveis em prompts ou enviar arquivos confidenciais sem perceber as possíveis implicações para a segurança.

Se modelos ou aplicações de IA processarem dados sensíveis, podem divulgar essas informações por engano. Essa exposição leva a violações de privacidade e a problemas relacionados a regulamentações de proteção de dados e soberania de dados.

Olhando para o panorama geral, a IA generativa também pode introduzir novos vetores de ataque. Ela não funciona de forma isolada: integra modelos, dados, aplicações, APIs, usuários e serviços de terceiros. Isso aumenta o número de componentes que as organizações precisam proteger, ampliando o potencial para vazamentos de dados ou ataques cibernéticos sofisticados.

Por que a segurança da IA generativa é fundamentalmente diferente da segurança tradicional 

Na segurança tradicional, nós controlamos a infraestrutura, quem pode acessar nossos sistemas, quais dados essas pessoas podem ver e onde os dados são armazenados. Implementamos firewalls, monitoramos redes e gerenciamos identidades.

Com a IA generativa, não temos o mesmo nível de controle que temos na segurança tradicional. Nem sempre conseguimos prever qual resultado a IA vai gerar nem o que o modelo de IA fará com as informações que fornecemos. Se um colaborador digita um prompt no ChatGPT, não controlamos o que ele faz com esse prompt, por quanto tempo ele o armazena e qual será o resultado gerado.

Esse tipo de imprevisibilidade introduz uma camada de incerteza. A IA pode expor informações sensíveis de maneiras que não esperávamos e  ser manipulada por um prompt que parece inofensivo.

Podemos dizer que, com a IA generativa, precisamos proteger a entrada, proteger a saída e proteger o próprio modelo. É por isso que a segurança da IA generativa exige uma nova abordagem.

Por que a segurança da IA generativa é tão urgente 

A adoção da IA generativa nas empresas está se acelerando. De acordo com a pesquisa da McKinsey de 2025, 79% das organizações em todo o mundo já usam IA generativa em pelo menos uma função de negócio. Em 2023, esse número era de apenas 33%.

No entanto, embora a adoção esteja acontecendo em toda parte, a segurança e a governança nem sempre acompanham esse ritmo. O relatório da IBM de 2026 constatou que, entre as organizações que sofreram uma violação relacionada à IA, 92% não tinham controles de acesso adequados para IA.

Isso é preocupante porque os riscos de segurança relacionados à IA generativa estão em constante evolução e crescimento. Em 2026, a pesquisa da IBM revelou que as violações relacionadas à IA aumentaram de 13% para 21%, um crescimento de 61% em relação ao ano anterior.

Esse aumento também veio acompanhado de consequências financeiras significativas. Segundo a IBM, os ataques de prompt injection, uma das ameaças de segurança de IA mais comuns, custaram em média US$ 5,89 milhões. Os incidentes envolvendo shadow AI também mais que dobraram, passando de 20% para 43%, e resultaram em um custo médio de US$ 5,39 milhões por violação.

Essas descobertas mostram que, à medida que a IA se integra mais profundamente às operações de negócios, as organizações precisam fortalecer a segurança, os controles de acesso e a governança junto com a adoção da IA.

Onde os riscos de segurança da IA generativa podem surgir 

A IA generativa não funciona sozinha. Ela depende de diferentes componentes que podem introduzir riscos de segurança se não forem devidamente protegidos e monitorados.

1. Modelos e provedores de modelos 

Quando as empresas usam modelos de IA de provedores externos, como OpenAI, Google, Anthropic ou outros, elas dependem desses provedores para proteger os modelos e os dados. Mas as empresas têm visibilidade limitada sobre como esses provedores operam.

Se um provedor de modelos tiver um problema de segurança, isso pode afetar todas as organizações que usam esse modelo. Além disso, se o próprio modelo tiver vulnerabilidades, elas podem ser exploradas por invasores para gerar conteúdo malicioso ou expor informações.

2. Dados de treinamento e de recuperação 

Os dados usados para treinar os modelos de IA e gerar respostas precisam ser protegidos adequadamente. Se informações sensíveis entrarem nos dados de treinamento, elas podem acabar aparecendo nas respostas da IA. Por exemplo, se dados de clientes ou código-fonte forem incluídos nos conjuntos de dados de treinamento, um invasor pode criar um prompt que faça o modelo revelar essas informações.

Os dados também precisam ser classificados para identificar o que é sensível e o que não é. Os dados sensíveis devem então ser anonimizados ou excluídos dos conjuntos de dados de treinamento.

3. APIs, plugins e agentes de IA 

Muitas empresas conectam a IA generativa a seus sistemas internos por meio de APIs e plugins. Isso permite que agentes de IA executem tarefas em nome dos usuários, mas também introduz novos desafios de segurança.

Se uma API não estiver devidamente protegida, um invasor pode manipulá-la para acessar dados não autorizados ou executar ações não autorizadas. Se um agente de IA receber permissões em excesso, um prompt comprometido ou uma solicitação maliciosa pode causar danos graves.

4. Bibliotecas e frameworks de código aberto 

As aplicações de IA generativa são construídas com bibliotecas e frameworks de código aberto. Embora possam acelerar o desenvolvimento, eles também podem introduzir vulnerabilidades se os componentes estiverem desatualizados, mal conservados ou tiverem falhas de segurança conhecidas.

5. Infraestrutura e serviços de terceiros 

As aplicações de IA generativa frequentemente dependem de infraestrutura e serviços de terceiros, como plataformas de nuvem, provedores de hospedagem de modelos, bancos de dados e APIs externas. Problemas de segurança nesses serviços podem afetar a disponibilidade, a confidencialidade ou a integridade das aplicações de IA e dos dados que dependem deles.

Riscos de segurança comuns da IA generativa 

À medida que a adoção da IA generativa nas empresas aumenta, crescem também os riscos de segurança associados a ela. Estes são alguns dos riscos de segurança comuns da IA generativa enfrentados atualmente:

1. Ataques de prompt injection 

Em um ataque de prompt injection, o invasor insere instruções maliciosas nos prompts para manipular o modelo e fazê-lo gerar resultados não intencionais ou perigosos, que não estão alinhados ao comportamento esperado do modelo.

2. Exposição de dados sensíveis 

Os colaboradores podem inserir dados sensíveis enquanto interagem com ferramentas de IA. Por exemplo, um colaborador pode incluir informações de clientes em um prompt sem entender totalmente como essas informações serão processadas ou armazenadas. Isso cria riscos de exposição de dados.

3. Data poisoning 

O data poisoning ocorre quando invasores introduzem intencionalmente informações imprecisas, manipuladas ou maliciosas nos conjuntos de dados usados para treinar ou aprimorar um modelo de IA. Com o tempo, isso corrompe o conjunto de dados de treinamento, levando a um comportamento tendencioso ou inesperado do modelo.

4. Riscos de dependência de modelos e de terceiros 

As aplicações de IA corporativas podem depender de modelos e serviços fornecidos por fornecedores externos. Elas também podem usar APIs de terceiros, plataformas de IA hospedadas ou outros componentes externos. Um problema de segurança que afete uma dessas dependências pode, potencialmente, afetar as aplicações e os dados conectados a ela.

5. APIs e plugins inseguros 

Os colaboradores usam APIs e plugins para conectar aplicações de IA generativa a outros sistemas e ampliar suas capacidades. No entanto, integrações mal protegidas podem criar pontos de entrada adicionais para invasores. Autenticação fraca, validação de entrada inadequada ou autorização incorreta podem permitir que invasores manipulem solicitações, acessem informações ou interfiram nos processos relacionados à IA.

6. Permissões excessivas e ações não autorizadas 

Algumas aplicações e agentes de IA precisam de acesso a sistemas ou dados corporativos para executar tarefas em nome dos usuários. Conceder a eles permissões mais amplas do que o necessário pode aumentar o impacto potencial de uma conta comprometida ou de uma solicitação maliciosa.

7. Dependências de código aberto vulneráveis 

Bibliotecas e frameworks de código aberto são comumente usados para criar e operar aplicações de IA. Embora possam acelerar o desenvolvimento, eles também podem introduzir vulnerabilidades se os componentes estiverem desatualizados, mal mantidos ou comprometidos.

8. Código gerado por IA inseguro 

Os desenvolvedores usam a IA generativa para escrever código com mais rapidez, mas o código produzido por ela pode conter falhas ou fragilidades de segurança. O código pode incluir validação de entrada inadequada, configurações inseguras ou dependências desatualizadas, que podem introduzir vulnerabilidades em uma aplicação.

9. Shadow AI 

O uso não autorizado de ferramentas de IA por colaboradores dentro de uma organização, sem a supervisão das equipes de TI ou de segurança, é conhecido como shadow AI. Mesmo com boas intenções, como melhorar a produtividade, o shadow AI pode revelar informações privadas e causar problemas de compliance.

10. Resultados não confiáveis 

Às vezes, a IA gera conteúdo falso, enganoso ou totalmente inventado.

Em um contexto corporativo, se os colaboradores confiarem em informações incorretas para tomar decisões de negócios, ou se a IA gerar resultados falsos que sejam usados em sistemas críticos, isso pode causar prejuízos reais ao negócio. Isso também cria riscos de segurança caso informações alucinadas sejam usadas em decisões de controle de acesso ou em políticas de segurança.

Como proteger a IA generativa na empresa 

Gerenciar os riscos de segurança da IA generativa exige que as organizações apliquem controles de segurança em todo o ambiente de IA. Isso inclui controlar quem pode acessar as aplicações de IA, proteger dados sensíveis e manter visibilidade sobre as atividades em todo o ambiente.

1. Estabeleça visibilidade sobre o uso de IA generativa 

Assim como em qualquer outra infraestrutura de TI, as empresas também precisam ter visibilidade total sobre o uso de IA generativa. É preciso saber quais ferramentas de IA estão sendo usadas , qual colaborador está usando, quais prompts estão sendo enviados, quantos dados estão sendo transferidos e se os colaboradores estão usando aplicações de IA não autorizadas.

As empresas também devem ser capazes de identificar atividades incomuns de IA generativa, como o uso de ferramentas fora do horário comercial normal. Dessa forma, as equipes de segurança podem identificar shadow AI e entender como a IA generativa está sendo usada em toda a organização.

2. Proteja os dados sensíveis compartilhados com a IA 

Ao trabalhar com ferramentas de IA generativa, os colaboradores podem compartilhar informações confidenciais sem querer. Uma vez que essas informações sensíveis são compartilhadas com um serviço de IA externo, as organizações podem ter controle limitado sobre como elas são processadas, armazenadas ou retidas.

Por isso, as empresas devem estabelecer políticas claras que definam quais informações podem e não podem ser compartilhadas com ferramentas de IA, monitorar as transferências de dados e aplicar controles para impedir que informações sensíveis sejam enviadas a aplicações de IA não autorizadas.

Auditorias regulares de dados e medidas de segurança adequadas, como a criptografia, também podem ajudar a proteger os dados sensíveis.

Esses controles também precisam ser apoiados pela conscientização dos colaboradores. As empresas devem oferecer treinamentos regulares para ajudar os colaboradores a entender como usar a IA de forma segura e responsável, para que saibam quais informações não devem ser compartilhadas com ferramentas de IA.

 3. Controle o acesso às ferramentas relacionadas à IA generativa 

As aplicações de IA generativa e os agentes de IA podem precisar de acesso a sistemas corporativos, aplicações, bancos de dados ou outros recursos para executar tarefas em nome dos usuários. No entanto, permissões excessivas podem aumentar o impacto de contas comprometidas, prompts maliciosos ou ações não autorizadas.

As organizações também precisam gerenciar quem pode acessar e usar as aplicações de IA generativa. O acesso deve ser limitado a pessoal autorizado, com base em suas funções e necessidades de negócio.

Sempre que possível, as empresas devem aplicar o princípio do menor privilégio, concedendo a usuários, aplicações de IA, agentes e outras identidades apenas o acesso necessário para executar as tarefas previstas. As credenciais privilegiadas e o acesso a sistemas críticos também devem ser monitorados e revisados regularmente para identificar permissões desnecessárias ou desatualizadas.

 4. Detecte atividades suspeitas e incidentes de segurança 

Mesmo com controles preventivos implementados, as empresas ainda precisam detectar atividades suspeitas que possam indicar um ataque ou um sistema comprometido. Isso é particularmente importante quando as aplicações de IA generativa interagem com sistemas corporativos, usuários e dados sensíveis.

As equipes de segurança devem coletar e analisar eventos de segurança relevantes em endpoints, aplicações, usuários e outras infraestruturas. A correlação de eventos de diferentes fontes pode ajudar a identificar padrões incomuns que, de outra forma, poderiam passar despercebidos.

 5. Gerencie vulnerabilidades na infraestrutura relacionada à IA 

Os riscos de segurança não vêm apenas do modelo de IA em si. As aplicações de IA generativa também dependem de sistemas operacionais, bibliotecas de software, frameworks, aplicações e outras infraestruturas. Vulnerabilidades nesses componentes podem criar oportunidades para que invasores comprometam os sistemas que dão suporte às cargas de trabalho de IA.

As organizações também devem manter um inventário dos softwares e da infraestrutura usados em seus ambientes de IA, avaliá-los regularmente em busca de vulnerabilidades conhecidas e aplicar atualizações de segurança quando necessário.

 Como a ManageEngine apoia a segurança de IA nas empresas 

A ManageEngine oferece soluções que ajudam as empresas a implementar os controles de segurança da IA generativa. Veja como:

•  Monitore o uso de IA generativa e o shadow AI:  o DataSecurity Plus oferece monitoramento centralizado em todas as principais plataformas de IA generativa usadas pelos colaboradores, como ChatGPT, Claude, Google Gemini e outras. Ele permite que as empresas monitorem o uso de IA generativa, incluindo as aplicações de IA acessadas pelos colaboradores, os prompts enviados, a atividade de transferência de dados e as aplicações de IA generativa não autorizadas.

•  Proteja os dados sensíveis compartilhados com a IA:  o DataSecurity Plus ajuda as empresas a monitorar os dados compartilhados com aplicações de IA generativa e a aplicar controles sobre o uso de aplicações de nuvem e de IA. Seus relatórios de insights de IA generativa oferecem visibilidade sobre prompts, usuários, aplicações, uso de largura de banda e atividades fora do horário comercial.

•  Controle o acesso privilegiado:  o PAM360 ajuda as empresas a gerenciar o acesso privilegiado a sistemas e recursos críticos. Ele oferece suporte a controles de acesso granulares e a práticas de menor privilégio.

•  Detecte atividades suspeitas e gerencie vulnerabilidades:  o Log360 oferece recursos de SIEM para monitoramento de segurança, detecção de ameaças, análise comportamental e resposta a incidentes em todo o ambiente de TI. Já o Vulnerability Manager Plus ajuda a identificar e corrigir vulnerabilidades em sistemas operacionais e aplicações de terceiros que dão suporte aos ambientes de IA generativa.

Entender os riscos de cibersegurança da IA generativa não significa que as empresas devam deixar de usá-la. Pelo contrário, adotar a IA pode dar às empresas uma vantagem competitiva, especialmente quando ela é usada de forma segura e responsável. Implementar essas soluções da ManageEngine pode ajudar as empresas a colocar em prática os controles de segurança adequados e, ao mesmo tempo, continuar aproveitando ao máximo a IA generativa.

Artigo traduzido. Conteúdo original escrito por Syifa Ramadhani

Nota: encontre a revenda certa da ManageEngine. Entre em contato com a nossa equipe de canais pelo e-mail latam-sales@manageengine.com.

Importante: a ManageEngine não trabalha com distribuidores no Brasil.