Marco de gobernanza de la IA empresarial: una guía práctica 

Marco de gobernanza de la IA empresarial: una guía práctica

La adopción de la IA se está acelerando en las empresas, pero la gobernanza no avanza necesariamente al mismo ritmo. A medida que la IA se integra en los flujos de trabajo y las aplicaciones cotidianas de las empresas, las organizaciones deben comprender dónde se utiliza, a qué datos tiene acceso y quién es responsable de gestionar los riesgos.

Un marco de gobernanza de la IA empresarial proporciona la estructura necesaria para abordar estos riesgos. Este integra políticas, responsabilidades, clasificación de peligros, datos, acceso, monitoreo y rendición de cuentas para gestionar los riesgos operativos, de seguridad, de privacidad y de cumplimiento relacionados con la IA.

Esta guía explica por qué las empresas necesitan la gobernanza de la IA, describe seis áreas fundamentales para desarrollar un marco de gobernanza de la IA empresarial, aborda las regulaciones y normas clave, y muestra cómo ManageEngine puede ayudar.

¿Qué es un marco de gobernanza de la IA empresarial?   

La gobernanza de la IA empresarial es el sistema de políticas, procesos, funciones y controles que utiliza una organización para gestionar la forma en que se desarrolla, adquiere, implementa y utiliza la inteligencia artificial. Una política de gobernanza define las reglas que una organización espera que sigan los equipos. Un marco de gobernanza va más allá: establece quién toma las decisiones, qué controles se aplican y cómo se supervisan esas decisiones a lo largo del tiempo.

Un marco práctico debe responder las siguientes preguntas:

  • ¿Qué herramientas y sistemas de IA se están utilizando en toda la organización?

  • ¿Quién es responsable de aprobar y gestionar los casos de uso de la IA?

  • ¿Cómo deben clasificarse los riesgos de la IA?

  • ¿A qué datos de la organización puede acceder un sistema de IA?

  • ¿Qué usuarios, aplicaciones o agentes de IA deben tener acceso?

  • ¿Cuándo se requiere una revisión humana?

  • ¿Cómo deben supervisarse y documentarse las actividades de la IA?

  • ¿Con qué frecuencia deben reevaluarse los sistemas de IA y sus riesgos?

Estas preguntas cobran cada vez más importancia a medida que la IA pasa de la fase experimental a formar parte de flujos de trabajo críticos para el negocio.

Por qué las empresas necesitan un marco de gobernanza de la inteligencia artificial en este momento   

La adopción de la IA se está dando a un ritmo más rápido que la capacidad de una organización para establecer controles al respecto. Los empleados podrían estar utilizando nuevas herramientas de IA por su cuenta, los equipos de negocios pueden introducir servicios impulsados por IA a través de proveedores, y los desarrolladores podrían estar integrando modelos externos o API en aplicaciones internas.

Esto puede generar una visibilidad fragmentada en toda la empresa, ya que ―a medida que esto ocurre― se vuelve más difícil dar seguimiento a qué IA se está utilizando, a dónde tiene acceso y quién es responsable. Una organización podría contar con políticas formales sobre IA, pero eso tal vez no sea suficiente cuando la adopción se produce a un ritmo tan rápido.

Dichas brechas pueden exponer a las organizaciones a riesgos tales como la divulgación de datos confidenciales, el acceso no autorizado, las vulnerabilidades de seguridad, los desafíos de cumplimiento normativo y la falta de claridad en la rendición de cuentas.

Al mismo tiempo, la Ley de IA de la UE (2024) establece en su artículo 99 multas de hasta 35 millones de euros o el 7 % de la facturación anual para las infracciones más graves. En Estados Unidos, la Ley de Colorado ya está definiendo los requisitos para ciertas decisiones de empleo automatizadas y basadas en IA.

Un marco de gobernanza de la IA brinda a las organizaciones una forma sistemática de abordar estos riesgos, al tiempo que respalda la adopción responsable de la IA.

6 áreas fundamentales de un marco de gobernanza de la IA empresarial   

Estas áreas trabajan en conjunto para crear un marco de gobernanza eficaz que respalde el uso responsable de las tecnologías de IA en las organizaciones.

1. Establecer la responsabilidad y la rendición de cuentas   

La gobernanza de la IA requiere responsabilidades claramente definidas. Sin responsables designados, las decisiones importantes pueden quedar en el limbo. Es posible que el departamento de TI administre la tecnología, el de seguridad controle el acceso, el legal evalúe el cumplimiento normativo y que los equipos de negocios se encarguen del caso de uso. Sin embargo, es necesario establecer claramente la rendición de cuentas entre todas estas funciones.

Las organizaciones deben definir:

  • Apoyo ejecutivo

  • Un comité de gobernanza de la IA o una estructura equivalente

  • Responsables de negocios para cada caso de uso de IA

  • Responsabilidades de TI y seguridad

  • La propiedad de los datos

  • Las responsabilidades legales y de cumplimiento

  • Las autoridades de aprobación para aplicaciones de IA de mayor riesgo

  • Los procedimientos de escalamiento

  • Los requisitos para documentar las decisiones relacionadas con la IA

La estructura de gobernanza puede variar según la organización, pero todo sistema de IA significativo debe contar con un responsable claramente identificado y con vías de decisión y escalamiento bien definidas.

2. Descubrir la inteligencia artificial y clasificar los riesgos   

No se puede gestionar lo que no se ve. Elabore un inventario de la IA utilizada en toda la organización. Esto incluye aplicaciones aprobadas, servicios de terceros, capacidades de IA integradas, modelos internos, API e inteligencia artificial en la sombra.

He aquí algunos campos útiles para el inventario:

  • Sistema o aplicación de IA

  • Responsable comercial y técnico

  • Proveedor o prestador de servicios

  • Finalidad

  • Datos procesados

  • Usuarios y sistemas conectados

  • Clasificación de riesgo

  • Estado de aprobación

  • Fecha de la última revisión

Clasifique la IA en función de su impacto potencial.

Nivel de riesgo

Ejemplo

Enfoque de gobernanza

Bajo

Redacción de comunicaciones internas

Política estándar y monitoreo

Moderado

Análisis interno de negocios

Revisión adicional de datos y seguridad

Alto

Recomendaciones o decisiones dirigidas a los clientes

Evaluación formal de riesgos y supervisión humana

Restringido

Decisiones altamente sensibles o autónomas

Aprobación reforzada, controles o prohibición

La clasificación de riesgos debe tomar en cuenta la sensibilidad de los datos, el impacto en el negocio, la autonomía, la exposición a riesgos de seguridad, los requisitos normativos, el impacto financiero, las personas afectadas y las dependencias de terceros.

3. Regular y proteger los datos de la IA   

La gobernanza de la IA es también gobernanza de datos. Los sistemas de IA pueden procesar información de clientes, datos de empleados, información comercial confidencial, propiedad intelectual, código fuente e información financiera.

Las organizaciones necesitan reglas claras sobre cómo se puede utilizar esta información.

Una política de gobernanza de la IA debe definir lo siguiente:

  • Qué datos se pueden ingresar en los sistemas de IA

  • Qué datos están prohibidos

  • Qué herramientas de IA están autorizadas para información sensible

  • Dónde se almacenan y procesan los datos

  • Si los proveedores retienen los datos de entrada o de salida

  • Si los datos pueden utilizarse para el entrenamiento de modelos

  • Los requisitos de retención y eliminación de datos

  • Quién puede acceder a los datos relacionados con la IA

Los proveedores externos de IA también deben ser evaluados en cuanto a seguridad, cifrado, retención, subprocesadores, controles de acceso, notificación de incidentes, prácticas de eliminación y compromisos normativos pertinentes.

4. Controlar el acceso y garantizar integraciones seguras   

Los sistemas de IA pueden conectarse a aplicaciones empresariales, bases de datos, servicios en la nube, API, plataformas de colaboración o sistemas de gestión de TI. Los permisos excesivos pueden aumentar el impacto de un sistema de IA comprometido o utilizado indebidamente.

Aplique los principios de privilegios mínimos a:

  • Usuarios

  • Aplicaciones de IA

  • Sistemas conectados

  • Fuentes de datos

  • API

  • Funciones administrativas

  • Acciones de los agentes

Esto es particularmente importante en el caso de la IA con capacidad de acción, en la que los sistemas pueden realizar acciones en lugar de limitarse a generar información.

Antes de conectar la IA a los recursos empresariales, evalúe la autenticación, la autorización, la seguridad de las API, los flujos de datos, las credenciales, el registro de eventos y el impacto potencial de acciones no intencionadas.

5. Supervisar la actividad de la IA y mantener el control humano   

La aprobación es solo una etapa del ciclo de vida de la IA. Un sistema aprobado puede seguir presentando riesgos a medida que cambian sus usuarios, datos, integraciones, modelos o comportamiento.

El monitoreo debe brindar visibilidad sobre:

  • El uso de la IA y la actividad de los usuarios

  • El acceso a los datos

  • Las violaciones de políticas

  • Las acciones generadas por la IA

  • Los cambios en los modelos o las capacidades

  • El desempeño y el comportamiento inesperado

  • Los incidentes de seguridad

  • La actividad de los agentes

  • La actividad y las fallas de las API

La supervisión humana debe corresponder al nivel de riesgo y autonomía. Para la IA de mayor riesgo, defina cuándo es obligatoria la revisión humana, quién la lleva a cabo, qué información necesita y cuándo puede anular o detener una acción generada por la IA.

6. Revisar y mejorar continuamente la gobernanza   

La gobernanza de la IA no puede ser un ejercicio de aprobación único. El riesgo puede variar cuando una organización adopta un nuevo modelo, cambia de proveedor, agrega una integración, amplía las capacidades de un sistema de IA, modifica los datos que procesa o se enfrenta a nuevos requisitos normativos.

Establezca revisiones periódicas para:

  • Clasificaciones de riesgo de la IA

  • Acceso de usuarios y sistemas

  • Proveedores externos

  • Políticas y excepciones

  • Controles de seguridad

  • Rendimiento de la IA

  • Requisitos de cumplimiento

  • Registros de auditoría

  • Incidentes

  • Sistemas de IA programados para su retiro

Un ciclo de vida práctico puede seguir esta secuencia:

Descubrir → Clasificar → Aprobar → Implementar → Monitorear → Revisar → Reevaluar

El ciclo se repite cada vez que se produce un cambio significativo. Este enfoque permite a las organizaciones adaptar la gobernanza a medida que evolucionan las capacidades de la IA y los requisitos de negocio.

Marcos normativos y regulaciones sobre la gobernanza de la IA   

Las organizaciones que desarrollen un programa de gobernanza de la IA podrían necesitar tomar en cuenta los marcos establecidos y las regulaciones aplicables.

Marco de gestión de riesgos de la IA del NIST   

El Marco de gestión de riesgos de la IA del NIST (NIST AI RMF) ofrece un enfoque estructurado para gestionar los riesgos asociados con los sistemas de IA. Sus funciones principales son gobernar, mapear, medir y gestionar.

ISO/IEC 42001   

La norma ISO/IEC 42001 establece los requisitos para establecer, implementar, mantener y mejorar continuamente un sistema de gestión de la IA.

Ley de IA de la UE   

Las organizaciones que operan en el mercado europeo o que prestan servicios en él también podrían tener que tomar en cuenta la Ley de IA de la UE y sus requisitos basados en el riesgo.

Los requisitos adecuados dependerán de factores como el sector, la ubicación geográfica, el caso de uso, los datos y el papel que desempeñe una organización en el ecosistema de la IA.

Por lo tanto, se debe diseñar un marco de gobernanza que se adapte a los requisitos normativos y organizacionales aplicables, en lugar de basarse en una sola norma.

Cómo puede ManageEngine contribuir a la gobernanza de la IA en las empresas   

La implementación de un programa de gobernanza de la IA requiere visibilidad y control en todo el entorno de TI. ManageEngine ayuda a las organizaciones a identificar el uso de la IA, proteger los datos confidenciales, gestionar el acceso, hacer cumplir las políticas de seguridad y monitorear la actividad en los endpoints, las identidades, las aplicaciones y la infraestructura.

Por ejemplo, DataSecurity Plus ayuda a las organizaciones a detectar y controlar aplicaciones de IA no autorizadas, identificar la exposición de datos confidenciales y supervisar cómo interactúan los empleados con las plataformas de IA. Sus capacidades de gestión de la postura de seguridad de la IA (AI-SPM) amplían la visibilidad en todo el entorno de inteligencia artificial. Esto incluye modelos, aplicaciones y datos. Ayudan a las organizaciones a mapear los activos de IA, evaluar riesgos, aplicar controles y supervisar continuamente la actividad de la inteligencia artificial.

Endpoint Central brinda visibilidad y control en todos los endpoints, aplicaciones y dispositivos. Puede respaldar la gobernanza de la IA a través de la gestión de aplicaciones, las políticas de seguridad, los controles de cumplimiento y el monitoreo de endpoint. Sus capacidades impulsadas por IA también incorporan la aprobación y supervisión humanas antes de que se ejecuten acciones automatizadas, cuando las políticas de la organización así lo requieran.

OpManager Nexus brinda observabilidad full stack en redes, servidores, aplicaciones, entornos en la nube y demás infraestructura. Sus análisis impulsados por IA pueden ayudar a los equipos a detectar anomalías, correlacionar eventos y mantener una visibilidad continua de los entornos en los que operan las aplicaciones habilitadas para IA.

Las soluciones de gestión de identidades y accesos de ManageEngine también pueden respaldar la gobernanza mediante controles de acceso, gestión de identidades, auditoría y capacidades de cumplimiento. Por ejemplo, PAM360 y Application Control Plus admiten el acceso con privilegios mínimos, controles de privilegios y auditoría de actividades.

Esto brinda a las organizaciones la visibilidad y los controles necesarios para poner en práctica las políticas de gobernanza de la IA en toda la empresa.

Conclusión 

La gobernanza de la IA empresarial proporciona la estructura que las organizaciones necesitan para implementar la inteligencia artificial de manera responsable. Una guía sólida hace mucho más que crear políticas. Establece la responsabilidad, identifica los usos de la IA, clasifica los riesgos, protege los datos, controla el acceso, supervisa la actividad y reevalúa continuamente los riesgos.

El objetivo no es frenar la adopción de la IA, sino generar la visibilidad, la rendición de cuentas y el control suficientes para que las organizaciones adopten la IA con confianza.

Preguntas frecuentes 

¿Qué es un marco de gobernanza de la IA empresarial? 

Es un enfoque estructurado para gestionar la IA en toda una organización mediante políticas definidas, responsabilidades, controles de riesgo, medidas de seguridad, monitoreo y supervisión.

¿Por qué es importante la gobernanza de la IA?  

La gobernanza de la IA ayuda a las organizaciones a gestionar los riesgos relacionados con los datos, la seguridad, la privacidad, el cumplimiento normativo, los resultados inexactos, el uso no autorizado, el acceso excesivo y las acciones autónomas de la IA. Al mismo tiempo, fomenta la adopción responsable de la IA.

¿Cuáles son las áreas fundamentales de la gobernanza de la IA? 

Un marco práctico debe abarcar la propiedad y la rendición de cuentas, el descubrimiento de la IA y la clasificación de riesgos, la gobernanza de datos, el acceso y la seguridad, el monitoreo y la supervisión humana, así como la revisión continua.

¿Qué debe incluir una política de gobernanza de la IA? 

Una política de gobernanza de la IA debe definir el uso aceptable de la inteligencia artificial, las actividades prohibidas, los requisitos de manejo de datos, los controles de seguridad y acceso, los requisitos de aprobación, la supervisión humana, el monitoreo, la gestión de incidentes y la rendición de cuentas.

¿Quién es responsable de la gobernanza de la IA? 

La responsabilidad es compartida en toda la organización. El liderazgo ejecutivo brinda el respaldo. Al mismo tiempo, los responsables de negocios, TI, seguridad, datos, asuntos legales, cumplimiento y otras partes interesadas asumen la responsabilidad de las áreas dentro de su ámbito de especialización.

¿Cómo deben las organizaciones gobernar la IA generativa y la IA agéntica? 

Se aplican los mismos principios fundamentales de gobernanza, con atención adicional a la exposición de datos, los proveedores externos, los permisos, las integraciones, las acciones autónomas, la supervisión humana y el monitoreo continuo.