re-ai-gov Apuntarse a la lista de espera

Kennisbank

Monitoreo que realmente se utiliza

El problema no es la falta de monitoreo

La mayoría de las organizaciones ya tienen algo que llaman monitoreo. Un panel de control, un formato de informe, una reunión periódica donde se discuten los riesgos. El problema no es que esto falte. El problema es que el monitoreo de IA se coloca al lado como un componente aparte, con su propio ritmo, su propio responsable y su propia plantilla. Quien ya tiene tres procesos para seguir el riesgo, no va a rellenar fielmente un cuarto proceso. Se convierte en una obligación que se despacha una vez por trimestre, o que no se hace en absoluto.

Esa es la razón por la que el monitoreo del uso de IA tan a menudo no aporta nada. No porque las preguntas estén mal formuladas, sino porque el proceso en sí sigue siendo un cuerpo extraño dentro de una organización que ya tiene procesos para el riesgo, el cumplimiento y el control interno.

Qué debe incluir un monitoreo real

El monitoreo que aporta algo no empieza con un formato, sino con una pregunta: ¿qué está cambiando, y quién lo nota primero? Para los sistemas de IA, esto implica tres capas.

La primera capa es el uso: ¿se sigue utilizando un sistema tal como se pretendía, o la aplicación se ha desplazado sin que nadie lo haya notificado? Una herramienta que empezó como corrector de textos y que ahora se utiliza para formular borradores de decisiones representa un riesgo distinto al que se determinó en su inicio.

La segunda capa es el origen: ¿sigue siendo el sistema el mismo que cuando se clasificó? Los modelos subyacentes se sustituyen, los proveedores modifican sus condiciones, una herramienta independiente se integra en una plataforma mayor. Cada cambio puede invalidar la evaluación de riesgo de aquel momento sin que nadie la vuelva a valorar.

La tercera capa es la señal: ¿hay quejas, mensajes de error o desviaciones que indiquen que algo no funciona como se suponía? Esta es la capa que más a menudo falta, porque a nadie le interesa informar de un problema con un sistema que oficialmente no existe.

Por qué se ignora un segundo proceso

Una organización que ya tiene un ciclo de riesgo para riesgos operativos, riesgos financieros o protección de datos, no va a iniciar un nuevo ciclo para la IA. Esto no es falta de voluntad; es una cuestión de capacidad. Quien lo intenta, ve suceder dos cosas. O el nuevo monitoreo se queda vacío, porque nadie encuentra tiempo para alimentar un sistema que nadie exige. O el nuevo monitoreo termina siendo asumido por las mismas personas que ya gestionan el ciclo existente, y entonces la distinción desaparece por sí sola.

La pregunta, por tanto, no es si debe crearse un proceso de monitoreo de IA independiente. La pregunta es cómo las señales de IA llegan al ciclo existente, de modo que se discutan en la misma reunión, con el mismo responsable y en el mismo ritmo que otros riesgos. Cómo se organiza exactamente esto depende de cómo funcione ya ese ciclo existente: algunas organizaciones tienen un informe trimestral al comité de auditoría, otras una reunión de riesgo mensual a nivel de dirección, otras un registro continuo que se actualiza por incidente. Más sobre cómo integrar el monitoreo en lo que ya funciona en lugar de añadir algo aparte figura en una página aparte, porque ese mecanismo se aplica de forma distinta según la organización.

El documento que está ahí cuando alguien lo pregunta

Lo que sí encaja de forma universal es un formato fijo en el que se registre el estado de los sistemas de IA: qué está en funcionamiento, en qué rol, con qué nivel de riesgo, y cuándo se confirmó eso por última vez. No como documento de IA independiente, sino como anexo o parte fija del informe que ya existe. Esto puede conectarse con un informe al consejo de una sola página que resume los riesgos sin disimularlos, de modo que el monitoreo no se convierta en un flujo de información aparte, sino en una línea de una tabla que el directivo ya lee.

Este formato solo funciona si la clasificación subyacente se mantiene actualizada, y esa clasificación debe a su vez conectarse con la estructura de riesgo que ya existe. Sin esa conexión, el monitoreo sigue siendo un segundo idioma junto al primero, y ese segundo idioma se olvida en cuanto aumenta la presión. Cómo se ve esa conexión depende de cómo se unen la estructura de riesgo y la clasificación de IA en lo que una organización ya utiliza, y no se puede describir en términos generales sin conocer la estructura existente.

Lo que encuentra el monitoreo va más allá de un documento

El monitoreo que funciona bien no solo señala el riesgo, sino también el desplazamiento: sistemas que se utilizan de forma distinta a la prevista, o tareas que se han asumido silenciosamente sin que nadie lo haya registrado. Esas mismas señales son también información sobre en qué emplean su tiempo realmente las personas, y dónde la IA ya está asumiendo trabajo de facto sin que eso se haya anotado en ningún lugar. Quien quiera concretar esa pregunta más allá de lo que permite una clasificación de riesgo, puede consultar el escáner de trabajo de FTE TO AI para ver qué parte del trabajo por tarea es apta para la IA, independientemente de si eso ya ocurre o todavía debe decidirse. Ese escáner no calcula en riesgo, sino en tareas y horas, y así se conecta con lo que señala el monitoreo sin explicarlo.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.