re-ai-gov Apuntarse a la lista de espera

Kennisbank

De qué depende el nivel de riesgo de una aplicación de IA

Una clasificación no es una etiqueta, es un resultado

La pregunta de si una aplicación de IA dentro de su organización se considera de alto riesgo no es una pregunta que responda una sola vez y luego marque como resuelta. Es el resultado de una serie de factores que juntos determinan cuánto peso tiene una aplicación. Si uno de esos factores cambia, es posible que la clasificación también cambie. Esto hace que la clasificación de riesgos sea menos una cuestión de rellenar y más una cuestión de mantener al día.

Esta página describe el mecanismo detrás de esa clasificación: de qué depende y qué ocurre cuando la situación cambia. Las definiciones y umbrales legales vigentes se encuentran en otro lugar; aquí se trata de lo que su propia organización debe poder ver y demostrar.

Qué influye en la clasificación

Una serie de factores desempeña un papel estructural en la cuestión de si una aplicación tiene un peso considerable.

El primero es el dominio en el que se despliega la aplicación. Algunos dominios —piense en decisiones sobre personas, sus oportunidades o sus derechos— pesan más que las aplicaciones que son exclusivamente internas y de apoyo. Lo que la aplicación hace exactamente dentro de ese dominio también supone una diferencia: un sistema que asesora pesa de forma distinta a un sistema que decide automáticamente.

El segundo factor es el papel que desempeña su organización respecto al sistema. ¿Lo construye usted mismo, lo adquiere, o utiliza un servicio que incorpora IA sin que lo haya adquirido como tal? El papel que desempeña —proveedor o usuario— determina en parte qué obligaciones le corresponden y qué parte de la responsabilidad permanece en manos de un proveedor.

El tercer factor es lo que ocurre con el modelo después del primer despliegue. Un sistema que se utiliza sin modificaciones tal como se ha suministrado es una situación distinta a un sistema que usted ajusta mediante finetuning, reconfigura o hace aprender con datos propios. Qué cambia cuando usted mismo ajusta un modelo es, por tanto, una pregunta que debe responderse por separado: una modificación puede hacer que un sistema cambie de categoría.

El cuarto factor es el alcance: cuántas personas se ven afectadas, con qué frecuencia, y cuán reversible es un error. Una aplicación que se utiliza de forma esporádica por un equipo pequeño pesa de forma distinta a una aplicación que influye diariamente en decisiones para miles de clientes.

Por qué la misma aplicación puede cambiar de clasificación

Estos factores no son estáticos. Una aplicación que hoy se considera de riesgo limitado puede dejar de serlo mañana, no porque las normas hayan cambiado, sino porque la aplicación misma ha cambiado. Un proyecto piloto que se amplía a toda la organización, una herramienta interna que empieza a afectar un proceso de clientes, un modelo que se reentrena con nuevos datos: cada uno de estos pasos puede hacer que la clasificación se incline hacia otro lado.

Esto significa que la clasificación no es un ejercicio único. Es una pregunta que debe plantearse de nuevo cada vez que algo cambia en lo que un sistema hace, a quién afecta o quién lo gestiona. Una estructura de gobernanza que no siga ese ritmo va por detrás de la práctica.

Qué no entra dentro de esta clasificación

No todas las aplicaciones de IA necesitan pasar por todo este proceso. Parte de lo que funciona dentro de una organización queda fuera del alcance de la clasificación de riesgos, por ejemplo porque no afecta a decisiones sobre personas o porque tiene únicamente una función de apoyo, no determinante. Dónde se encuentra exactamente ese límite y qué aplicaciones quedan fuera del alcance depende de los mismos factores descritos anteriormente: dominio, papel, modificación y alcance. Por tanto, no se trata de una lista aparte, sino del otro lado de la misma evaluación.

De la clasificación a la acción

Una clasificación en sí misma no cambia nada. Solo determina qué pasos siguientes corresponden y con qué urgencia. Algunas acciones son necesarias de inmediato, otras pueden planificarse, y qué debe hacerse ahora y qué puede planificarse depende a su vez de cuánto pesa la aplicación y a cuántas personas afecta.

Para hacer visibles y trazables esos pasos, las decisiones sobre clasificación y acciones posteriores deben registrarse en algún lugar, no como notas sueltas, sino como parte de una lista de decisiones de supervisión que muestre quién decidió qué y sobre la base de qué información. Sin ese registro, una clasificación es una fotografía de un momento que nadie podrá reconstruir después.

Por qué esto no puede hacerse sin una imagen completa

Esta cuestión de clasificación solo puede responderse correctamente si se sabe qué está realmente en funcionamiento. Una lista de TI con herramientas aprobadas no es suficiente para ello: gran parte del uso surge fuera de esa lista, en equipos que han empezado a utilizar una herramienta sin comunicarlo en ningún lugar. Quien quiera obtener una visión de ese uso debe preguntar por él, y hacerlo únicamente sin que ello conlleve consecuencias, pues de lo contrario la respuesta no llegará.

La siguiente pregunta: cuánto trabajo supone, y dónde

Una vez que está claro qué aplicaciones existen y cuánto pesan, surge una pregunta de seguimiento que ya no trata sobre el riesgo, sino sobre el trabajo: qué parte de una tarea puede asumir un sistema de IA y qué parte sigue siendo trabajo humano. Esa pregunta la responde el escáner de trabajo de FTE TO AI, que calcula por tarea qué parte del trabajo se puede asumir, un enfoque distinto al de la clasificación de riesgos, pero que se basa en el mismo inventario.

Esta página describe el mecanismo detrás de la clasificación. El Responsible AI Scan en sí está en desarrollo; quien desee utilizar sus resultados en cuanto estén disponibles puede inscribirse en la lista de espera.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.