La pregunta de si una aplicación de IA se considera de alto riesgo suena como una calificación técnica. En la práctica, es una clasificación que depende de una serie de factores concretos, y esa clasificación determina a su vez cuánta supervisión, documentación y capacidad de demostración se espera de usted. Las definiciones legales y umbrales vigentes no figuran en esta página; los encontrará en otro lugar. Aquí explicamos de qué depende la clasificación y qué cambia en su organización cuando esa clasificación varía.
No existe una única característica que convierta una aplicación en de alto riesgo. Es una combinación de factores que juntos forman el panorama: el dominio en el que se despliega la aplicación, la medida en que una decisión tiene consecuencias directas para una persona, y la cuestión de si hay una persona que pueda evaluar realmente el consejo o el resultado de la IA y corregirlo si es necesario antes de que tenga efecto. Una aplicación que solo resume texto suele situarse de forma distinta en esa clasificación que una aplicación que interviene en una decisión sobre un individuo. El contexto en el que se usa una aplicación también cuenta: la misma técnica subyacente puede considerarse de bajo riesgo en un dominio y de alto riesgo en otro, dependiendo de lo que se haga con el resultado.
Esta es una de las razones por las que una lista de software aprobado no basta. La clasificación no depende de la etiqueta del paquete, sino de cómo se utiliza realmente y del lugar que ocupa en el proceso de decisión.
Si se evalúa que una aplicación tiene un riesgo más alto, cambia algo en lo que se espera de la organización: más documentación sobre cómo funciona y ha sido probada la aplicación, un mecanismo de supervisión más claro sobre los resultados, y una manera de poder demostrar a posteriori quién prestó atención a qué. No se trata de una acción puntual, sino de una obligación continua: la documentación y la supervisión deben mantenerse actualizadas mientras la aplicación esté en uso.
La clasificación tampoco es estática. Una aplicación que hoy se considera de riesgo limitado puede desplegarse de otra manera mañana: en otro dominio, con un mayor impacto sobre individuos, o con menos intervención humana que antes. Quien fija la clasificación una sola vez y no la revisa después corre el riesgo de que la clasificación deje de corresponder con el uso real. Esto se aplica igualmente a las aplicaciones que se modifican después de haber sido adquiridas; lo que cambia exactamente cuando usted mismo ajusta un modelo depende de la naturaleza de esa modificación, tal como se describe en la página sobre modificaciones a un modelo.
La clasificación de una aplicación solo tiene sentido si se aplica a lo que realmente se utiliza. Una gran parte del uso dentro de una organización queda fuera del inventario oficial: equipos que emplean un modelo de lenguaje para un borrador de correo electrónico, un analista que usa un modelo externo para una primera versión de un informe, un departamento que ha adquirido una herramienta sin notificarlo. Ese uso no surge por mala voluntad. Surge porque la vía oficial es más lenta que la necesidad, o porque nadie sabía que había que seguir una vía determinada.
La consecuencia es que la lista de TI rara vez ofrece un panorama completo. Quien quiera saber qué se necesita realmente en materia de clasificación de riesgo debe cartografiar el uso él mismo, y eso exige formular preguntas a las personas que hacen el trabajo, sin que ello tenga consecuencias posteriores. Quien ya siente en la primera conversación que una respuesta sincera tendrá consecuencias, no responde con sinceridad. Eso deja el inventario inservible antes incluso de haberlo terminado.
No todas las aplicaciones de IA entran dentro del marco en el que la clasificación de riesgo es relevante. Algunas aplicaciones quedan, por su naturaleza o finalidad, fuera del alcance de la normativa, y es recomendable establecer esa distinción desde el principio antes de dedicar tiempo a una clasificación que no es necesaria; qué aplicaciones son esas se describe en la página sobre las aplicaciones que quedan fuera del alcance de las obligaciones. El papel que desempeña su organización —como proveedor de un sistema o como usuario del mismo— también influye en qué obligaciones se vinculan a una clasificación de riesgo, y ese papel no siempre está claro de antemano; qué es lo que resulta determinante en ese sentido puede leerlo en la página sobre la distinción entre proveedor y usuario. Ese mismo papel puede, además, cambiar en cuanto modifique un sistema o lo ofrezca bajo su propio nombre, algo que se explica con más detalle en la página sobre las circunstancias en las que su papel cambia.
Una clasificación por nivel de riesgo casi siempre suscita la pregunta siguiente de qué resulta urgente y qué puede planificarse. Esa distinción no es igual para cada organización y depende de qué aplicaciones ya están en producción y cuáles siguen en desarrollo. Un resumen de lo que suele requerir atención primero y lo que puede abordarse más adelante figura en la página sobre qué debe hacerse ahora y qué puede planificarse.
Una vez que queda claro qué aplicaciones de su organización se consideran de alto riesgo, surge de forma natural otra pregunta: cuánto del trabajo subyacente lo realiza realmente la IA y cuánto personas que controlan o complementan el resultado. Esa pregunta queda fuera del alcance de este escáner, pero la responde el escáner de trabajo de FTE TO AI, que calcula por tarea qué parte del trabajo puede razonablemente ser asumida por la IA.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.