Adquirir un sistema de IA y utilizarlo tal como se entrega es una situación distinta a adaptar un modelo a sus propios datos o finalidad. Esa adaptación puede cambiar la clasificación de su organización — y con ello las preguntas que debe poder responder. Si eso ocurre, y cuánto peso tiene, depende de lo que exactamente se adapte y para qué se emplee el sistema.
La clasificación no depende de si usted escribió el código fuente. Depende de lo que efectivamente ocurre con un modelo una vez que llega a su organización. Algunos factores que influyen:
Estos factores actúan en conjunto. No existe un umbral fijo que se aplique en todos los casos; la normativa vigente con los criterios exactos se encuentra en otro lugar, y ese texto puede modificarse. Lo que permanece en esta página es el mecanismo: adaptar puede cambiar el rol, y el rol determina la obligación.
El rol que asume su organización respecto a un sistema de IA no es fijo. Quien solo utiliza un modelo tal como se entrega suele tener una posición distinta a quien modifica el modelo y luego lo comercializa por su cuenta o lo implementa internamente a gran escala. La pregunta de cuándo se produce esa transición, y qué cambia en ese momento respecto a lo que debe poder demostrar, se trata en cuándo cambia su rol y dónde está ese límite. Para las organizaciones que dudan si son proveedor o usuario — una pregunta que se presenta con más frecuencia de lo que se piensa en cuanto se realizan adaptaciones internas — hay una explicación separada en la distinción entre proveedor y usuario de un sistema de IA.
La razón por la que esto importa no es formal. Un cambio de rol modifica lo que debe poder demostrar: qué documentación mantiene, quién dentro de la organización es responsable de la supervisión, y qué pasos se dieron antes de poner en uso el sistema adaptado. Un modelo que usted mismo ha adaptado es un modelo sobre el cual se le puede pedir que justifique cómo se produjo esa adaptación.
La adaptación también puede influir en el nivel de riesgo de una aplicación. Un modelo originalmente destinado a una aplicación de riesgo leve puede, tras una adaptación, pasar a una categoría más exigente — por ejemplo, cuando después de la adaptación se emplea para decisiones sobre personas. Lo que significa en concreto un nivel de riesgo alto para las obligaciones de su organización se explica en qué significa un nivel de riesgo alto para los requisitos de su organización. También aquí se aplica lo mismo: la clasificación se deriva del uso, no de la intención con la que el modelo se construyó en su día.
Esto se relaciona directamente con el núcleo de la IA en la sombra (shadow AI). Una adaptación que no pasa por TI — un equipo que ajusta un modelo por su cuenta con un conjunto de datos propio, o un departamento que conecta un modelo externo a sistemas internos sin informar de ello — cambia la clasificación de su organización sin que la dirección lo sepa. El listado de TI no muestra esa adaptación. Quien quiera saber si esto ocurre debe consultarlo con los equipos que trabajan con ello a diario, y esa conversación solo da resultado si se plantea sin ánimo de sanción.
Cuando una adaptación modifica el rol o el nivel de riesgo de una aplicación, varias cosas cambian a la vez: la documentación que debe mantenerse, la cuestión de quién dentro de la organización es propietario de esa aplicación, y el momento en que algo todavía puede planificarse frente a lo que ya requiere atención. Esa distinción — entre lo que ya es urgente ahora y lo que puede programarse — se relaciona con los factores que se explican en qué requiere atención ya y qué puede programarse. Una explicación más extensa de la propia cuestión de clasificación, incluidos los casos límite que se presentan con más frecuencia en la práctica, se encuentra en la explicación completa sobre qué cambia al adaptar un modelo por su cuenta.
Un modelo adaptado es, en la práctica, a menudo también un modelo que asume parte del trabajo que antes realizaban por completo personas. Si eso es así, y qué parte del trabajo involucra, es una pregunta independiente de la cuestión de clasificación, pero que suele seguirla de cerca: en cuanto queda claro que un modelo se ha adaptado y para qué se emplea, también se hace visible qué parte de una tarea realiza efectivamente. El escáner de trabajo de FTE TO AI calcula esto por tarea y muestra qué parte del trabajo puede ser asumida por la IA, independientemente de cómo se haya originado el modelo subyacente.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.