re-ai-gov Apuntarse a la lista de espera

Kennisbank

Responsabilidad ante un error de las aplicaciones de IA

Una aplicación de IA comete un error. Una decisión no es correcta, un consejo es engañoso, un cliente es rechazado injustamente. La pregunta que surge entonces no es solo técnica. Quién debería haberlo previsto, quién gestionaba el sistema, y quién puede explicar por qué se implementó de la manera en que se implementó.

Esa respuesta no existe independientemente de un registro. La responsabilidad presupone que alguien sabe que una aplicación existe, para qué sirve y quién se encarga de ella. Sin esa base, la pregunta sobre la responsabilidad es retórica: no hay nadie que lo sepa, así que no hay nadie que lo pueda explicar.

Lo que un inventario resuelve y lo que no

Un Responsible AI Scan cartografía qué está funcionando, quién lo utiliza y con qué nivel de riesgo va acompañado. Ese es un punto de partida, no un pronunciamiento sobre culpabilidad. El escaneo clasifica una aplicación según su función y riesgo; no evalúa si una decisión individual fue correcta. Esa evaluación corresponde al incidente en sí, no al inventario que lo precedió.

Lo que el escaneo sí hace es proporcionar la estructura dentro de la cual esa evaluación se puede realizar más adelante. Si se sabe quién adquirió una aplicación, quién la gestiona y para qué finalidad fue aprobada, hay una línea a la que recurrir. Si esa estructura no existe, la pregunta sobre la responsabilidad se reduce a conjeturas a posteriori.

La lista de TI no es la práctica

La mayoría de las organizaciones tienen un resumen del software aprobado. Ese resumen casi nunca está completo. Los empleados utilizan herramientas que nadie ha registrado, a menudo porque el trabajo avanza más rápido y nadie preguntó. Eso no es, por definición, un comportamiento irresponsable; es lo que ocurre cuando una organización no ofrece otra vía.

Quien quiera saber qué se utiliza realmente, debe preguntarlo. Y eso solo funciona si preguntar no tiene consecuencias. En el momento en que un empleado sospecha que una respuesta honesta conducirá a una conversación correctiva, la respuesta se detiene. Qué hacer con los empleados que utilizan una herramienta que nadie ha aprobado trata precisamente sobre ese mecanismo: el inventario es tan bueno como la confianza con la que se recopila.

A esto se suma la pregunta de qué ocurre con la información empresarial en el momento en que se escribe en una ventana externa. Qué hacer con los datos empresariales en una ventana de chat gratuita describe un riesgo que existe independientemente de la mala intención: alguien simplemente quiere que se revise un texto, y al hacerlo escribe algo que no debería haberse compartido.

Demostrabilidad, no garantía

Un conjunto de gobernanza que sigue a un inventario regula quién aprueba una aplicación, quién ejerce el control y cómo se registra eso. Esto se conecta con la estructura de riesgo que una organización ya tiene para otros ámbitos: los mismos comités, las mismas líneas de reporte, las mismas rutas de escalamiento. No se crea un nuevo aparato junto al existente; se añade una categoría a lo que ya existe.

Esto genera demostrabilidad: un consejo puede mostrar que se ha revisado, clasificado y establecido un control. No genera garantía de que una aplicación nunca vuelva a cometer un error. Esas dos cosas son distintas, y el escaneo no se pronuncia sobre la segunda. Lo que ofrece es una base sobre la cual un consejo puede explicar lo que se ha hecho, no un seguro contra lo que aún pueda ocurrir.

Por qué un segundo proceso suele no perdurar

Un error frecuente es montar un proceso de IA separado, aparte de la estructura de riesgo y cumplimiento existente. Ese proceso recibe atención al principio y luego pasa a segundo plano, porque nadie sigue manteniendo un segundo sistema junto al primero. Por qué se ignora un segundo proceso junto al existente explica por qué la conexión con las estructuras existentes no es una cuestión de eficiencia, sino una condición para que algo perdure.

También forma parte de esto el hecho de que un inventario es un momento, no un punto final. Se añaden nuevas aplicaciones, las existentes cambian de función, y una clasificación que era correcta en el momento de la entrega no necesariamente lo sigue siendo un año después. Con qué frecuencia debe volver a clasificar y cómo mantiene actualizado un registro de IA describen lo que ese mantenimiento exige en la práctica, y por qué un registro elaborado una sola vez deja de corresponder con la realidad en un plazo razonable.

Las personas que trabajan con estas aplicaciones, además, forman parte de la solución, no solo un riesgo que hay que gestionar. Lo que los empleados entienden y no entienden de los sistemas que utilizan determina si un conjunto de gobernanza significa algo en la práctica. Qué significa la alfabetización en IA para sus empleados profundiza en ese aspecto.

La siguiente pregunta

Quien una vez sabe qué aplicaciones de IA están en funcionamiento y quién se encarga de ellas, se encuentra de forma natural con una pregunta consecuente: qué parte del trabajo que ahora se realiza manualmente es, en realidad, apta para dejarse en manos de una aplicación de IA. Esa es una pregunta distinta de la responsabilidad, pero que se apoya en el mismo inventario. El escaneo de trabajo de FTE TO AI calcula, por tarea, qué parte del trabajo puede asumir la IA, como un siguiente paso una vez que está claro qué está ya en funcionamiento y quién decide sobre ello.

El escaneo que se describe en esta página está en construcción. Quien esté interesado puede inscribirse en la lista de espera; todavía no se entrega nada que no esté terminado.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.