re-ai-gov Na lista de espera

Kennisbank

O que fica fora do âmbito, e quando isso deixa de ser assim

Uma pergunta que todos respondem demasiado depressa

Dentro de muitas organizações existe uma lista fixa de aplicações que supostamente ficariam "fora do âmbito". Uma sugestão de texto num processador de texto, um filtro de spam, um chatbot que só responde com base numa FAQ fixa. A suposição é que estas aplicações são demasiado pequenas, demasiado antigas ou demasiado inofensivas para estarem sujeitas a governança. Essa suposição por vezes está certa. Não está sempre certa, e raramente continua certa.

Se algo fica fora do âmbito não é uma propriedade da tecnologia. É uma classificação que resulta do que o sistema faz, para quem, e com que efeito quando algo corre mal. A mesma sugestão de texto que hoje fica fora do âmbito porque apenas propõe uma palavra a um colaborador, pode amanhã ficar dentro do âmbito quando passar a concluir e enviar e-mails automaticamente sem intervenção.

De que depende a classificação

Três fatores determinam em conjunto se uma aplicação fica dentro ou fora do âmbito.

O primeiro é a função: o sistema toma uma decisão, ou apenas fornece informação que uma pessoa avalia? Uma ferramenta que classifica candidatos está mais próxima do âmbito do que uma ferramenta que apenas torna currículos pesquisáveis. Em que ponto exato desse espetro se situa uma aplicação, e porquê, pode ler em a análise sobre o que significa um nível de risco elevado para a sua organização.

O segundo é o papel da própria organização. Quem compra um sistema e o utiliza sem alterações está numa posição diferente de quem o constrói, treina ou adapta. A mesma aplicação pode ficar fora do âmbito para uma organização e não para outra, apenas com base em quem assume que responsabilidade. Esta divisão é explicada em a questão de saber se é fornecedor ou utilizador, e altera-se logo que alguém na organização adapte ou treine novamente um modelo, como descrito em o que muda quando adapta um modelo você mesmo.

O terceiro fator é o tempo. Um sistema que agora fica fora do âmbito pode deixar de o estar um ano depois, não porque as regras mudaram, mas porque o uso mudou. Um chatbot que começou como fonte de informação pode evoluir para um sistema que trata reclamações. O papel de uma equipa ou departamento em relação a esse sistema muda então também, e quando isso acontece está descrito em quando o seu papel muda e de que depende isso.

O que isto significa na prática

A consequência destes três fatores é que "fora do âmbito" nunca é um estatuto permanente. É uma fotografia de um momento que tem de ser reavaliada logo que a função de um sistema mude, logo que a organização assuma um papel diferente em relação a esse sistema, ou logo que o uso se expanda para algo que não estava previsto na aquisição.

É precisamente aqui que a IA sombra perturba a classificação. Uma aplicação registada na lista de TI como "fora do âmbito" pode, na prática, ser utilizada de uma forma que já não se encaixa nessa categoria. Uma equipa que utiliza um modelo de linguagem para redigir rascunhos de comunicação com clientes pode também utilizá-lo para enviar respostas definitivas sem o comunicar. A classificação em papel e o uso na prática afastam-se então, e ninguém que olhe apenas para as licenças adquiridas vê essa diferença.

A única forma de ter visibilidade sobre isso é perguntar. Não a um sistema, mas às pessoas que o utilizam. Isso só funciona se fazer perguntas não equivaler a prestar contas: quem tem medo de consequências ajusta a sua resposta ou não a dá. Uma classificação baseada exclusivamente nas licenças adquiridas falha, por isso, sistematicamente as aplicações que surgiram do uso prático, e são frequentemente precisamente essas aplicações de que já ninguém sabe se ainda ficam fora do âmbito ou se já estão bem dentro dele.

O âmbito é um resultado, não um ponto de partida

A pergunta "isto fica fora do âmbito" não pode, por isso, ser respondida isoladamente da pergunta sobre o que exatamente acontece, quem decide sobre isso, e há quanto tempo essa situação existe. Um inventário que registe estes três fatores por aplicação produz uma classificação que corresponde à situação real, em vez da suposição com que um sistema foi adquirido em determinado momento. O que já exige atenção agora e o que pode ser planeado com calma depende dos mesmos fatores e é tratado em a distinção entre o que tem de ser feito agora e o que pode ser planeado.

Da classificação à compreensão do próprio trabalho

Logo que esteja claro que aplicações ficam dentro do âmbito e que papel a sua organização desempenha nesse contexto, surge uma questão subsequente que não é sobre governança, mas sobre trabalho: que parte de uma tarefa é efetivamente assumida por essa aplicação, e que parte continua a ser trabalho humano? Essa pergunta não é respondida pelo scan de governança. Para isso existe o scan de trabalho da FTE TO AI, que calcula por tarefa que parte do trabalho pode ser assumida pela IA, dando assim uma imagem do esforço que está por detrás da classificação.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.