A questão de saber se uma aplicação de IA é considerada de alto risco parece uma qualificação técnica. Na prática, trata-se de uma classificação que depende de um conjunto de fatores concretos, e essa classificação determina, por sua vez, quanto de supervisão, documentação e demonstrabilidade se espera de si. As definições e limites legais atuais não constam nesta página; encontra-os noutro lugar. Aqui explicamos de que depende a classificação e o que muda na sua organização quando essa classificação se altera.
Não existe uma única característica que torne uma aplicação de alto risco. Trata-se de uma combinação de fatores que, juntos, formam o quadro: o domínio em que a aplicação é utilizada, o grau em que uma decisão tem consequências diretas para uma pessoa, e a questão de saber se existe um ser humano que consegue efetivamente avaliar o parecer ou o resultado da IA e, se necessário, corrigi-lo antes de ter efeito. Uma aplicação que apenas resume texto situa-se, geralmente, de forma diferente nessa classificação do que uma aplicação que pesa numa decisão sobre um indivíduo. Também o contexto em que uma aplicação é utilizada conta: a mesma tecnologia subjacente pode ser considerada de baixo risco num domínio e de alto risco noutro, dependendo do que acontece ao resultado.
Esta é uma das razões pelas quais uma lista de software aprovado não é suficiente. A classificação não depende do rótulo colocado no pacote, mas de como este é efetivamente utilizado e do lugar que ocupa no processo de decisão.
Quando uma aplicação é avaliada como de risco mais elevado, algo muda no que se espera da organização: mais documentação sobre o funcionamento da aplicação e a forma como foi testada, um mecanismo de supervisão mais claro sobre os resultados, e uma forma de poder demonstrar, a posteriori, quem verificou o quê. Isto não é uma ação pontual, mas uma obrigação contínua: a documentação e a supervisão devem manter-se atualizadas enquanto a aplicação estiver em uso.
A classificação também não é estática. Uma aplicação que hoje é considerada de risco limitado pode, amanhã, ser utilizada de forma diferente — noutro domínio, com maior impacto sobre indivíduos, ou com menos intervenção humana do que anteriormente. Quem determina a classificação uma única vez e nunca mais a revê corre o risco de a classificação deixar de corresponder ao uso real. O mesmo se aplica a aplicações que são ajustadas depois de adquiridas; o que exatamente muda quando ajusta um modelo por conta própria depende da natureza desse ajuste, tal como descrito na página sobre ajustes a um modelo.
A classificação de uma aplicação só é significativa se for aplicada ao que é realmente utilizado. Uma grande parte da utilização numa organização decorre fora do inventário oficial: equipas que utilizam um modelo de linguagem para um rascunho de e-mail, um analista que usa um modelo externo para uma primeira versão de um relatório, um departamento que adquiriu uma ferramenta sem a comunicar. Essa utilização não surge por má-fé. Surge porque o caminho oficial é mais lento do que a necessidade, ou porque ninguém sabia que era necessário seguir um caminho.
A consequência é que a lista de TI raramente dá um quadro completo. Quem quiser saber o que é realmente necessário em termos de classificação de risco tem de mapear o próprio uso — e isso exige fazer perguntas às pessoas que executam o trabalho, sem que isso tenha consequências negativas. Quem sente, já na primeira conversa, que uma resposta sincera terá consequências, não responde com sinceridade. Isso torna o inventário inutilizável antes mesmo de estar concluído.
Nem toda a aplicação de IA se enquadra no quadro em que a classificação de risco é relevante. Algumas aplicações ficam, pela sua natureza ou finalidade, fora do âmbito da regulamentação, e é aconselhável fazer essa distinção antecipadamente, antes de gastar tempo numa classificação que não é necessária; quais as aplicações em causa está descrito na página sobre aplicações que ficam fora do âmbito das obrigações. Também o papel que a sua organização desempenha — como fornecedor de um sistema ou como utilizador do mesmo — influencia quais as obrigações associadas a uma classificação de risco, e esse papel não é sempre claro de antemão; o que é determinante nesse caso pode ser consultado na página sobre a distinção entre fornecedor e utilizador. Esse mesmo papel pode, aliás, mudar assim que ajustar um sistema ou o oferecer sob o seu próprio nome, algo explicado com mais detalhe na página sobre as circunstâncias em que o seu papel se altera.
Uma classificação por nível de risco suscita quase sempre a questão seguinte: o que é urgente e o que ainda pode ser planeado. Essa distinção não é igual para todas as organizações e depende de quais as aplicações já em produção e quais ainda em desenvolvimento. Um resumo do que geralmente exige atenção imediata e do que pode seguir mais tarde encontra-se na página sobre o que é necessário agora e o que pode ser planeado.
Depois de esclarecido quais as aplicações na sua organização que são consideradas de alto risco, surge naturalmente outra questão: quanto do trabalho subjacente é efetivamente realizado por IA, e quanto por pessoas que verificam ou complementam o resultado. Essa questão está fora do âmbito desta análise, mas é respondida pela análise de trabalho da FTE TO AI, que calcula, por tarefa, que parte do trabalho pode razoavelmente ser assumida pela IA.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.