Antes que um nível de risco, uma obrigação ou uma medida de governança tenha significado, é preciso estabelecer qual papel a sua organização desempenha. Quem coloca um sistema de IA no mercado tem responsabilidades diferentes de quem utiliza um sistema construído por outra parte. O termo utilizado para isso é conhecido: fornecedor versus utilizador. Mas a classificação em si não está fixada num organograma. Depende do que uma organização faz com um sistema específico, e isso pode variar por sistema, por departamento e por momento.
A questão central não é quem comprou ou instalou o sistema, mas quem o colocou no mercado ou o disponibiliza sob o próprio nome. Uma organização que adquire e utiliza software tal como fornecido é, geralmente, utilizadora. Uma organização que desenvolve um sistema, o encomenda sob o seu nome, ou adapta um sistema existente de tal forma que este se torna funcionalmente algo diferente, pode com isso assumir o papel de fornecedor. Este último ponto é frequentemente onde as organizações se enganam: fazer o ajuste fino (finetuning) de um modelo, construir uma camada própria sobre um sistema externo, ou treinar um chatbot com dados próprios pode fazer o papel mudar sem que ninguém tenha vivido isso como uma escolha consciente. O que exatamente conta como uma adaptação que altera o papel está descrito em o que muda quando adapta um modelo você mesmo.
A maioria das organizações não é exclusivamente fornecedora ou exclusivamente utilizadora. Um banco que utiliza um modelo de linguagem externo para o serviço ao cliente é, nesse caso, utilizador, mas se esse mesmo banco disponibilizar um modelo de risco desenvolvido internamente a outro departamento ou a um cliente, surge para esse sistema um papel de fornecedor. Isto significa que a classificação deve ser feita por aplicação, não uma única vez para toda a organização. Um inventário que registe, por sistema, quem o construiu, quem o adaptou e quem o utiliza é, por isso, a única forma de responder a esta questão de forma estrutural em vez de incidental.
O papel não é uma característica fixa de uma organização, mas um estado sujeito a alteração. Um fornecedor pode alterar o seu sistema de uma forma que afeta o perfil de risco. Um desenvolvedor interno pode transformar uma ferramenta interna em algo que passa a ser oferecido fora da organização. Um sistema que outrora entrou como uma ferramenta simples pode, após uma atualização, passar a executar tarefas que o colocam noutra categoria de risco. Em que momentos esta mudança ocorre concretamente e o que isso significa para quem passa a ser responsável está explicado em quando é que o seu papel muda. Para organizações que queiram compreender o que uma mudança para um nível de risco mais elevado implica na prática, o que significa um nível de risco elevado para a sua organização oferece um desenvolvimento adicional.
Nem toda aplicação designada como inteligência artificial se enquadra no âmbito para o qual a divisão de papéis é relevante. Alguns sistemas ficam fora do âmbito para o qual esta classificação foi criada, e para uma organização é tão importante saber o que fica fora do âmbito como saber o que fica dentro dele. De outro modo, gasta-se tempo a classificar algo que não precisava de classificação, ou algo é negligenciado por parecer demasiado pequeno. Quais aplicações ficam fora deste âmbito e porquê está descrito em quais aplicações ficam fora do âmbito.
Estabelecer o papel é um primeiro passo, não o resultado de um processo de governança. Após a classificação, segue-se a questão do que efetivamente deve acontecer para cada papel e cada nível de risco, e essa questão divide-se em duas categorias: o que exige atenção imediata e o que pode ser planeado a mais longo prazo. Estas duas categorias são frequentemente confundidas, com o resultado de que assuntos urgentes ficam pendentes enquanto se gasta tempo com algo que ainda não é urgente. Um panorama do que tem prioridade nisso está em o que precisa de atenção agora e o que pode ser planeado. Quem quiser aprofundar ainda mais a questão da divisão de papéis, com os critérios precisos que determinam a fronteira entre fornecedor e utilizador, encontra esse desenvolvimento em é fornecedor ou utilizador: de que depende isso.
Esta classificação só faz sentido se for aplicada ao que realmente está em funcionamento na organização, não ao que consta numa lista aprovada. Sistemas introduzidos sem autorização contam igualmente, e o papel correspondente deve ser estabelecido da mesma forma. Isso exige um inventário que vá além da administração de TI.
Assim que fica claro qual papel uma organização desempenha por sistema, a atenção desloca-se naturalmente para outra pergunta: o que é que estes sistemas realmente fazem, e que parte do trabalho assumem. Essa pergunta situa-se fora do âmbito da avaliação de governança, mas está diretamente ligada a ela. A avaliação de trabalho (werkscan) da FTE TO AI calcula, por tarefa, que parte do trabalho pode ser assumida pela IA, oferecendo assim uma perspetiva sobre o impacto de um sistema, a par da perspetiva sobre as obrigações a ele associadas.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.