re-ai-gov Na lista de espera

Kennisbank

É fornecedor ou utilizador de IA — e por que isso é mais complicado do que parece

Uma classificação que não é fixa

Muitas organizações partem do princípio de que a classificação em fornecedor ou utilizador é única: um sistema é adquirido em algum lugar, e com isso o papel da sua organização fica determinado. Na prática, isso é mais matizado. O papel que tem em relação a um sistema de IA depende do que faz com ele, não de onde o sistema veio. A mesma organização pode ser utilizadora para um sistema e, para outro, sem que ninguém o tenha assim designado, fornecedora.

De que depende a classificação

A questão central não é quem construiu o sistema, mas quem o coloca no mercado ou o utiliza sob nome próprio. Uma organização que adquire um sistema de IA pronto a usar e o utiliza no seu próprio processo é, geralmente, utilizadora. No momento em que essa mesma organização adapta, desenvolve, reetiqueta ou oferece um sistema sob nome próprio a terceiros, essa imagem muda. Também o grau de controlo sobre o modelo tem influência: quem determina com que dados é treinado, quem estabelece os parâmetros, quem assume a responsabilidade pelo comportamento do sistema em produção. Estas questões não são respondidas apenas uma vez na aquisição, mas permanecem relevantes enquanto o sistema estiver em uso.

O que muda quando a situação muda

O papel de uma organização não é, portanto, um rótulo fixo, mas o resultado do uso efetivo. Isso significa que alterações internas — uma nova aplicação de um sistema já existente, uma adaptação feita pelo próprio departamento de TI, o fornecimento de uma função de IA a um cliente ou a uma organização filial — podem alterar a classificação sem que tenha havido uma decisão formal prévia. O que isto significa na prática, e em que momento um papel efetivamente se altera, é desenvolvido mais adiante na página sobre o momento em que o seu papel em relação a um sistema de IA se altera. É importante notar que esta mudança frequentemente não é detetada, porque ocorre a nível departamental, longe do local onde a política é definida.

Por que isto não está separado do nível de risco

A questão de saber se é fornecedor ou utilizador não existe isoladamente. Está entrelaçada com a questão de qual o nível de risco de uma aplicação, e com a questão de saber se uma aplicação se encontra dentro do âmbito da regulamentação. Um sistema utilizado como utilizador com baixo impacto pode exigir um tratamento diferente do que quando essa mesma organização adapta ainda mais o sistema e, com isso, se aproxima do papel de fornecedor. O que um nível de risco mais elevado significa concretamente para a própria organização é descrito na página sobre o que um nível de risco elevado significa para a sua organização. Também não é toda aplicação que se encontra dentro do âmbito dos mesmos requisitos; quais aplicações ficam fora desse âmbito e de que isso depende consta na página sobre quais aplicações ficam fora do âmbito.

Por que isto é uma questão de inventário, não uma questão jurídica

A razão pela qual esta classificação permanece pouco clara para muitas organizações não é a falta de regras. O texto atual e os critérios precisos encontram-se noutro lugar e não se alteram por causa deste artigo. O problema está antes disso: para saber qual o papel aplicável, é preciso primeiro saber quais os sistemas de IA que estão efetivamente em uso, por quem, e com que grau de adaptação. Esse inventário está em falta na maioria das organizações. A lista oficial de ferramentas aprovadas pelo departamento de TI raramente descreve o que realmente é utilizado. Os departamentos adotam ferramentas, adaptam modelos com dados próprios, ou incorporam uma função de IA num processo interno, sem que isto seja registado centralmente em lugar algum. Quem quiser saber se a organização é fornecedora ou utilizadora tem, portanto, de saber primeiro o que está em funcionamento — e essa é uma questão que não se responde com um documento de política, mas com um inventário que se atreve a perguntar às pessoas o que utilizam, sem associar a isso qualquer prestação de contas.

Relatórios que acompanham o papel

Como o papel de uma organização pode alterar-se sem uma decisão formal, é importante para a direção e para os órgãos de supervisão que os relatórios acompanhem essa evolução. Uma abordagem de governação baseada numa divisão estática de papéis não capta o momento em que uma adaptação interna coloca efetivamente a organização numa posição diferente. Como uma política de IA pode ser elaborada de forma a tornar visíveis este tipo de mudanças, em vez de as esconder, e a ser efetivamente lida por quem é responsável por elas, é abordado na página sobre uma política de IA que se ajusta à prática em vez de ficar na gaveta.

Da determinação do papel para a questão do que a IA significa para o trabalho

A questão de saber se a sua organização é fornecedora ou utilizadora tem a ver com responsabilidade e obrigações. Ainda não diz nada sobre o que a IA significa para o próprio trabalho: que tarefas são por ela assumidas, alteradas ou apoiadas. Essa questão situa-se na continuidade da determinação do papel, mas exige um olhar diferente — não sobre a governação, mas sobre o conteúdo do trabalho. A análise de trabalho da FTE TO AI calcula, por tarefa, que parte do trabalho pode ser assumida pela IA, independentemente do papel que a organização assuma em relação ao sistema subjacente.

Andrewde assistent van de Responsible AI Scan

Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.

Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.