Um fornecedor entrega um pacote de contabilidade, um sistema de RH ou uma ferramenta de atendimento ao cliente. Há um contrato, um acordo de processamento de dados, talvez uma auditoria de segurança. Depois, numa atualização, o fornecedor adiciona uma funcionalidade de IA: classificação automática, sugestões de texto, um chatbot que foi solto sobre os seus dados. As notas de lançamento chamam isso de melhoria. Ninguém na sua organização teve algo a dizer sobre isso, porque ninguém sabia que estava a chegar.
Isto não é uma excepção na forma como o software é entregue. Tornou-se o padrão. Os fornecedores competem em funcionalidade de IA e incorporam-na o mais rápido possível, muitas vezes como parte de uma assinatura que você já paga. A pergunta se isto se enquadra nos seus acordos existentes raramente é feita antes de a funcionalidade entrar em produção.
Um departamento de compras avalia um fornecedor no momento da aquisição. Depois disso, a atenção desloca-se para fatura, tempo de atividade e suporte. As atualizações funcionais decorrem fora desse processo, pois são consideradas manutenção, não uma nova aquisição. Quem deveria comunicar isso? O fornecedor vê isso como melhoria de produto. O comprador não vê a atualização, ou vê-a e pensa que é assunto de outra pessoa. O utilizador na organização nota principalmente que um botão faz algo mais inteligente e não se pergunta se por detrás disso está um modelo de linguagem que processa dados externamente.
O padrão assemelha-se ao que acontece com uma extensão de navegador com acesso ao seu email: o acesso é concedido num momento em que ninguém pensava em IA, e depois permanece ativo sem ser notado. Com os fornecedores, o problema de escala é maior, porque não envolve um único colaborador, mas toda uma organização exposta através de um único contrato.
Uma disposição contratual que obriga à comunicação de funcionalidade de IA ajuda em novos contratos. Em contratos existentes, a disposição não existe, e não é evidente que um fornecedor a aceite retroativamente. Além disso, uma cláusula não resolve o problema de deteção: se ninguém verificar periodicamente o que um fornecedor efetivamente adicionou, a comunicação continua a depender da disposição do fornecedor em comunicar por sua própria iniciativa.
O que funciona é uma fotografia fixa periódica: um levantamento periódico do que cada fornecedor essencial fornece atualmente em termos de funcionalidade de IA, desligado do que foi avaliado no momento da aquisição. Isto não é um instrumento jurídico, mas um levantamento factual, que depois pode ser confrontado com a categoria de risco do processo em que o fornecedor opera.
A mesma dinâmica que mantém a IA sombra entre colaboradores também se manifesta aqui, apenas ao nível dos fornecedores. Quem faz a pergunta "vocês usam IA para isto" quer uma resposta honesta, não uma reação defensiva do gestor de conta. Isso significa que a pergunta não deve ser feita como preâmbulo para uma rescisão de contrato, mas como parte de um processo fixo em que a resposta não tem consequências além da classificação. Veja como isso funciona com colaboradores que usam uma ferramenta que ninguém aprovou: a informação útil só se liberta quando fazer perguntas está desligado de punir.
Uma lista de fornecedores é um ponto de partida, não um ponto final. Para cada fornecedor com acesso a dados de produção, dados de clientes ou dados de pessoal, é relevante saber se entretanto contém funcionalidade de IA, o que essa funcionalidade faz com os dados, e se essa utilização se enquadra na mesma categoria de risco para a qual o fornecedor foi originalmente aprovado. Um fornecedor que foi avaliado há cinco anos como baixo risco porque apenas fatura, pode agora estar a executar um módulo que classifica automaticamente faturas com base num modelo de linguagem treinado externamente. Isso é uma categoria de risco diferente, mesmo que conste o mesmo nome na fatura.
Este levantamento não deve estar separado do resto da governação de IA numa organização. A mesma classificação aplicada a ferramentas construídas internamente ou a uma configuração de teste que nunca foi desativada, deve também ser aplicada ao que os fornecedores introduzem. Um único levantamento, uma única escala de risco, independentemente de a IA ter sido construída internamente, trazida por um colaborador, ou adicionada por um fornecedor sem aviso.
Uma vez que fica claro que IA entra através de fornecedores, surge uma questão seguinte que vai além do risco apenas: o que essa IA efetivamente faz com o trabalho que atualmente é realizado por pessoas, e onde isso se sobrepõe a tarefas que já estariam elegíveis para automatização. O scan de trabalho da FTE TO AI calcula, por tarefa, qual parte do trabalho pode ser assumida pela IA, independentemente de qual fornecedor ou sistema acaba por executá-la. Isso torna o levantamento que começa com o risco também útil para a pergunta que vem a seguir: não apenas o que está em funcionamento, mas o que o trabalho efetivamente vale.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.