Na saúde, a relação entre o que é aprovado e o que é utilizado é diferente da maioria dos setores. Já existe um sistema denso de fiscalização: regulamentação de dispositivos médicos, quadros de qualidade, comissões de ética médica, encarregados de proteção de dados. Esse sistema foi construído em torno de dispositivos físicos, medicamentos e protocolos de tratamento. As aplicações de IA muitas vezes escapam a esse sistema, porque não foram adquiridas como um dispositivo, mas são utilizadas como tal. Um modelo de linguagem que acompanha a leitura de um processo de paciente, uma ferramenta de transcrição durante uma consulta, um algoritmo que apoia a triagem: nenhuma destas aplicações precisa de ter passado pelo processo de fiscalização existente para ser utilizada diariamente.
Acresce que os interesses em jogo na saúde pesam mais do que em muitos outros setores. Não se trata apenas de gestão operacional, mas de segurança do paciente, responsabilidade médico-ética e da confiança dos pacientes de que o que acontece com os seus dados é controlado. Isso torna a pergunta "o que está afinal a funcionar aqui" mais premente do que noutros contextos, e ao mesmo tempo mais difícil de responder, porque os profissionais de saúde trabalham sob pressão de tempo e uma ferramenta que ajuda não é rapidamente comunicada quando esse comunicar é sentido como um desvio.
O departamento de TI de uma instituição de saúde tem uma lista de sistemas aprovados. Essa lista é um ponto de partida, não a realidade. Um médico que utiliza um modelo de linguagem para redigir o esboço de uma carta de alta, um enfermeiro que consulta uma aplicação para interações medicamentosas, uma secretaria que utiliza reconhecimento de voz fora do sistema oficial de processos: este tipo de utilização surge porque produz resultados no trabalho, não porque foi solicitada. Ninguém quis ocultar isto. Simplesmente nunca foi perguntado, e quem o pergunta deve fazê-lo sem que haja uma sanção à espreita. Só assim se obtém uma resposta honesta, e só com uma resposta honesta uma instituição pode saber onde estão realmente os riscos.
Depois da inventariação segue-se a classificação: que papel desempenha uma aplicação de IA, e que nível de risco lhe corresponde. Na saúde, essa distinção é acentuada. Uma ferramenta que resume notas para uso próprio de um profissional de saúde tem um peso diferente de um sistema que pesa numa decisão de diagnóstico ou numa decisão sobre capacidade de tratamento. A classificação em si é determinada por regulamentação que está fora do âmbito desta página e que está em constante desenvolvimento; a categorização atual e as obrigações correspondentes encontram-se noutro local. O que aqui importa é o mecanismo: cada aplicação recebe um lugar numa categorização por função e impacto, de modo a tornar claro quais as aplicações que exigem atenção e quais não.
As instituições de saúde não constroem a partir do zero. Já existem comissões de avaliação, sistemas de qualidade, encarregados de proteção de dados e processos de auditoria interna. Uma abordagem de governança para a IA que esteja desligada disso torna-se uma camada extra que ninguém mantém. Uma abordagem que se alinha com a estrutura existente torna-se parte do que já acontece: a mesma comissão que avalia um novo dispositivo avalia também uma nova aplicação de IA; o mesmo registo de riscos recebe uma rubrica para a IA ao lado das rubricas que já existem. Isso não requer um novo dispositivo, mas sim um enquadramento que se ajuste ao que a instituição já faz.
Uma direção, um órgão de supervisão ou uma inspeção quer poder ver o que se está a passar, não assumir que está sob controlo. Demonstrabilidade significa que existe uma visão atual de quais as aplicações de IA em utilização, quem as utiliza, que nível de risco lhes corresponde e que acordos foram feitos em torno disso. Essa visão não é um documento único. As instituições de saúde mudam constantemente de sistemas, e o pessoal leva ferramentas de um departamento para outro. Um conjunto de governança que mantém isso atualizado é útil no momento em que é pedida prestação de contas, e não apenas no momento em que foi elaborado.
A combinação de fiscalização rigorosa já existente e utilização informal em rápido crescimento não é exclusiva da saúde, embora aqui ganhe um peso mais acentuado devido ao paciente que se encontra no final da cadeia. As instituições que queiram ver como questões semelhantes são organizadas noutro contexto podem consultar como a governança de IA na educação trata uma tensão semelhante entre dever de cuidado e utilização prática, a forma como a governança de IA nos serviços empresariais protege a confidencialidade e o interesse do cliente, ou como a governança de IA na indústria transformadora lida com sistemas que intervêm diretamente num processo físico.
Uma vez esclarecido quais as aplicações de IA em funcionamento e a que nível de risco pertencem, resta outra pergunta: o que significa essa utilização para o próprio trabalho. Uma inventariação de governança mostra o que está a funcionar, não quanto tempo isso libera ou que parte de uma tarefa pode efetivamente ser assumida. Essa pergunta está fora da governança e dentro do scan de trabalho da FTE TO AI, que calcula por tarefa que parte do trabalho pode ser assumida pela IA. Para uma instituição de saúde que queira primeiro ter uma visão do que está a ser utilizado, e depois saber o que essa utilização significa para a afetação de pessoal, essa segunda pergunta surge logicamente após a primeira.
Vraag maar. Governance begint bij weten wat er draait — ook wat niemand heeft goedgekeurd.
Answers come from this site’s knowledge base. Not tailored advice, and not a scan of your company.