Regulação e ética da IA na saúde

Viés algorítmico na saúde: como a IA pode errar com alguns pacientes

Viés algorítmico é quando a IA erra mais com certos grupos de pacientes. Vem dos dados, dos rótulos e do uso fora do contexto, e pode ser monitorado.

Pronova Blog

Este artigo faz parte do guia Regulamentação da IA na saúde: o que médicos e gestores precisam saber.

Viés algorítmico na saúde é o erro sistemático de um sistema de inteligência artificial que acerta menos, ou erra de forma diferente, com determinados grupos de pacientes, como idosos, mulheres, crianças, pessoas negras ou moradores de certas regiões. Ele nasce dos dados, dos rótulos e do uso fora do contexto, e pode ser medido e reduzido.

Em resumo:

  • Um modelo pode ter ótima média geral e falhar muito mais com um subgrupo específico.
  • As causas mais comuns são dados pouco representativos, rótulos herdados de diagnósticos desiguais e uso do sistema em população diferente da original.
  • Antes de contratar, peça ao fornecedor resultados separados por subgrupo e a lista de populações em que o modelo não foi testado.
  • Depois de implantar, monitore discordâncias e correções por grupo de pacientes.
  • A revisão do médico continua sendo a principal salvaguarda na rotina.

O que é viés algorítmico na saúde?

Todo modelo de IA erra. O problema do viés não é o erro em si, mas a forma como ele se distribui. Um algoritmo enviesado pode ter boa acurácia média e, mesmo assim, falhar com muito mais frequência em um grupo específico. Como o número geral parece bom, a falha fica escondida.

Na prática, o viés aparece de três formas principais:

  • Desempenho desigual: o sistema acerta menos com um grupo. Por exemplo, reconhece pior uma lesão suspeita em fotos de pele mais escura.
  • Erro com direção definida: o sistema subestima ou superestima, de forma consistente, o risco de um grupo.
  • Efeito desigual da decisão: mesmo com acerto parecido, a forma como a saída é usada prejudica mais um grupo, como um escore que define quem entra numa fila de prioridade.

Viés algorítmico não é sinônimo de preconceito de quem programou. Na maior parte das vezes, ninguém teve intenção de discriminar. O modelo apenas aprendeu, com fidelidade, os padrões e as lacunas dos dados que recebeu. Isso torna o problema mais difícil de perceber e mais necessário de monitorar. Para entender onde esse tema se encaixa no conjunto de regras sobre IA no país, veja o guia sobre regulamentação da IA na saúde para médicos e gestores.

De onde vem o viés em sistemas de IA?

O viés raramente tem uma causa única. Ele costuma entrar em uma ou mais etapas da vida do modelo: na coleta dos dados, na definição do que é a resposta certa, no desenho técnico e no uso diário.

Dados de treinamento que não representam seus pacientes

Um modelo aprende com exemplos. Se a base de treinamento tem poucos idosos acima de 80 anos, poucas gestantes ou poucos pacientes de determinada ancestralidade, o modelo terá pouca experiência com eles. Bases vindas de um só país, de um só hospital ou de um tipo de serviço carregam o perfil daquela população. A população brasileira é diversa em ancestralidade, renda, acesso a serviços e padrão de doenças, e um modelo treinado em outro contexto pode não refletir essa diversidade.

Dados faltantes também contam. Pacientes com menos acesso ao sistema de saúde costumam ter menos consultas, menos exames e prontuários mais curtos. Para o modelo, ausência de registro pode parecer ausência de doença.

Rótulos e variáveis substitutas

Rótulo é a resposta certa que o modelo aprende a prever: o exame é normal ou alterado, o paciente foi internado ou não. Se o rótulo vem de diagnósticos que já eram feitos de forma desigual, o modelo herda a desigualdade. Se uma condição é subdiagnosticada em mulheres, por exemplo, o modelo aprende que ela é rara em mulheres.

Risco parecido vem das variáveis substitutas, quando se mede uma coisa no lugar de outra. Imagine um modelo hipotético que usa o gasto anterior com saúde para estimar a necessidade de cuidado. Quem teve menos acesso gastou menos, e o modelo conclui que essa pessoa precisa de menos atenção, quando pode ser exatamente o contrário.

Uso fora do contexto para o qual o modelo foi feito

Um modelo validado em adultos e usado em adolescentes. Uma ferramenta de triagem desenvolvida para pronto-socorro de hospital terciário aplicada na atenção primária, onde a frequência das doenças é outra. Um sistema de reconhecimento de fala treinado com sotaques de uma região e usado em outra. Em todos esses casos, o modelo pode funcionar bem no lugar de origem e mal no seu. Os técnicos chamam isso de mudança de distribuição: os pacientes, os equipamentos ou os hábitos de registro mudaram, e o modelo não foi informado.

Escolhas de projeto e o ciclo de retroalimentação

O viés também nasce em decisões técnicas: quais variáveis entram, qual ponto de corte é usado e qual métrica foi otimizada. Um ponto de corte escolhido para maximizar a acurácia geral pode deixar um subgrupo com muitos falsos negativos. Depois da implantação, surge o ciclo de retroalimentação: se o modelo prioriza menos um grupo, esse grupo gera menos dados de acompanhamento, e a próxima versão aprende ainda menos sobre ele.

Exemplos de viés algorítmico na rotina clínica

Os exemplos abaixo são hipotéticos e servem para mostrar o mecanismo. Não descrevem um produto nem um estudo específico.

SituaçãoQuem pode ser prejudicadoOrigem provávelConsequência possível
Classificador de lesões de pele por fotoPacientes com pele mais escuraBase de imagens com poucos exemplos desses fototiposLesão suspeita classificada como benigna
Escore de risco de piora clínica na internaçãoIdosos com várias doençasPoucos casos parecidos no treinamento e ponto de corte ajustado para adultos mais jovensAlerta tardio ou excesso de alarmes falsos
Transcrição automática da consultaPacientes com sotaque regional marcado, fala lenta, disartria ou vocabulário popularReconhecimento de fala treinado com outro perfil de vozSintoma omitido ou trocado no texto
Resumo de queixas por modelo de linguagemPacientes que descrevem a dor de forma menos técnicaPadrões de linguagem dos textos usados no treinamentoQueixa registrada como menos intensa do que foi relatada
Priorização de reconvocação ou lembretesPacientes com faltas ligadas a transporte ou horário de trabalhoFaltas usadas como sinal de baixo interesseMenos contato justamente com quem mais precisa
Leitura automatizada de exame validada em adultosCrianças e adolescentesUso fora da população validadaInterpretação com referências inadequadas

Repare no ponto em comum: em quase todos os casos, a média geral do sistema poderia parecer excelente. O problema só aparece quando você separa os resultados por grupo de pacientes.

Por que o viés preocupa médicos e gestores?

Há três motivos práticos, além do ético.

  • Segurança do paciente: um erro sistemático atinge muitas pessoas do mesmo perfil antes de ser notado. Em hospitais, ele deve entrar no mesmo radar dos eventos adversos, como mostramos no artigo sobre riscos e salvaguardas da IA para a segurança do paciente.
  • Responsabilidade profissional: o Código de Ética Médica (Resolução CFM 2.217/2018) mantém o médico responsável pelos seus atos. A IA apoia, mas a decisão e a assinatura continuam sendo do profissional. Veja mais em quem responde quando a IA erra.
  • Proteção de dados e não discriminação: a LGPD (Lei 13.709/2018) classifica dados de saúde como sensíveis (art. 5º, II), com regras próprias de tratamento no art. 11, e inclui a não discriminação entre seus princípios. A lei também prevê o direito de pedir revisão de decisões tomadas unicamente com base em tratamento automatizado.

Há ainda a regulação sanitária. Quando o software tem finalidade médica, como apoiar um diagnóstico, ele pode ser enquadrado como dispositivo médico pela RDC Anvisa 657/2022, tema detalhado no texto sobre quando a IA precisa de registro como software médico. E o PL 2.338/2023, que propõe um marco legal para a IA e está em discussão no Congresso, trata de classificação de riscos e de prevenção de discriminação. Se um uso específico gera obrigações para o seu serviço é algo que depende de análise jurídica do caso concreto.

Como questionar o fornecedor sobre viés algorítmico?

Você não precisa ser cientista de dados para fazer boas perguntas. Precisa pedir respostas por escrito e desconfiar de frases genéricas como "nosso modelo é imparcial". Leve esta lista para a próxima reunião:

  1. Com que dados o modelo foi treinado? País, tipo de serviço, período, faixa etária, proporção por sexo e, quando houver, por raça/cor.
  2. Em que população ele foi validado? Teste feito só com os dados de treinamento vale pouco. Pergunte se houve validação em dados externos, de preferência de serviços brasileiros parecidos com o seu.
  3. Os resultados foram separados por subgrupo? Peça sensibilidade, especificidade ou taxa de erro por idade, sexo e outros recortes relevantes, não só a média.
  4. Para quem o produto não é indicado? Um fornecedor sério sabe dizer onde o modelo não foi testado.
  5. Como o ponto de corte foi escolhido? Ele pode ser ajustado ao perfil dos seus pacientes?
  6. O sistema mostra o grau de incerteza? Saber quando o modelo está pouco confiante ajuda o médico a redobrar a atenção.
  7. Com que frequência o modelo muda e como você será avisado? Uma nova versão pode alterar o comportamento em subgrupos.
  8. Quais registros de uso ficam disponíveis? Sem histórico de entradas, saídas e correções, não há como auditar.
  9. Há regularização na Anvisa, quando aplicável?

Respostas evasivas a essas perguntas já são uma informação. Para uma avaliação mais ampla, que inclui segurança, contrato e LGPD, use o checklist com 15 perguntas para avaliar ferramentas de IA na saúde.

Como monitorar o viés depois da implantação

Validação antes da compra não basta. Seus pacientes, seus equipamentos e sua forma de registrar são próprios. O monitoramento é contínuo e pode ser simples.

EtapaO que fazerResponsável sugerido
1. Definir os gruposEscolher os recortes que fazem sentido para seu público: faixa etária, sexo, região de origem, uso de convênio ou SUS, condições específicas.Direção clínica com a área de qualidade
2. Criar a linha de baseRegistrar como o sistema se comporta nas primeiras semanas, por grupo.Qualidade ou TI
3. Registrar discordânciasAnotar quando o médico corrige, ignora ou contesta a saída da IA.Médicos usuários
4. Comparar por grupoRevisar mensal ou trimestralmente se as correções se concentram em algum perfil.Qualidade, com apoio do fornecedor
5. Investigar e agirAjustar o uso, restringir a aplicação a populações validadas ou levar o caso ao fornecedor.Comitê de qualidade ou direção
6. Reavaliar a cada versãoRepetir a comparação sempre que o modelo for atualizado.TI e fornecedor

Um exemplo hipotético: imagine uma clínica com três médicos que usa transcrição automática da consulta. Durante um trimestre, cada médico marca quando precisou corrigir um trecho relevante, como um sintoma ou um medicamento citado pelo paciente. Ao separar as marcações por faixa etária, a equipe percebe que as correções são mais frequentes em pacientes acima de 75 anos. A resposta é prática: atenção extra na revisão dessas consultas, ajuste da posição do microfone e envio do padrão ao fornecedor.

Um cuidado: medir viés por raça/cor exige ter esse dado, que é sensível pela LGPD. Antes de usá-lo para auditoria, avalie a base legal com o encarregado de dados ou o jurídico.

O que o médico pode fazer na consulta

Na ponta, as salvaguardas são simples e funcionam:

  • Revise toda saída da IA antes de assinar ou decidir, sem exceção.
  • Redobre a atenção com pacientes fora do perfil típico da ferramenta: muito idosos, crianças, gestantes, pessoas com dificuldade de fala ou que usam termos regionais.
  • Não use a ferramenta para uma finalidade que ela não prevê.
  • Quando o resultado não combina com o que você vê e ouve, confie no quadro clínico e registre a discordância.
  • Comunique padrões de erro à coordenação ou ao fornecedor, mesmo que pareçam pontuais.

O desenho do produto ajuda. No prontuário com IA da Pronova, a consulta é transcrita em tempo real e o registro sai no formato SOAP ou no modelo da especialidade, com sugestão de CID-10, mas o médico revisa, ajusta e assina antes de o documento valer. Essa revisão obrigatória é o ponto em que um erro de transcrição com um paciente de fala diferente é corrigido antes de entrar no prontuário.

Limites: o viés não desaparece por completo

Não existe modelo sem viés. O que existe é viés conhecido, medido e controlado. Alguns limites que vale ter claros:

  • Métricas de justiça entram em conflito: igualar a taxa de falsos negativos entre grupos pode aumentar os falsos positivos em algum deles. Alguém precisa decidir qual erro é menos aceitável naquele uso clínico.
  • Amostras pequenas enganam: numa clínica, poucos casos por grupo produzem números instáveis. Trate-os como sinal para investigar, não como prova.
  • Transparência tem limite: o fornecedor pode proteger código e dados por segredo comercial, mas resultados por subgrupo não exigem revelar nada disso.
  • Remover a variável não resolve: tirar sexo ou cor do modelo não elimina o viés se outras variáveis, como CEP ou tipo de convênio, carregam a mesma informação de forma indireta.

Próximo passo

Comece com uma lista das ferramentas de IA em uso no seu serviço. Para cada uma, pergunte ao fornecedor em que população ela foi validada e se há resultados por subgrupo. Em paralelo, peça aos médicos que registrem as correções que fazem. Em um trimestre, você terá dados reais sobre o seu público.

Se você quer ver na prática como funciona um escriba médico com revisão humana obrigatória, faça o Teste Express em 30 segundos, sem cadastro, ou experimente a plataforma por 7 dias no teste grátis. Hospitais que precisam de integração com o HIS via HL7 FHIR podem conhecer o plano Enterprise.

Perguntas frequentes

Viés algorítmico é a mesma coisa que erro da IA?

Não. Todo modelo erra de vez em quando. Viés é quando o erro se concentra de forma sistemática em um grupo de pacientes, como idosos, crianças ou pessoas de determinada cor de pele. Por isso, um sistema pode ter boa acurácia média e ainda assim ser enviesado.

Uma IA treinada com dados brasileiros está livre de viés?

Não necessariamente. Dados brasileiros ajudam a aproximar o modelo da sua população, mas podem vir de um só tipo de serviço, de uma só região ou de pacientes com mais acesso a exames. O que importa é saber quem está representado na base e ver os resultados separados por subgrupo.

Uma clínica pequena consegue monitorar viés sem equipe de dados?

Consegue, de forma simples. Basta definir dois ou três grupos relevantes (por exemplo, faixa etária), registrar quando o médico corrige ou descarta a saída da IA e comparar essas taxas a cada trimestre. Com amostras pequenas, trate os achados como sinal de alerta, não como conclusão definitiva.

Posso coletar raça/cor do paciente para avaliar viés do sistema?

Raça/cor é dado pessoal sensível pela LGPD e só pode ser tratado com base legal adequada e finalidade clara. Em muitos serviços esse dado já é registrado por outros motivos, mas usá-lo para auditoria de algoritmos deve ser avaliado com o encarregado de dados ou o jurídico. A resposta depende do caso concreto.

Se a IA errar por viés, quem responde: o fornecedor ou o médico?

O Código de Ética Médica mantém o médico responsável pelos atos que pratica, inclusive quando usa uma ferramenta de apoio. O fornecedor também pode ter responsabilidade, conforme o contrato e a natureza do defeito. A divisão exata depende de análise jurídica do caso concreto.

Ferramentas de IA generativa, como assistentes de texto, também têm viés?

Sim. Modelos de linguagem aprendem com grandes volumes de texto e podem reproduzir padrões desiguais, como descrever queixas de alguns grupos de forma menos grave ou entender pior termos populares e regionais. Por isso, todo texto gerado por IA que entra no prontuário precisa de revisão do médico.