Segurança do paciente e IA no hospital: riscos e salvaguardas
A IA melhora a segurança do paciente quando há revisão humana, auditoria, monitoramento de incidentes e integração com o NSP do hospital.
Este artigo faz parte do guia Inteligência artificial em hospitais: guia para diretores e gestores.
Segurança do paciente e IA andam juntas quando o hospital trata a ferramenta como qualquer tecnologia de risco: revisão humana obrigatória, trilha de auditoria, monitoramento de incidentes e treinamento. Os riscos principais são erro de registro, excesso de confiança, falhas de integração e viés. Cabe ao Núcleo de Segurança do Paciente governar esses riscos e receber as notificações.
Em resumo:
- A IA cria um tipo novo de falha: o erro plausível, que parece correto e passa despercebido.
- Os riscos mais comuns são registro errado, confiança excessiva no sistema, integração mal feita e viés nos dados.
- Revisão humana, trilha de auditoria, indicadores de incidente e treinamento são as salvaguardas básicas.
- A IA deve entrar no plano de segurança do paciente e no fluxo de notificação do NSP, como qualquer outra tecnologia.
Segurança do paciente e IA: o que muda no hospital
Um sistema tradicional falha de forma visível. A tela trava, o campo fica vazio, a integração para. A IA generativa falha de outro jeito: entrega um texto fluente, bem formatado e coerente, com um detalhe errado no meio. É esse o ponto que o gestor precisa entender antes de qualquer protocolo.
O risco também varia conforme a distância entre a ferramenta e a decisão clínica. Uma IA que organiza escalas de enfermagem afeta o paciente de forma indireta. Um escriba médico, que transcreve a consulta e gera o prontuário, afeta o registro em que outros profissionais vão se basear. Uma ferramenta que sugere diagnóstico ou conduta está ainda mais perto do paciente e pode se enquadrar como software dispositivo médico (SaMD), regulado pela RDC Anvisa 657/2022. O enquadramento depende da finalidade declarada pelo fabricante e precisa de análise regulatória caso a caso.
Por isso, a primeira tarefa é mapear quais ferramentas existem no hospital, inclusive as que os profissionais usam por conta própria, e em que ponto do cuidado cada uma atua. O guia de inteligência artificial em hospitais para diretores e gestores ajuda a organizar esse inventário dentro de uma estratégia mais ampla.
Quais riscos a IA traz para o paciente?
Os riscos abaixo aparecem em praticamente todo hospital que adota IA na rotina clínica. Nenhum deles é motivo para não adotar a tecnologia, mas cada um precisa de uma resposta específica.
Erro de registro
É o risco mais frequente em ferramentas de documentação. Ele aparece de várias formas:
- Omissão: uma informação dita na consulta não entra no texto final.
- Alucinação: termo usado para quando o modelo gera um conteúdo que não foi dito, como um exame físico completo que não foi feito.
- Inversão de sentido: o paciente diz que tem alergia e o registro sai como nega alergias.
- Troca de lateralidade ou de dose: joelho direito vira esquerdo, um número é transcrito errado.
- Atribuição errada: a fala do acompanhante é registrada como relato do paciente.
Imagine, como exemplo hipotético, uma evolução gerada à noite com uma alergia omitida. Na manhã seguinte, outro médico prescreve com base nesse registro. O erro nasceu na documentação e se propagou pela continuidade do cuidado. Pontos de transição, como a passagem de plantão com IA, são onde esse tipo de falha mais se espalha.
Excesso de confiança
O viés de automação é a tendência de aceitar o que o sistema produz sem conferir. Quanto melhor a ferramenta funciona na maior parte do tempo, maior o risco de a revisão virar um clique. Em plantões longos, com fadiga e pressa, o médico tende a ler na diagonal um texto que quase sempre está certo. O problema está justamente no quase.
Falhas de integração
A IA raramente trabalha sozinha. Ela recebe dados do sistema hospitalar (HIS) e devolve textos, códigos e campos estruturados. Falhas comuns incluem campos mapeados no lugar errado, unidades de medida convertidas de forma incorreta, documento anexado ao paciente errado e falhas silenciosas, em que a integração para e ninguém percebe. Padrões como o HL7 FHIR, um formato de troca de dados entre sistemas de saúde, reduzem esse risco, mas não dispensam testes.
Viés nos dados
Modelos aprendem com dados que podem não representar a população do seu hospital. Na transcrição, isso aparece como desempenho pior com sotaques regionais, termos locais ou pacientes com fala comprometida. Em ferramentas de apoio à decisão, pode significar acerto menor em grupos sub-representados no treinamento.
Mudança silenciosa de desempenho
Fornecedores atualizam modelos com frequência. Uma versão nova pode resumir de outro jeito ou omitir campos que a anterior preenchia. Sem monitoramento, o hospital só percebe quando algo dá errado.
| Risco | Como aparece | Salvaguarda principal |
|---|---|---|
| Erro de registro | Omissão, alucinação, inversão de sentido | Revisão obrigatória com foco em campos críticos |
| Excesso de confiança | Assinatura sem leitura real | Treinamento e auditoria por amostragem |
| Falha de integração | Dado no campo ou paciente errado | Testes de integração e alertas de falha |
| Viés | Desempenho pior em certos grupos | Validação local antes de escalar |
| Mudança de versão | Comportamento diferente sem aviso | Cláusula contratual e reavaliação periódica |
Quais salvaguardas funcionam na prática?
Revisão humana com responsabilidade definida
O Código de Ética Médica (Resolução CFM 2.217/2018) mantém o médico responsável pelos seus atos, e isso inclui o que ele assina. A IA produz um rascunho; o documento só passa a valer depois da revisão e da assinatura. Algumas regras práticas:
- O texto gerado fica marcado como rascunho até ser assinado.
- Campos críticos, como alergias, medicamentos, doses e lateralidade, exigem conferência explícita.
- O profissional pode editar tudo, sem campos travados pela IA.
É assim que funciona o prontuário com IA da Pronova: o escriba transcreve a consulta e gera o prontuário em SOAP ou no modelo da especialidade, com sugestão de CID-10, e o médico revisa, ajusta e assina.
Trilhas de auditoria
Para cada documento, o sistema deve registrar o que a IA gerou, quem editou, o que mudou, quando e com qual versão da ferramenta. A Lei 13.787/2018 e a Resolução CFM 1.821/2007 tratam da guarda e da integridade do prontuário eletrônico. A trilha de auditoria é o que permite reconstruir um incidente e mostrar que o hospital controla o processo. Como prontuários contêm dados sensíveis (Lei 13.709/2018, art. 5º, II), o tratamento segue as regras do art. 11 da LGPD.
Monitoramento de incidentes
Não espere o dano para medir. Acompanhe indicadores como:
- Proporção de documentos com correção relevante antes da assinatura.
- Quase-erros (near misses), falhas interceptadas antes de chegar ao paciente.
- Incidentes notificados com a IA como fator contribuinte.
- Achados em auditoria por amostragem, comparando registro e gravação ou relato.
Treinamento
O treinamento não é sobre como usar a tela. É sobre onde a ferramenta erra, como revisar de forma eficiente, o que fazer ao encontrar um erro e como notificar. Inclua residentes, plantonistas e médicos que atendem poucas vezes no hospital, que costumam ficar de fora.
Como integrar a IA ao Núcleo de Segurança do Paciente?
A Anvisa exige que serviços de saúde mantenham um Núcleo de Segurança do Paciente (NSP), responsável pelo plano de segurança e pela gestão de incidentes. A IA não precisa de uma estrutura paralela; precisa entrar no que o NSP já faz. O comitê que aprova ferramentas, descrito no artigo sobre governança de IA em hospitais, deve ter um representante do NSP com poder de veto.
| Etapa | O que fazer | Responsável |
|---|---|---|
| Avaliação prévia | Análise de riscos da ferramenta antes da aprovação | Comitê de IA com NSP |
| Plano de segurança | Incluir as ferramentas de IA como tecnologia de risco | NSP |
| Protocolo de uso | Definir revisão obrigatória e campos críticos | Diretoria clínica |
| Notificação | Incluir a categoria tecnologia/IA no formulário de incidentes | NSP |
| Análise de incidentes | Investigar causa e acionar o fornecedor | NSP com TI |
| Reavaliação | Rever indicadores e mudanças de versão | Comitê de IA |
Como notificar eventos adversos ligados à IA?
Use o fluxo de notificação que o hospital já tem, com alguns ajustes:
- Inclua um campo específico no formulário: a IA contribuiu para o evento? Qual ferramenta e em que etapa?
- Preserve as evidências: versão original gerada pela IA, versão assinada e trilha de auditoria.
- Classifique a falha: registro, integração, interpretação do usuário ou viés.
- Analise a causa sem procurar culpado. Uma falha de revisão costuma apontar para carga de trabalho ou desenho da tela, não só para o indivíduo.
- Acione o fornecedor nos prazos definidos em contrato.
- Avalie a notificação externa: se a ferramenta for regularizada como dispositivo médico, eventos associados podem exigir notificação à Anvisa pela via de tecnovigilância. O NSP deve confirmar a obrigação em cada caso.
- Devolva o aprendizado para a equipe, com ajuste de protocolo ou de treinamento.
Uma cultura justa pesa mais que o formulário. Se o médico teme punição por ter assinado um texto com erro, ele não notifica, e o hospital perde a informação que mais importa.
Checklist mínimo antes de liberar uma ferramenta
- Finalidade de uso definida por escrito e enquadramento regulatório verificado.
- Validação local com casos reais do hospital, incluindo os perfis de paciente mais atendidos.
- Revisão humana obrigatória e campos críticos definidos.
- Trilha de auditoria ativa, com registro da versão do modelo.
- Testes de integração com o HIS e alerta para falhas silenciosas.
- Contrato com local de armazenamento dos dados, regras de uso secundário e aviso prévio de mudança de versão.
- Treinamento concluído antes do acesso.
- Indicadores de incidente definidos e responsável nomeado.
Comece por uma área controlada. O artigo sobre piloto de IA no hospital mostra como escolher o setor, medir e decidir se vale escalar. Na avaliação técnica, peça ao fornecedor detalhes de segurança e integração. A Pronova, por exemplo, usa criptografia AES-256 e TLS 1.3, mantém servidores em território nacional e integra com sistemas hospitalares via HL7 FHIR.
Quais são os limites dessas salvaguardas?
Nenhum protocolo zera o risco. A revisão humana reduz erros, mas depende de tempo e atenção, que faltam nos piores plantões. A auditoria por amostragem encontra padrões, não todos os casos. E ainda não há regra específica de órgão regulador brasileiro sobre o uso de IA generativa na documentação clínica; o PL 2.338/2023, marco legal da IA, está em discussão no Congresso. Quando surgir dúvida sobre responsabilidade em um caso concreto, ela precisa de análise jurídica específica.
O que o hospital controla é a qualidade do processo. Protocolos documentados, indicadores e notificações também servem como evidência em processos de acreditação hospitalar com IA, em que avaliadores querem ver gestão de risco, não apenas tecnologia.
Por onde começar
Nesta semana, peça ao NSP e à TI um inventário das ferramentas de IA em uso, oficiais ou não. Em seguida, inclua a categoria IA no formulário de notificação e defina os campos críticos de revisão. Com isso em mãos, o comitê pode aprovar ferramentas com critério e acompanhar os resultados.
Se o seu hospital avalia um escriba médico com revisão humana, trilha de auditoria e integração com o HIS, conheça o plano Enterprise da Pronova e converse com o time sobre um piloto na sua instituição.
Perguntas frequentes
Quem responde por um erro no prontuário gerado por IA?
O profissional que revisa e assina o documento continua responsável pelo seu conteúdo, conforme o Código de Ética Médica (Resolução CFM 2.217/2018). A instituição responde pela escolha, pela configuração e pelo controle da ferramenta. A divisão exata de responsabilidades com o fornecedor depende do contrato e de análise jurídica do caso concreto.
Um quase-erro causado pela IA precisa ser notificado ao NSP?
Sim, vale notificar internamente. Quase-erros, aqueles interceptados antes de chegar ao paciente, são a melhor fonte de aprendizado sobre a ferramenta. Sem esses registros, o hospital só descobre a falha quando ela causa dano.
Toda ferramenta de IA usada no hospital precisa de registro na Anvisa?
Não necessariamente. A RDC Anvisa 657/2022 trata do software que se enquadra como dispositivo médico, como os que apoiam diagnóstico ou conduta. Ferramentas de documentação ou gestão costumam ter outro enquadramento, mas a classificação depende da finalidade declarada e deve ser confirmada caso a caso.
Com que frequência o hospital deve reavaliar uma ferramenta de IA já implantada?
Defina uma revisão periódica fixa, por exemplo trimestral no primeiro ano, e revisões extraordinárias sempre que o fornecedor trocar o modelo, quando houver incidente relevante ou quando a ferramenta for levada a uma nova unidade. O desempenho pode mudar sem que ninguém perceba no dia a dia.
Usar IA no registro clínico conflita com a LGPD?
Não, desde que o tratamento siga as regras para dados sensíveis do art. 11 da Lei 13.709/2018. Na prática, o hospital precisa saber onde os dados são processados e armazenados, quem tem acesso e se o fornecedor usa os dados para outros fins, como treinar modelos. Tudo isso deve constar em contrato.
Sobre a Pronova Tech
A Pronova Tech é o prontuário eletrônico com IA que transcreve consultas automaticamente e gera documentação clínica completa em segundos — para médicos e clínicas que querem gastar menos tempo digitando e mais tempo cuidando.
Testar grátis — 7 dias →