Una nota estigmatizante basta para que la IA de urgencias baje al paciente

Qué se ha descubierto¶

Un equipo de la Universidad de Texas Southwestern Medical Center probó tres modelos de inteligencia artificial de código abierto (programas que cualquiera puede descargar y revisar) en un ejercicio de triage de urgencias. Los modelos fueron Gemma, Qwen y DeepSeek.

Los casos se emparejaron con un sistema de clasificación muy usado en hospitales: el Índice de Severidad de Urgencias, conocido por sus siglas en inglés como ESI (Emergency Severity Index). Este sistema ordena a cada paciente en cinco niveles, de menos a más grave.

Cada par incluía a un paciente que iba a empeorar de verdad en las siguientes seis horas y a otro que no. El resultado central fue claro: cuando la nota clínica llevaba una etiqueta estigmatizante, sobre todo la de «usuario frecuente de urgencias», los tres modelos tendían a bajar la prioridad del paciente que, en realidad, estaba empeorando.

El cambio llegó a ser de hasta un 9,4 % en todos los pares modelo-datos probados. Frente a la versión neutra del mismo concepto, la diferencia fue de entre 1,4 y 7,1 puntos más de repriorización hacia abajo. La historia psiquiátrica del paciente produjo cambios parecidos, de hasta un 9,5 %.

En cambio, al introducir datos sobre raza, idioma o tipo de seguro, los cambios fueron menores y no siempre en la misma dirección. El estudio, publicado en npj Digital Medicine, apunta a un riesgo concreto: la forma de escribir la historia clínica puede desviar a la IA, aunque los datos clínicos objetivos sean los mismos.

Cómo se hizo el estudio¶

El trabajo se hizo en dos servicios de urgencias académicos en Estados Unidos. Se construyeron 18 condiciones distintas. Cada una tenía una formulación neutra y otra estigmatizante del mismo concepto, por ejemplo «acude a menudo a urgencias» frente a «usuario frecuente del servicio de urgencias». Cada caso se evaluó con y sin esa información extra. Así se pudo comparar el efecto de la palabra elegida manteniendo todo lo demás constante.

En total se hicieron 221.556 comparaciones. Los autores emplearon tres modelos de lenguaje de código abierto, en lugar de modelos comerciales cerrados. El estudio contó con financiación institucional de la Oficina del Presidente de la Universidad de Texas Southwestern Medical Center. Una herramienta de IA comercial, Claude, de Anthropic, ayudó con el scripting de análisis y con la redacción del borrador, siempre bajo revisión de los autores.

Qué significa y qué no¶

Conviene leer este hallazgo como una alerta, no como una sentencia. El estudio demuestra que, en un experimento controlado, la elección de palabras en la nota clínica puede inclinar la decisión de la IA en direcciones que perjudican al paciente más grave. Es un efecto reproducible, medido y estadísticamente significativo.

Lo que no demuestra es que esto esté pasando ya en hospitales reales, ni que cualquier sistema de triage con IA se comporte así. Tampoco aclara qué ocurriría con modelos comerciales cerrados. El diseño compara casos simulados, no personas atendidas en planta. Cualquier salto al mundo clínico real necesita más validación.

Otra matización clave: aquí se observa una asociación entre la etiqueta y el cambio de prioridad, no un daño clínico medido en pacientes. Para saber si alguien sale peor parado por culpa de la IA habría que estudiar desenlaces reales, como ingresos, complicaciones o mortalidad. Este trabajo no aborda eso.

Contexto¶

La idea de usar algoritmos para apoyar el triage en urgencias lleva años explorándose. Ya hay revisiones sobre sistemas de ayuda a la decisión clínica, conocidos como CDSS por sus siglas en inglés (Clinical Decision Support Systems), que aprenden de grandes bases de datos para sugerir un nivel de urgencia. También se ha investigado el uso del aprendizaje automático para triage en telemedicina, donde la distancia al hospital añade presión.

Lo que aporta este trabajo es un ángulo poco explorado. No evalúa solo si la IA acierta con los datos clínicos, sino si la manera en que están escritos esos datos puede torcer su juicio. Esto conecta con una preocupación creciente sobre los grandes modelos de lenguaje: pequeños cambios en la entrada producen salidas distintas, algo bien documentado en otros campos y que aquí se traslada a un entorno donde las decisiones son especialmente sensibles.

Qué falta por saber¶

Varias preguntas quedan abiertas. ¿Se reproduce el efecto en modelos comerciales usados por hospitales? ¿Basta con limpiar el lenguaje de la nota clínica para reducir el sesgo, o hay que auditar el modelo con datos propios del centro? ¿Qué pasa cuando el paciente realmente tiene un historial de visitas frecuentes, porque sufre una enfermedad crónica mal controlada? Y la más importante: ¿se traduce este sesgo de prioridad en peores resultados de salud cuando el sistema se pone en marcha de verdad?

Por ahora, el mensaje práctico es claro para quien esté pensando en desplegar IA en triage: la calidad y la forma de la nota clínica son, además de una cuestión ética, una cuestión de seguridad del paciente.