Por Manuel Pinilla
Cada pocos meses, un nuevo estudio informa que un modelo de IA supera a los médicos en una serie de casos de diagnóstico. Lo último que leí salió en Science en octubre: MAI-DxO de Microsoft, del New England Journal of Medicine, se probó en 304 casos complejos y se ejecutó como simulaciones paso a paso, alcanzando el diagnóstico correcto en el 83% de ellos. Los médicos de atención primaria y los internistas generales, que trabajaban solos con materiales de referencia, recibieron el 36%. Microsoft dice que el siguiente paso es un estudio con pacientes reales.
Diseñé IA clínica, por lo que estos resultados son relevantes para mi trabajo, pero responden a una pregunta diferente a la mía. En el entorno en el que trabajamos, urgencias y atención primaria, hay un médico en la habitación y ese médico firma el diagnóstico y responde. Al mismo tiempo, la puntuación de la IA frente a los médicos me dice muy poco sobre si una herramienta es útil. Lo que necesito saber, doctor, con la IA, el diagnóstico suele ser correcto y qué sucede cuando la IA se equivoca.
Hay una segunda brecha. El caso publicado ya está escrito: la historia está completa, los hallazgos relevantes están presentes y la pregunta es clara. Un paciente real contará la historia fuera de orden, omitirá cosas que no cree que sean importantes y, a veces, no podrá expresar con palabras lo que siente. Obtener un buen diferencial de eso es una gran parte del trabajo de un médico, y el punto de referencia lo omite en gran medida. Cómo se comporta la herramienta en un entorno particular es tan importante como lo que sabe el modelo, con la información que ese entorno realmente proporciona.
Dónde aparece la IA en la consulta
Como soy ingeniero, no médico, mi primera preocupación cuando pienso en estas herramientas es la interacción más que el modelo. Para utilizar un chatbot durante una consulta, el médico debe detenerse, resumir el caso, escribir una pregunta, leer la respuesta y determinar en qué medida confía en él antes de volverse hacia el paciente. Rara vez hay tiempo para eso en una visita de diez minutos a atención primaria o en un departamento de urgencias ajetreado, por lo que en la práctica la herramienta se consulta más tarde para comprobar un diagnóstico que ya está más o menos establecido. Para entonces, el paciente se ha ido y existe la oportunidad de hacerle una pregunta diferente o investigar algo que falta.
Ese es el problema que nos propusimos trabajar en Medsys AI, una startup de Madrid. Nuestro asistente escucha la consulta y, a medida que avanza, sugiere hipótesis diagnósticas, preguntas que vale la pena plantear y aspectos a comprobar durante el examen físico. Las instrucciones se actualizan a medida que llega nueva información y el médico no necesita escribir nada. Los médicos llaman qué hacer con ellos. La imagen que tengo en mente es la de estar detrás de un residente inseguro, disponible para los médicos en cualquier etapa de su carrera.
De ahí se derivan algunas decisiones de diseño. El asistente muestra varias hipótesis con el razonamiento detrás de cada una extraído de más de mil guías clínicas y verificado por más de un modelo antes de aparecer en pantalla. Y el sistema está diseñado para que podamos cambiar el modelo subyacente y volver a ejecutar nuestras evaluaciones cuando aparezca uno mejor.
Google y Beth Israel Deaconess publicaron un estudio en The Lancet en el que casi un centenar de pacientes conversaron con Google AMIE antes de una próxima visita de atención primaria por un nuevo problema, con un médico monitoreando directamente cada conversación. Los médicos recibieron la transcripción y el resumen antes de ver al paciente, y ninguna de las conversaciones tuvo que ser interrumpida por seguridad. Los médicos dijeron que esto hizo que la visita pasara de recopilar información a verificarla y decidir con el paciente. Es un diseño diferente al de la consulta, y creo que es un buen ejemplo de cómo hacerlo: la IA hace parte del trabajo y el médico toma la decisión.
lo que medimos
Evaluamos a nuestro asistente con médicos que lo usaban. 13 médicos de familia colegiados en España realizaron 260 consultas de voz con pacientes virtuales, interpretadas por un modelo de voz que detallaba cada caso. Se seleccionaron 40 casos por dificultades de diagnóstico, como embolia pulmonar o enfermedad autoinmune con síntomas vagos. Cada caso fue asignado aleatoriamente para ser realizado con o sin asistente, y los diagnósticos fueron calificados por tres jueces que desconocían de qué brazo procedía la consulta. Los resultados se publican en JMIR Formative Research.
Una diferencia de 12,3 puntos porcentuales fue que los tres primeros puestos del médico dieron el diagnóstico correcto en el 62,3% de las consultas no asistidas y en el 74,6% de las consultas asistidas. Calculado como fallos, fue un 32,6% menos y un 44,8% menos en casos difíciles. Los médicos calificaron esta herramienta con un 4,38 sobre 5 como útil.
El estudio tiene limitaciones obvias. Se simularon pacientes, trece médicos eran una muestra pequeña y los médicos del brazo sin ayuda no tenían recursos externos (ni UpToDate, ni motor de búsqueda), que no es como normalmente trabajan. Estos son resultados preliminares. Ahora estamos realizando un ensayo clínico con pacientes reales en el servicio de urgencias de un importante hospital de Madrid, que ha sido autorizado por el comité de ética de la investigación y la Agencia Española del Medicamento y Productos Sanitarios.
Dos (quizás muchas) preguntas que nos quedan sin respuesta
El primero es el tiempo. Las consultas de soporte tardaron unos 35 segundos más, aproximadamente un 10,7%. En un departamento de emergencias con una sala de espera llena, un paciente puede agregar 35 segundos a un turno. Todavía no sabemos dónde está el umbral aceptable ni cuánto tiempo se tarda en leer las instrucciones para las preguntas que cambian el diagnóstico y las que no.
El segundo es el exceso de dependencia. También vimos lo que ocurrió en consultas donde la sugerencia diagnóstica de AI fue errónea. El sistema genera instrucciones en ambas manos, pero sólo los médicos asistentes pueden verlas. De aquellas consultas con indicaciones falsas, los médicos asistentes presentaron el mismo diagnóstico incorrecto el 55,8% de las veces, frente al 38,8% de los médicos no asistentes, que nunca lo vieron. La diferencia no fue estadísticamente significativa, por lo que el estudio no mostró que el asistente estuviera empujando a los médicos hacia respuestas incorrectas. Incluso esto no lo descarta, y con una brecha de ese tamaño en un estudio pequeño, lo leo como algo a seguir de cerca. Mostrar varias hipótesis con su razonamiento no impide que un médico se base en la primera. Un ensayo clínico con pacientes reales volverá a medir esto.
Determinar por qué
Gran parte de la inversión en IA en el sector sanitario se ha publicado en la literatura especializada en los últimos años. Les devuelven tiempo a los médicos y una nota incompleta conlleva mucho menos riesgo, por lo que tiene sentido. Vemos nuestro trabajo como complementario: un escriba escribe el diálogo y nosotros tratamos de ayudar mientras sucede.
El diagnóstico erróneo es donde radica la mayor parte del daño. La revisión de 2022 de la AHRQ estima que 1 de cada 18 pacientes del departamento de emergencias en los EE. UU. recibe un diagnóstico erróneo, lo que representa 7,4 millones de personas por año. Las sociedades de medicina de emergencia han cuestionado cómo se extrapoló ese número, y el número real puede ser menor. Parte de eso también es un gran problema y las herramientas de documentación no hacen mucho al respecto.
Manera de control
En Europa, el software que contribuye al diagnóstico es un dispositivo médico y no pertenece a la clase de bajo riesgo. Para obtener el marcado CE se requiere un expediente técnico que recoja los beneficios y riesgos evaluados por el organismo notificado. Para nosotros, de manera realista, eso significa en algún momento en 2027. El proceso es similar a realizar un ensayo con pacientes reales e informar las medidas de riesgo como se mencionó anteriormente.
quiero ver las cosas medidas
Para el tipo de sistema que estamos diseñando, el desempeño de un modelo independiente no es suficiente para determinar si ayudará. Me gustaría ver más estudios que midan si los médicos que usan IA son más precisos, si están más seguros cuando la IA falla y cuánto tiempo les cuesta, primero en simulación y luego con pacientes reales.
Ese también es un paso. Un diagnóstico correcto es importante por lo que le hace al paciente, por eso lo que finalmente cuenta es cómo le va después: en los siguientes días en urgencias, meses o años en atención primaria, según la especialidad. Tenga esto en cuenta mientras creamos el Asistente y sus evaluaciones. Tenemos la primera evidencia de que este enfoque funciona y se está realizando un ensayo clínico para ver si funciona. Compartiré lo que encontramos.
Manuel Pinilla es cofundador de Medsys AI, una startup con sede en Madrid que crea inteligencia artificial en tiempo real para ayudar a los médicos durante las consultas, y coautor del estudio. Un artículo con resultados preclínicos.