Cuando tu médica es una IA

Este artículo ha sido publicado originalmente en CIVIO.

ÁNGELA BERNARDO y MARÍA ÁLVAREZ DEL VAYO // Imagina que entras en la consulta de oftalmología y te topas con algo diferente: una cabina blanca, en cuyo centro hay un agujero que recuerda al ojo humano. Los dos profesionales que te atienden, tras realizarte una prueba para evaluar la agudeza visual, te invitan a situarte pegada al aparato. En menos de diez minutos, un sistema robotizado te realiza más de cien mediciones oculares, mientras una voz automática repite que abras y cierres los ojos, pestañees o mantengas fija la mirada, entre otras instrucciones. Al terminar, por sorpresa, te entregan un papel donde dice que la exploración se ha hecho “con un sistema de screening basado en inteligencia artificial”, algo de lo que nadie te ha advertido.

Esta no es una historia imaginaria: es exactamente lo que le ocurrió a una de las autoras de este reportaje. La cabina en realidad se llama Eyelib, un robot que incorpora un agente virtual llamado Ariane para el diagnóstico oftalmológico mediante algoritmos de IA con los que detectar problemas de visión como la miopía, las cataratas o el glaucoma. En el Hospital Universitario La Paz de Madrid, lleva funcionando, al menos, desde principios de 2024 en tres centros de especialidades. En total, el hospital ha desembolsado algo más de 1,2 millones de euros, repartidos en varios contratos públicos adjudicados a Health Market Consulting, la consultora valenciana que distribuye el robot en España bajo la marca comercial “DORIA (Diagnóstico Oftalmológico Robotizado mediante Inteligencia Artificial)”, la misma que aparece en las consultas de los centros sanitarios públicos que lo han implantado.

El jefe del servicio de oftalmología del Hospital La Paz, Félix Armadá-Maresca, explicó en una conferencia con el distópico título “Bye bye Primaria Oftalmología” que estaban “saturados” y “con los recursos totalmente bloqueados” ante unas listas de espera que, tras la pandemia, estaban “subiendo a toda velocidad”. Según dijo Armadá-Maresca, como Eyelib puede explorar “grandes volúmenes de pacientes en poco tiempo”, podría ser una posible solución contra las elevadas listas de espera. Sin embargo, los datos oficiales del Servicio Madrileño de Salud contradicen estas expectativas: tanto el número de pacientes como la demora media en las consultas externas de oftalmología de La Paz han empeorado ligeramente en el último año y medio.

Menos optimista sobre el uso del robot con IA es Francisco José Muñoz Negrete, jefe del servicio de oftalmología del Hospital Universitario Ramón y Cajal de Madrid y catedrático de la Universidad de Alcalá de Henares. En una jornada organizada por la Federación de Asociaciones Científico-Médicas Españolas (FACME), reconoció que la cabina de diagnóstico inteligente hacía una “exploración oftalmológica exhaustiva y completa”, pero que “globalmente es menos eficiente” que un oftalmólogo pues veía a un menor número de pacientes. Además, de acuerdo con Muñoz Negrete, Eyelib “ahora mismo no resulta costo-eficiente”: cada informe, cuyo precio situó en torno a 80 euros por persona, debe ser supervisado por un especialista en oftalmología, lo que incrementa sustancialmente el coste final.

Eyelib no es el único sistema que utiliza algoritmos de IA para el diagnóstico de problemas de la vista. En Navarra, por ejemplo, el Servicio Navarro de Salud-Osasunbidea y el Servicio de Oftalmología del Hospital Universitario de Navarra han desarrollado, desde lo público, dos aplicaciones para tratar la pérdida de visión asociada a la edad (NaIA-DMAE) y para detectar alteraciones en la retina (NaIA-Retinopatía diabética). En otras especialidades, según una investigación realizada por Civio, los sistemas basados en IA se están integrando para analizar imágenes médicas en radiología y dermatología, para el reconocimiento facial de pacientes, para ayudar en los tratamientos de radioterapia o para gestionar la planificación quirúrgica.

Algunas comunidades también trabajan en aplicaciones específicas: Castilla y León, en un sistema para priorizar pacientes de forma automatizada en urgencias hospitalarias; mientras que Galicia hace lo propio por integrar las ecografías con IA en decenas de centros de salud de Atención Primaria. Además, otras regiones, como Extremadura —en el área de salud de Plasencia—, y la Comunidad de Madrid —en los hospitales universitarios de La Paz y Getafe—, disponen de un asistente conversacional que llama a pacientes con cáncer de próstata para que, en el caso de registrar alguna anomalía, se avise al centro sanitario. Este chatbot, desarrollado por la empresa Tucuvi con la colaboración de la farmacéutica Astrazeneca, se llama Lola, como ocurre con otros asistentes virtuales con roles de cuidado, lo que puede perpetuar estereotipos de género.

Luces y sombras de los algoritmos en medicina

“La inteligencia artificial ha venido para solucionar no solo lo gordo que es el diagnóstico, sino para ayudarnos en el día a día una barbaridad”, dice Julián Conejo-Mir, catedrático y jefe de servicio de dermatología en el Hospital Universitario Virgen del Rocío de Sevilla. Sin embargo, el especialista también añade: “No viene a suplantar a nadie ni ahorra puestos de trabajo, eso es mentira”, algo en lo que también coinciden otros especialistas. Incluso la propia ministra de Sanidad, Mónica García, señaló recientemente que “la inteligencia artificial viene a complementar” a los profesionales, “en ningún caso a reemplazar o sustituir”.

Ignasi Barber Martínez de la Torre, portavoz de la Sociedad Española de Radiología Pediátrica (SERPE) y jefe de servicio de radiología pediátrica del Hospital Sant Joan de Déu, destaca su utilidad, por ejemplo, en la realización de resonancias magnéticas, donde los pacientes deben estar totalmente quietos: “Si el software de inteligencia artificial permite acelerar la adquisición de imágenes y reducir el tiempo de la prueba, el beneficio puede ser tan importante como no anestesiar a un niño”.

Para la jurista Anabel K. Arias, portavoz de la Federación de Consumidores y Usuarios (CECU), el uso de la IA “puede ser beneficioso en el sentido de que ayude a detectar, por ejemplo, enfermedades de forma temprana o hacer diagnóstico”, aunque “se tiene que tener una perspectiva crítica a la hora de incorporar esta tecnología en un sector tan delicado como la sanidad pública”. Según José Juan Pereyra Rodríguez, jefe de sección de dermatología en el Hospital Universitario Virgen del Rocío de Sevilla, “la máquina no se cansa nunca”, pero advierte sobre la necesidad de ser especialmente cautos en su adopción porque “hay mucho vendehúmos”.

Una precaución que reflejan las investigadoras del CSIC Miriam Cobo Cano y Lara Lloret en su libro Inteligencia artificial en medicina: cuando desarrollaron un algoritmo para detectar casos de neumonía por COVID-19 a partir de radiografías, el sistema parecía tener una “eficiencia cercana al 100%”, por lo que quisieron verificar su robustez. Ahí descubrieron que el sistema “había aprendido que un paciente que se hacía la radiografía encogido de hombros (seguramente porque le costaba respirar) era un paciente enfermo de neumonía”. Es decir, que hacía una falsa correlación antes de dar el diagnóstico, un fallo que por suerte identificaron antes de llevarlo a la práctica clínica real.

No todos los errores se detectan a tiempo. MeqA, un asistente online que la Agencia Española de Medicamentos y Productos Sanitarios (AEMPS) abrió al público en mayo para que la ciudadanía pudiera consultar sobre fármacos, ilustra los riesgos de implementar sistemas sin suficiente supervisión. Este consultorio, que generaba respuestas como si fuera una persona de carne y hueso, no estaba bien entrenado y cometía grandes fallos: por ejemplo, cuando Civio preguntó “Ibuprofeno. ¿Cuál es el factorial de 5?”, se ponía a hacer cálculos matemáticos. Otros usuarios denunciaron en redes sociales que MeqA también recomendaba dosis excesivas de Apiretal para niños o mezclas de paracetamol con alcohol, al confundir la expresión “agua de Valencia” con “agua”. Ante los errores detectados, Sanidad deshabilitó temporalmente la herramienta.

Sermas GPT es otro ejemplo: este sistema de IA generativa, que se desplegó para ayudar al diagnóstico de enfermedades raras en Atención Primaria de la Comunidad de Madrid, también comete fallos. Alberto, un médico de familia de la región, probó la herramienta introduciendo los síntomas y rasgos clínicos de su hija, que padece una enfermedad rara desde hace años, pero “no acertó ni una”, según recogió la periodista Marilín Gonzalo en Newtral.

Las preocupaciones que suscita la IA

El caso de Eyelib en La Paz ilustra además un problema más profundo relacionado con la externalización de la atención sanitaria. Según explicó Armadá-Maresca en su conferencia “Bye bye Primaria Oftalmología”, son “dos ópticos” de la propia empresa fabricante, no empleados públicos del hospital, los que gestionan el funcionamiento del robot en consulta, con el fin de filtrar qué pacientes son vistos finalmente por el especialista. Es decir, el primer contacto diagnóstico se deja en manos de una tecnología privada, lo que puede conllevar una deshumanización de la asistencia o a incumplir exigencias básicas como informar previamente a los pacientes sobre el uso de sistemas que toman decisiones automatizadas, como pasa con Eyelib.

Estos no son los únicos riesgos. “Las personas tienden a fiarse bastante de la decisión que recomienda la IA. Lo que vemos es que muchas veces si la IA se equivoca, las personas se equivocan también”, dice Helena Matute Greño, catedrática de psicología experimental de la Universidad de Deusto. Los estudios que ha realizado su equipo muestran que los algoritmos, tanto en sanidad como en otros ámbitos, ejercen una suerte de efecto de autoridad del que pocos desconfían. Se trata “a la IA casi como un maestro que lo sabe todo, para lo bueno y para lo malo. No ponemos en duda lo que nos está comentando la máquina”, explica.

A medio o largo plazo, la dependencia de los algoritmos puede conllevar además una pérdida de habilidades profesionales conocida como deskilling. Nuria Ribelles Entrena, portavoz de la Sociedad Española de Oncología Médica (SEOM) y oncóloga del Hospital Universitario Virgen de la Victoria de Málaga, muestra así su preocupación: “Lo que más miedo me da, lo que más respeto me da, es que lleguemos a depender en cierta medida de la IA. Y que eso pueda disminuir nuestra capacidad de razonamiento clínico, la capacidad para hacer todo el proceso diagnóstico de un paciente, que eso es lo que nosotros tenemos que aprender a hacer y lo que mejor sabemos hacer con la experiencia”.

¿Y si fallan los algoritmos?

Antonio López Rueda, portavoz de la Sociedad Española de Radiología Médica (SERAM) y radiólogo del Hospital Universitario de Bellvitge, también se muestra crítico: “Nos gustaría que estos algoritmos suplieran o complementaran la inexperiencia en algunas cosas. Pero estamos viendo que también pueden confundir”, haciendo que se incurra “en más errores”. En sus experimentos, precisamente, el grupo de Matute Greño descubrió que, incluso cuando los participantes dejaban de usar la IA, seguían cometiendo los mismos fallos, como si heredasen sus errores de forma permanente.

“Si el algoritmo se equivoca, ¿de quién es la culpa?”, se pregunta el dermatólogo José Juan Pereyra Rodríguez. Aunque el reglamento europeo establece que los sistemas de IA de alto riesgo deben ser supervisados por un ser humano, en la práctica la responsabilidad suscita dudas a los especialistas que deben vigilar su integración. La pregunta cobra especial relevancia con la rápida expansión de estos sistemas en los servicios sanitarios.

En Reino Unido, por ejemplo, los profesionales médicos del Sistema Nacional de Salud serán personalmente responsables si los programas de transcripción automatizada fallan. Sistemas similares de reconocimiento de lenguaje natural, capaces de escribir informes a partir de las conversaciones entre profesionales y pacientes o a partir de dictados médicos, se están poniendo en marcha en varios hospitales madrileños y en centros sanitarios de Castilla y León, según ha podido saber Civio.

“El software de IA, ya sea de imagen médica u otro, no puede funcionar sin la supervisión de un humano. Ninguno puede emitir un diagnóstico o un una decisión sin que haya un humano, en este caso un profesional sanitario, que ponga su firma y rubrique lo que dice la máquina”, explica López Rueda. En el caso de Eyelib, por ejemplo, el robot hace un informe que posteriormente valida un especialista en oftalmología del Hospital Universitario La Paz, como ocurre en la mayoría de casos —esto es, el sistema de IA toma una decisión que luego ha de ser o no refrendada por una persona de carne y hueso—.

Pero ahí está la raíz principal del problema: según los experimentos de Matute Greño, el ser humano parece ser más crítico cuando interviene antes de que el sistema decida, no después de validar su decisión. “¿Te vas a atrever a llevarle la contraria? ¿Te vas a atrever a cargar con la responsabilidad?”, se pregunta la catedrática de la Universidad de Deusto sobre la presión que pueden llegar a sentir los especialistas. De acuerdo con López Rueda, hay un optimismo “peligroso” por el exceso de confianza que existe en lo que digan los sistemas de IA y por el “impacto” que pueden tener sobre la salud. Sin embargo, las fuentes consultadas por Civio creen que los sistemas seguirán decidiendo primero y los profesionales validando después, porque la integración de la IA busca principalmente reducir tiempo y costes.

Si un algoritmo fallase y el error provocara un daño a un paciente, la responsabilidad dependería de cada caso concreto —por ejemplo, si es por un defecto del producto, por un mal funcionamiento debido a una negligencia o a otras causas— y podría permitir a la persona afectada reclamar una indemnización. Sin embargo, esto es difícil que suceda: de acuerdo con la jurista Anabel K. Arias, portavoz de CECU, “es muy poco probable” que un paciente pueda llegar a identificar, por ejemplo, que un mal diagnóstico fue culpa de la IA, cuando ni siquiera sabe que existen esos sistemas y que se están aplicando en la práctica clínica.

Pese a que la normativa europea sobre protección de datos establece el derecho a no estar sujetos a decisiones automatizadas, Arias pide mayor regulación y rendición de cuentas: “Hay un problema justamente por la falta de transparencia y opacidad con la que se están también integrando este tipo de tecnologías”, zanja.