>

"¿Qué hace falta para confiar en un agente de inteligencia artificial en salud?"

Mg. Rocío D'Agostino

Juan Carlos Díaz, asesor regional de Ingeniería de Datos en Salud Pública de la Unidad de Sistemas de Información y Salud Digital de la Organización Panamericana de Salud, nos comparte algunas de las lecciones que dejó su experiencia evaluando estas herramientas.

 

Las conversaciones sobre inteligencia artificial en salud suelen concentrarse en todo lo que estas herramientas pueden hacer. Automatizar tareas, asistir en la toma de decisiones, analizar grandes volúmenes de información o acelerar procesos son algunas de las promesas que aparecen con frecuencia. Sin embargo, antes de pensar en su incorporación a la práctica cotidiana, existe una instancia menos visible, pero igual de importante, que es evaluar si realmente están preparadas para formar parte de un entorno sanitario.

Ese es justamente el lugar desde el que observa estas tecnologías Juan Carlos Díaz. Su experiencia no viene de utilizar agentes de IA con pacientes, sino de un paso previo, de ponerlos a prueba, analizar su desempeño en distintos proyectos y determinar si están en condiciones de avanzar hacia escenarios de uso más amplios: "Veo los mismos problemas aparecer una y otra vez en proyectos distintos, antes de que nadie los note desde adentro", nos cuenta. 

Desde esa perspectiva, explica que “la evaluación de tecnologías de inteligencia artificial no puede limitarse a comprobar si funcionan correctamente”. Existe un conjunto de principios que orientan su análisis y que buscan garantizar una adopción responsable. Las herramientas deben estar centradas en las personas, respetar sus derechos, su dignidad y su autonomía, promover el beneficio, evitar daños y contribuir a la equidad. También deben ofrecer transparencia, proteger los datos, preservar la integridad científica y evitar cualquier forma de discriminación. Siempre que sea posible, agrega: “el conocimiento generado debería poder compartirse y reutilizarse”. Entre todos esos principios hay uno que termina condensando el espíritu de los demás, porque la inteligencia artificial puede asistir, acelerar procesos y aportar información, pero las decisiones deben seguir bajo supervisión humana.

Otros dos principios que Díaz destaca como frecuentemente subestimados en estas evaluaciones son la equidad y la protección de datos. “Una herramienta puede funcionar muy bien en promedio y aun así comportarse distinto según el tipo de población o el contexto del país donde se usa, y eso rara vez se revisa a fondo si nadie lo pregunta explícitamente”, explica. Algo similar ocurre con los datos: “Siempre hay una tensión entre la cantidad de información que una herramienta necesita para funcionar bien y lo que realmente se puede o se debe compartir con ella, sobre todo cuando se trata de datos sensibles de salud".
 

Aunque estos lineamientos suelen aparecer en documentos y marcos regulatorios, para Díaz  adquieren verdadero sentido cuando se los lleva a la práctica. Es ahí donde empiezan a aparecer desafíos que muchas veces no tienen que ver con la tecnología en sí.

Uno de los ejemplos surgió durante un proyecto en el que utilizó un agente de IA para recuperar datos de salud de distintos países y explorar la información disponible sobre el Caribe. Desde el punto de vista técnico, la herramienta respondió exactamente como se esperaba. El problema apareció en un aspecto mucho más cotidiano, en el que el equipo compartía una única cuenta con una cantidad limitada de usos y el acceso terminó convirtiéndose en una barrera para experimentar con libertad. "Nos enfocamos tanto en si iba a funcionar que el tema del acceso lo terminamos resolviendo cuando ya se había vuelto un problema real", recuerda.

La situación parece menor, pero dejó una enseñanza importante. Incorporar inteligencia artificial no es solo elegir una buena herramienta; también implica pensar cómo las personas van a trabajar con ella, cómo se organiza el acceso, qué recursos estarán disponibles y de qué manera se integra a los procesos existentes. Son cuestiones que rara vez aparecen en una demostración tecnológica, pero que terminan definiendo buena parte del éxito de una implementación.

 

La confianza no se construye solamente con buenos resultados

Hablar de confianza puede parecer un aspecto secundario frente al desempeño técnico de una herramienta. Sin embargo, para el especialista, esa dimensión termina siendo determinante. Un agente de IA puede ofrecer respuestas correctas la mayor parte del tiempo, pero eso no garantiza que los equipos estén dispuestos a incorporarlo a su trabajo cotidiano.

Cuando comienza la evaluación de una herramienta, explica Díaz, casi todas las preguntas apuntan a lo mismo: ¿funciona? Sin embargo, con el tiempo, esa deja de ser la cuestión central. La experiencia le mostró que la verdadera diferencia entre una herramienta que termina incorporándose al trabajo cotidiano y otra que queda en el camino aparece cuando ocurre un error. "Cuando algo sale mal, ¿alguien puede explicar por qué pasó?" Para él, esa es la pregunta que realmente determina si un agente de IA está listo para utilizarse.

Durante las pruebas observó herramientas con niveles de precisión muy altos que despertaban desconfianza porque nadie podía explicar cómo llegaban a una determinada respuesta. En cambio, otras soluciones con resultados algo menos exactos eran aceptadas con mayor facilidad porque hacían explícitos sus límites y permitían que las personas entendieran cuándo intervenir. "La confianza que se sostiene en el tiempo casi nunca vino solo de ver buenos resultados. Vino de poder detallar el funcionamiento en palabras simples y de que el equipo sintiera que podía corregir la herramienta, no que estaba a merced de ella".

Más allá de la precisión, para Díaz la confianza sigue siendo el verdadero desafío. No alcanza con que una herramienta ofrezca buenos resultados. También es necesario entender cómo funciona, reconocer sus límites y saber quién interviene cuando aparece un error.

La misma lógica aparece cuando se analizan las tareas que, en teoría, parecen más fáciles de automatizar. Resumir documentos, completar formularios o extraer información de un texto para organizarla en una tabla suelen presentarse como ejemplos ideales para delegar en un agente de IA. Sin embargo, la experiencia demuestra que la realidad es bastante más compleja.

Según Díaz, el error consiste en pensar que lo repetitivo está en el contenido, cuando en realidad está en la estructura. Cada documento incorpora matices diferentes, aparecen datos incompletos, excepciones o situaciones ambiguas que una persona resuelve casi sin advertirlo, apelando a su experiencia y al sentido común, y los agentes todavía no cuentan con esa capacidad.

Como consecuencia, muchas tareas que parecían completamente automatizables terminan resolviéndose solo de manera parcial. Siempre queda un porcentaje que necesita revisión humana y, paradójicamente, suele corresponder a los casos más delicados, aquellos que se apartan del patrón esperado y que, justamente por eso, requieren mayor atención.

Esa necesidad de supervisión también obliga a replantear la manera en que se mide el impacto de estas tecnologías. La precisión es probablemente el indicador más utilizado, pero el Asesor Regional considera que, por sí sola, dice muy poco. Existen herramientas que alcanzan excelentes resultados durante las pruebas y, sin embargo, nunca logran incorporarse al trabajo cotidiano. Otras, en cambio, permanecen durante años porque resuelven un problema concreto, aun cuando no sean perfectas.

Hay otro aspecto que tampoco suele aparecer en las primeras evaluaciones, que es comprobar si la inteligencia artificial efectivamente redujo la carga de trabajo o simplemente la trasladó hacia otra etapa del proceso.

En algunos proyectos, automatizar una tarea permitió obtener resultados en pocos segundos. Sin embargo, ese ahorro inicial terminaba compensándose con el tiempo necesario para revisar la información generada, corregir errores o aportar contexto adicional para que el agente pudiera interpretar correctamente cada situación. "Puede pasar que el proceso se vuelva muy rápido, pero la supervisión y el control de calidad terminen llevando más tiempo que la tarea original", sostiene.

Quizás el aprendizaje más importante surgió, justamente, de una herramienta que cumplía con todo lo que prometía. El agente funcionaba correctamente, obtenía buenos resultados y hacía exactamente aquello para lo que había sido diseñado. Aun así, el equipo decidió no implementarlo.

No existía un mecanismo claro para actuar cuando apareciera un error. Si el sistema fallaba, no era posible identificar fácilmente quién debía revisar esa situación, cómo corregirla ni de qué manera evitar que volviera a repetirse.

En salud, ese porcentaje minoritario de errores suele coincidir precisamente con los casos más complejos, como pacientes atípicos, situaciones poco frecuentes o información que se aparta de lo esperado. Son escenarios donde la supervisión humana vuelve a demostrar que es una condición indispensable.

En definitiva, la diferencia entre una herramienta que funciona y otra que está lista para usarse no siempre se encuentra en una prueba técnica. Muchas veces aparece recién cuando surge un error y el equipo tiene que decidir cómo actuar frente a esa situación.