Parte 2: Gobernar a los agentes de IA en la atención sanitaria: menos privilegios, reconocimiento y supervisión humana

En la Parte 1, expliqué por qué los modelos de seguridad diseñados para humanos son inadecuados para los agentes de IA. Esta publicación cubre qué conservar.

Nuevo principio: el menos adecuado para la IA

Los líderes de seguridad han abrazado durante mucho tiempo el principio del derecho mínimo. Los agentes de IA no deberían ser una excepción.

Las organizaciones sanitarias deberían resistir la tentación de conceder un acceso amplio simplemente para acelerar la implementación. Un agente que puede hacer todo eventualmente cometerá errores en todas partes.

En cambio, las organizaciones deberían centrarse en:

Permisos especialmente diseñados

Cada agente debe tener una misión claramente definida y solo debe tener acceso a los datos necesarios para completar esa misión.

Límites de confianza divididos

El acceso de los agentes debe diferenciarse por flujo de trabajo, departamento y sensibilidad de los datos.

Monitoreo continuo

La actividad de los agentes debe registrarse, revisarse y analizarse con el mismo rigor que los usuarios humanos privilegiados.

Supervisión humana

Las decisiones críticas clínicas, financieras y relacionadas con el cumplimiento deben mantener puntos de revisión humana hasta que se demuestre la madurez de la gobernanza.

La realidad es que no tenemos décadas de experiencia operativa en la gestión de agentes autónomos en entornos sanitarios. Por tanto, se recomienda proceder con precaución.

El riesgo oculto: la expansión de la identidad

La gestión de identidades mediante IA es una de las áreas de seguridad que recibe menos atención de la que merece. Las organizaciones ya tienen dificultades para gestionar identidades humanas, cuentas de servicio, cuentas de contratistas y acceso privilegiado.

Ahora imagina gestionar cientos o miles de agentes de IA. Cada agente podrá requerir:

  • Autenticación
  • Autorización
  • Gestión de pruebas
  • Acceso API
  • Registro de actividad
  • Gestión del ciclo de vida

Sin controles estrictos, las organizaciones de atención médica corren el riesgo de crear una nueva categoría de exposición y deuda técnica: identidades de agentes no administradas.

En muchos sentidos, la seguridad de la IA puede convertirse en un desafío de identidad tan grande como el desafío de la seguridad cibernética.

Por qué la gobernanza debería avanzar más rápido que la adopción

Mi propio viaje con la IA comenzó antes de que la adopción empresarial se generalizara. Como muchos líderes tecnológicos, comencé a estudiar las capacidades emergentes de la IA de forma independiente, a experimentar con herramientas disponibles públicamente y a analizar cómo estas tecnologías podrían remodelar las operaciones comerciales. Inicialmente, la atención se centró en la producción de contenidos, el aumento de la productividad y las mejoras de la eficiencia. Sin embargo, con el tiempo quedó claro que las conversaciones más importantes no giraban en torno a la eficiencia. Se trata de control, responsabilidad y confianza.

Cuanto más tiempo pasaba evaluando la IA, más me convencía de que la gobernanza no era una ocurrencia tardía.

Las organizaciones que tienen éxito con la IA agente no necesariamente implementan más agentes.

Son organizaciones que las implementan responsablemente. Es decir establecer:

  • Juntas de gobierno de IA
  • Procesos de revisión de seguridad
  • Marcos de clasificación de riesgos
  • Flujos de trabajo de aprobación de agentes
  • Normas de seguimiento y auditoría
  • Mecanismos de respuesta a incidentes específicos para sistemas de IA

La atención sanitaria siempre ha equilibrado la innovación con la seguridad del paciente. La IA no debería recibir un trato diferente.

La confianza define la siguiente fase de la adopción de la IA

La próxima generación de innovación sanitaria no estará definida únicamente por modelos más grandes o agentes más avanzados. Se define por la eficacia con la que las organizaciones equilibran la autonomía con la responsabilidad.

Plataformas como Agent Factory de Epic demuestran el increíble potencial de los agentes de IA para mejorar los flujos de trabajo clínicos, operativos y de cara al paciente. Al mismo tiempo, enfoques de la industria como el énfasis de Kindle en la orquestación basada en políticas, la gobernanza y la implementación segura resaltan una realidad igualmente importante: se debe confiar en los sistemas de IA antes de que puedan escalar.

Los pacientes deben tener la confianza de que su información está segura. Los médicos deben confiar en que las recomendaciones sean interpretables. Los líderes deben confiar en que sus estructuras de gobierno pueden gestionar eficazmente sistemas autónomos que operan en procesos clínicos y comerciales complejos.

El éxito a largo plazo no se mide únicamente por la cantidad de flujos de trabajo que se automatizan. Se mide por la confianza.

Como líderes de la atención sanitaria, nuestra responsabilidad no es sólo implementar la IA más rápidamente. Es nuestra responsabilidad garantizar que la IA se implemente de forma segura, transparente y con el objetivo de mejorar los resultados de los pacientes.

Cómo desbloqueamos la promesa de la IA de los agentes y al mismo tiempo protegemos a las personas, los datos y los resultados más importantes.

conectemos

Hable con los líderes de TI de atención médica sobre cómo controlar los agentes de IA en su sistema de salud. Le ayudamos a configurar el acceso, el seguimiento y el soporte.

La atención médica solo funciona con humanos al tanto.

Habla con nuestro equipo

Enlace a la fuente