La Organización Mundial de la Salud (OMS) publicó el 19 de octubre de 2023 una serie de Consideraciones regulatorias sobre la IA aplicada a la salud. Aunque no son vinculantes, están diseñadas para servir como referencia para gobiernos, autoridades regulatorias, desarrolladores, fabricantes, profesionales de la salud y otras partes interesadas, ayudándoles a desarrollar o adaptar marcos regulatorios nacionales o regionales para la IA en salud.
El documento, elaborado por el Grupo de Trabajo sobre Consideraciones Regulatorias (WG-RC) del Focus Group on AI for Health (FG-AI4H) de la OMS y la Unión Internacional de Telecomunicaciones (UIT), se centra en seis áreas temáticas clave para fomentar el uso seguro, ético y efectivo de los sistemas de IA en salud. A continuación, se detallan y actualizan los puntos principales:
1. Documentación y transparencia
Una documentación precisa y completa es esencial para permitir una evaluación transparente de los sistemas de IA para la salud. Esto incluye adoptar un enfoque integral del ciclo de vida del producto para documentar los procesos, métodos, recursos y decisiones adoptadas durante su concepción, desarrollo, capacitación, implementación y validación.
Una transparencia eficaz contribuye a generar confianza y prevenir sesgos y manipulación de datos. En este sentido, es importante que los reguladores puedan rastrear el proceso de desarrollo y contar con la documentación de los pasos esenciales y los puntos de decisión.
Las medidas para facilitar la transparencia incluyen, entre otras, publicar en revistas con revisión por pares, compartir datos y conjuntos de datos y poner el código a disposición de otros para fomentar el aprendizaje mutuo y facilitar estudios adicionales.
Los procesos de validación y evaluación comparativa deben documentarse cuidadosamente para garantizar la transparencia, incluyendo las decisiones de selección de conjuntos de datos específicos, estándares de referencia, parámetros y métricas para justificarlos.
2. Gestión de riesgos y enfoque del ciclo de vida
Se promueve un enfoque basado en el riesgo, con procesos implementados para identificar y mitigar errores, sesgos y otros peligros.
Los fabricantes de sistemas de IA deben emplear un enfoque basado en el riesgo para garantizar que el diseño y desarrollo de los sistemas utilizados como dispositivos médicos incluyan las protecciones adecuadas en materia de ciberseguridad.
El proceso debe ser iterativo, planificado y ejecutado de manera continua, con revisiones y actualizaciones sistemáticas a lo largo de todas las etapas del ciclo de vida.
3. Uso previsto y validación analítica y clínica
Los sistemas de IA son complejos y dependen no solo del código que los constituye, sino también de los datos de entrenamiento, el entorno clínico y la interacción del usuario.
Al desarrollar un sistema de IA relacionado con la salud es importante describir el uso relevante, que debe cubrir el entorno (geografía, tipo de centro de atención), la población (etnia, raza, género, edad, tipo de enfermedad, gravedad, comorbilidades), el usuario previsto (proveedor de atención médica o paciente) y la situación clínica para la que está destinado.
Muchas intervenciones, pruebas y pautas son propensas a sesgos, de ahí la importancia de evaluar la calidad de los datos en el entrenamiento de los sistemas de IA, siendo propensos a fallar con tipos de datos no vistos, como una nueva característica de la enfermedad o un tipo de población o contexto que no se encontró.
La validación analítica se refiere al proceso de evaluar un sistema de IA utilizando datos sin intervención directa. También puede denominarse validación técnica. Una validación analítica adecuada demuestra que el modelo es robusto y funciona a un nivel aceptable en el entorno para el que fue diseñado. Además, permite identificar posibles sesgos, evaluar la capacidad de generalización del modelo y comprender las medidas adoptadas para mitigar dichos sesgos.
Cuando la validación analítica se realiza de forma retrospectiva sobre un conjunto de datos existente, proporciona métricas de rendimiento como precisión, valor predictivo positivo y valor predictivo negativo. Sin embargo, este enfoque no permite evaluar otros factores que pueden influir en el desempeño real de la herramienta, tales como la interacción con el usuario, la integración en el flujo de trabajo clínico y las posibles consecuencias no deseadas dentro de un entorno clínico complejo.
La validación de los sistemas de IA debe complementarse con un seguimiento clínico prospectivo posterior a la comercialización. Es fundamental notificar a los reguladores cualquier incidente o evento adverso que ocurra durante el uso clínico del sistema. Para llevar a cabo un monitoreo prospectivo efectivo utilizando datos del mundo real, será necesaria una inversión significativa en la curación y el etiquetado prospectivos de los datos de validación.
4. Calidad de los datos
Todas las soluciones de IA utilizan algún tipo de datos, independientemente de sus características, para facilitar que las máquinas aprendan, se adapten y mejoren su aprendizaje. Por ello, la calidad de los datos influye considerablemente en el éxito, la seguridad y la eficacia de dichas soluciones. Los datos que no tienen la calidad suficiente para el propósito previsto pueden generar problemas, como sesgos y errores.
Los errores y la falta de datos no son exclusivos del desarrollo de la IA, constituyen, sin embargo, preocupaciones graves que pueden surgir por diversas razones, como conjuntos de datos de entrenamiento o validación desiguales y no representativos, o sesgos estructurales en los sistemas donde se generan los datos de entrenamiento (por ejemplo, en entornos sanitarios).
5. Privacidad y protección de datos
A medida que aumenta la demanda de datos relacionados con la salud, la protección de la privacidad representa un desafío crucial para los interesados que buscan aprovechar las oportunidades que ofrecen los sistemas y tecnologías de inteligencia artificial.
La sensibilidad de los datos de salud y su valor para el desarrollo de sistemas de IA incrementan el riesgo de ciberataques, filtraciones y usos indebidos, lo que exige medidas de seguridad avanzadas y un enfoque ético riguroso. Es fundamental garantizar la seguridad de los conjuntos de datos a gran escala frente al acceso no autorizado en todas las etapas del proceso de desarrollo: recopilación, almacenamiento, gestión, transporte, análisis, intercambio y destrucción. Las instituciones sanitarias deben implementar sistemas de protección robustos y actualizados para minimizar vulnerabilidades.
Los programas de cumplimiento deben contemplar los riesgos y daños potenciales asociados al procesamiento de datos personales. Los desarrolladores de sistemas de IA deben documentar detalladamente las operaciones de tratamiento de datos, realizar evaluaciones de riesgos y describir las medidas adoptadas para mitigarlos, siempre considerando los intereses y derechos de los titulares de los datos.
Para garantizar la transparencia en las prácticas de ciberseguridad, la OMS recomienda que los desarrolladores documenten las políticas y enfoques de seguridad aplicados, incluyendo:
- Políticas de cifrado y anonimización robustas.
- Controles de acceso y métodos de registro de actividad.
- Monitorización continua de riesgos y auditorías periódicas.
- Métodos de destrucción segura de datos.
- Estrategias para protegerse contra la manipulación de datos y ataques adversarios, como el uso de tecnologías blockchain para reforzar la privacidad y la integridad en ecosistemas sanitarios fragmentados.
6. Compromiso y colaboración
Finalmente, la OMS considera fundamental promover la colaboración entre desarrolladores, fabricantes, profesionales de la salud, pacientes, defensores de pacientes, legisladores, organismos reguladores y otras partes interesadas, con el objetivo de mejorar la seguridad y la calidad de los sistemas de inteligencia artificial.
Para ilustrar el valor de la interacción entre organismos reguladores y partes interesadas, se presentan dos ejemplos reales: CURATE.AI e IDENTIF.AI. Estos casos demuestran cómo la cooperación estrecha entre distintos actores es clave para garantizar el desarrollo y la implementación segura, ética y efectiva de sistemas de inteligencia artificial en el ámbito de la salud. Además, reflejan la importancia de alinear la innovación tecnológica con los marcos regulatorios vigentes, promoviendo soluciones responsables y adaptadas a las necesidades clínicas y sociales.
Conclusión
La OMS reconoce el potencial transformador de la IA para mejorar resultados en salud, optimizar diagnósticos, tratamientos y ensayos clínicos y facilitar el acceso a la atención médica, especialmente en contextos con escasez de recursos. Sin embargo, subraya la necesidad de establecer marcos regulatorios sólidos que garanticen la seguridad, la eficacia y la equidad en el uso de estas tecnologías, así como la protección de la privacidad y la integridad de los datos de salud.
La OMS advierte sobre riesgos como la recopilación no ética de datos, amenazas cibernéticas, amplificación de sesgos y desinformación. Por ello, propone principios para sistemas transparentes, auditables, inclusivos y centrados en la diversidad de entornos y poblaciones.
En definitiva, insta a los países a aprovechar las oportunidades de la IA para mejorar la salud pública, pero siempre bajo un enfoque ético, inclusivo y centrado en las personas, minimizando los riesgos y maximizando los beneficios para toda la sociedad.
No se pierda nuestro podcast sobre el artículo
