Protección Data

BLOG

El conocimiento es poder (Francis Bacon)

Blog
Compartir Facebook Twitter Linkedin
JAVIER CASAL TAVASCI

La necesaria supervisión de la inteligencia artificial

Pongamos que le pregunto a un sistema de inteligencia artificial, por ejemplo, a ChatGPT por cinco formas posibles de que se extinga la raza humana.

En su respuesta, el algoritmo nos da cinco opciones: 1) Catástrofes naturales; 2) Pandemias; 3) Guerra nuclear; 4) Colisiones celestes y 5) Inteligencia artificial. 

El algoritmo entiende que la inteligencia artificial podría poner en riesgo nuestra existencia si supera en inteligencia a los humanos y se vuelve hostil. Curioso, ¿no?. Vean la respuesta con detalle:

Que un mal uso de la inteligencia artificial nos puede causar más de un trastorno como sociedad es un hecho, de ahí, la necesidad de regular y supervisar los algoritmos. Veamos algunos riesgos:

Caos en el sistema financiero

El 6 de mayo de 2010, Navinder Singh Sarao, operando desde Londres, hizo caer los principales índices bursátiles de los Estados Unidos, incluidos el Dow Jones Industrial Average, el S&P 500 y el Nasdaq Composite Index, provocando una pérdida de un billón de dólares. El incidente se conoce como Flash Crash 2010 y duró 36 minutos.

La Comisión de Bolsa y Valores de Estados Unidos (SEC) y la Comisión de Negociación de Futuros de Materias Primas (CFTC) presentaron un informe, tras la investigación de incidente que duró 5 meses. En el informe explican que la causa fue una sola transacción generada por un sistema automático de alta frecuencia de Waddell & Reed Financial, o sea, por algoritmos.

Otro caso muy sonado fue el de la compañía norteamericana Knight Capital Group, una de las firmas más activas de trading de los Estados Unidos, que empleaba sofisticados algoritmos matemáticos para decidir las órdenes de compra y venta de acciones. El incidente ocurrió el 1 de agosto de 2012 a causa de un error técnico de uno de sus algoritmos. La consecuencia fue la alteración del mercado bursátil de Nueva York durante 45 minutos y una pérdida de 440 millones de dólares para la compañía.

Conclusión: un algoritmo manipulado o mal diseñado puede llegar a provocar un caos financiero de dimensiones incalculables.

Discriminaciones    

La estudiante Robin Pocornie, mira fijamente a su ordenador portátil. Está lista para su examen en línea sobre «Fundamentos de Bioinformática» en la Universidad Libre de Ámsterdam. Las condiciones de su estudio son óptimas: WiFi estable, buena luz, buen espacio. De pronto, aparece en su pantalla el siguiente mensaje: «Veo que estás tardando mucho en iniciar sesión». Lo intenta de nuevo. Se sienta en silencio frente a su cámara web para que el software anti-trampas (Proctorio) de la Universidad escanee su tarjeta de estudiante y su rostro. El programa no reconoce su rostro y le pide que se siente en una habitación bien iluminada. Su habitación tiene una iluminación más que correcta. No obstante, enciende una lámpara iluminando directamente su rostro. De repente, funciona. 

Para iniciar sesión, Proctorio escanea la tarjeta de estudiante y la cara del estudiante. El programa tiene acceso a la cámara y al micrófono para verificar si hay una cara en la imagen y si el estudiante está mirando hacia otro lado de la pantalla o hablando con alguien.

Robin Pocornie experimenta problemas de inicio de sesión cuatro veces más en los meses siguientes. Sospecha que el software no reconoce su rostro porque es negra. En una búsqueda en Google por las palabras «Proctorio + Racismo», la pantalla se llena de historias de estudiantes estadounidenses negros con dificultades para iniciar sesión.

Ciertos software de reconocimiento facial son conocidos desde hace años por tener problemas para reconocer a las personas de color negro. Infame es el ejemplo de Google Photos, que etiquetó a las personas negras como gorilas en 2015. Los errores pueden explicarse por el hecho de que el software aprende patrones basados ​​en una colección de fotos de rostros. Si hay menos personas de color en dicha colección, el algoritmo aprende a reconocerlas peor.

Robin Pocornie denunció los hechos al Netherlands Institute for Human Rights que concluyó que su caso era de discriminación algorítmica.

No es el único caso. La Unión Estadounidense por las Libertades Civiles (ACLU) puso a prueba la tecnología de reconocimiento facial de Amazon conocida como Rekognition.

Para llevar a cabo la prueba, Rekognition contrastó las fotografías oficiales de los 535 miembros del Congreso de los Estados Unidos con 25.000 fotografías descargadas de una fuente pública.

Rekognition confundió a 28 miembros del Congreso de los Estados Unidos con posibles delincuentes. El algoritmo los identificó como personas que habían sido arrestadas por cometer un crimen. El error afectó, mayormente, a los rostros de piel más oscura. Pueden consultar las conclusiones de la prueba aquí.

Invasión de la privacidad 

El uso de videocámaras en las calles de las ciudades, combinado con el uso de la inteligencia artificial, permite la monitorización de la ciudadanía. China es un buen ejemplo.

Si quieren saber más sobre el reconocimiento facial automático en espacios públicos hagan clic aquí.

Y si quieren ampliar la información sobre el sistema de control de fronteras previsto para el espacio Schengen hagan clic haciendo clic aquí.

Riesgos para la conducción autónoma 

La conducción autónoma exige, necesariamente, la conexión de los vehículos a Internet, así como la instalación de soluciones de posicionamiento por satélite (GNSS) y sistemas avanzados de asistencia a la conducción (ADAS). Asimismo, es indispensable tener un software de posicionamiento para calcular la posición de los vehículos y avanzados algoritmos para organizar el tráfico. 

La conexión de cualquier dispositivo a la Red, sin mediar medidas de seguridad, conlleva riesgos y los vehículos no son una excepción. En 2015, dos investigadores de seguridad automotriz (Charlie Miller y Chris Valasek) manipularon, de forma remota, un vehículo conectado a Internet, mostrando diversas vulnerabilidades de seguridad, hasta el punto de hacer perder el control del vehículo a su conductor (fuente aquí).  

Si quieren saber más sobre conducción autónoma y ciberseguridad hagan clic aquí.

Distorsión de sistemas democráticos

La inteligencia artificial permite manipular, casi a la perfección, vídeos y grabaciones de voz. Es lo que se conoce como «deepfakes». De ellos les hablé en un artículo anterior que dejo enlazado aquí.

Imaginemos, por un momento, que alguien crea un «deepfake» de un candidato, por ejemplo, a la Presidencia de los Estados Unidos hablando mal de la comunidad hispana. Hablamos de la posibilidad de influir y manipular la voluntad y el voto de millones de votantes, ahí es nada.

Conclusiones

La prestigiosa Universidad de Stanford elaboró en el año 2021 un estudio acerca de los riesgos de la inteligencia artificial, que enlazo aquí, en el que participaron informáticos, académicos en ciencias sociales y humanidades (incluidos antropólogos, historiadores, filósofos, psicólogos y sociólogos), expertos en Derecho y ciencias políticas, así como representantes de los sectores público y privado. El estudio viene a completar otro realizado en el año 2016, que dejo enlazado aquí.

Entre sus conclusiones, los expertos advierten que «es urgente pensar seriamente en las desventajas y los riesgos que revela la amplia aplicación de la inteligencia artificial», así, «la creciente capacidad para automatizar decisiones a escala es un arma de doble filo. Las falsificaciones profundas intencionales y los algoritmos inexplicables que hacen recomendaciones de misión crítica pueden provocar que las personas sean engañadas, discriminadas e incluso dañadas físicamente. Los algoritmos entrenados en datos históricos están dispuestos a reforzar y exacerbar los sesgos y las desigualdades existentes».

Los expertos advierten que, de cara al futuro, es necesaria una mayor implicación de los gobiernos en la configuración, desarrollo y aplicación de la inteligencia artificial.

En España, la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), de la que les hablé aquí, jugará un papel esencial en el control de los algoritmos.

error: Contenido protegido por derechos de propiedad intelectual. Se prohíbe su reproducción, transformación, distribución y comunicación pública a título lucrativo por cualquier medio y soporte. Advertir que la infracción de los derechos relativos a la propiedad intelectual es constitutiva de delito (arts. 270 y ss. CP).