El amanecer de la Inteligencia Artificial Explicable

Por Alejandro Rodríguez

Es la llamada XAI. La nueva frontera de la inteligencia artificial no es que funcione, sino que se pueda entender cómo y por qué toma decisiones. 

--

La inteligencia artificial ya forma parte de nuestras vidas. A diario, proliferan los distintos programas que generan contenido o brindan respuestas a los requerimientos de los usuarios. El más utilizado en Uruguay y en la región es Chat GPT, diseñado por la empresa OpenIA.

A diario, esta y otras plataformas reciben millones de requerimientos. Desde la solución a problemas cotidianos, hasta la elaboración de escritos judiciales y académicos. También el diseño de imágenes y el armado de esquemas de trabajo y tareas mucho más complejas. 

A este tipo de inteligencia artificial se la entrena a base de texto, se le hacen preguntas y se le añade información, de manera que este sistema, a base de correcciones a lo largo del tiempo, va “entrenándose” para realizar de forma automática la tarea para la que ha sido diseñada. Es el llamado machine learning.

La inteligencia artificial explicable (XAI) supone un paso más. Es un conjunto de procesos y métodos que permite a los usuarios comprender y confiar en los resultados y los productos creados por los algoritmos automatizados.

A medida que la IA avanza, los humanos se enfrentan al reto de comprender y descifrar cómo el algoritmo ha obtenido un resultado determinado. De hecho, quienes se han enfrentado a las plataformas como Chat GPT se suelen preguntar cómo se estructuran las respuestas y en base a qué priorizan sus elaboraciones.

Desentrañar la IA

La “explicabilidad” puede ayudar a los desarrolladores a garantizar que el sistema funcione según lo esperado. También a que los usuarios comprendan la existencia de sesgos o limitaciones a las funciones de la IA.

“La IA explicable implementa técnicas y métodos específicos para garantizar que cada decisión tomada durante el proceso de machine learning pueda ser rastreada y explicada. La IA, por su parte, suele llegar a un resultado utilizando un algoritmo automatizado, pero los arquitectos de los sistemas de IA no terminan de comprender cómo el algoritmo ha llegado a ese resultado. Esto dificulta la verificación de la exactitud y conduce a la pérdida de control, responsabilidad y auditabilidad”, sostiene un reporte de la firma tecnológica IBM.

Las técnicas de XAI constan de tres métodos principales. La precisión es un componente clave. “Realizando simulaciones y comparando los resultados de XAI con los del conjunto de datos de entrenamiento, puede determinarse la precisión de la predicción”, explica el reporte. 

La trazabilidad es el segundo método. Se obtiene, por ejemplo, limitando la forma en que pueden tomarse las decisiones y estableciendo un alcance más limitado para las reglas y características del aprendizaje del soporte de IA. De esa manera se puede observar cómo construye su camino el software utilizado. El último tiene que ver con el factor humano, es decir las decisiones que toman quienes trabajan en la elaboración de las predicciones de los soportes de IA. 

En concreto, se están desarrollando métodos como LIME (Local Interpretable Model-agnostic Explanations) y SHAP (SHapley Additive exPlanations) para poder interpretar las decisiones de aplicaciones que utilizan IA. El primero explora y extrae la lógica de un modelo a través de la observación de sus salidas, sin requerir ningún conocimiento interno del modelo en sí.

El segundo se basa en los valores de Shapley de la teoría de juegos. Es un concepto fundamental en los juegos cooperativos que busca determinar cómo distribuir equitativamente los beneficios de una coalición entre sus miembros. Justamente, en base a esto, SHAP proporciona una forma de descomponer las predicciones de un modelo en contribuciones independientes de cada característica del conjunto de datos. En definitiva, permite a los usuarios obtener una explicación clara y cuantificable de cómo cada pieza influye en el resultado final.

“SHAP se ha convertido en una herramienta indispensable en diversos sectores que dependen de modelos de machine learning, gracias a su capacidad para descomponer las predicciones y hacer que sean más comprensibles. Algunas de las áreas clave en las que SHAP ha demostrado ser particularmente útil incluyen la medicina, las finanzas y la educación, donde la transparencia y la explicabilidad son esenciales”, escribió en su blog el especialista español José Luis de la Torre.

Demanda ética y social

Los gobiernos y las organizaciones internacionales comenzaron a abordar los dilemas éticos de la IA. La Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco, por su sigla en inglés) trabaja en el asunto.  “Los sistemas de inteligencia artificial dan resultados sesgados. La tecnología de los motores de búsqueda no es neutral, ya que procesa macrodatos y prioriza los resultados con la mayor cantidad de clics dependiendo tanto de las preferencias del usuario como de la ubicación. Por lo tanto, un motor de búsqueda puede convertirse en una cámara de resonancia que mantiene los prejuicios del mundo real y afianza aún más estos prejuicios y estereotipos en línea”, sostiene un artículo publicado en su sitio web.

Esta agencia de Naciones Unidas avanza un poco más. A su entender, “la falta de transparencia de las herramientas de la IA” lleva a que sus creaciones no siempre sean “inteligibles para los humanos”. Y reafirma: “La IA no es neutral. Las decisiones basadas en la IA son susceptibles de inexactitudes, resultados discriminatorios, sesgos incrustados o insertados”.

Es por esto que cada vez más organizaciones de la sociedad civil demandan clarificar los mecanismos a través de los cuales la IA se pronuncia. Ya sea en la redacción de un artículo académico, la resolución de un problema o la estructuración de las devoluciones a las interrogantes planteadas. 

Abalia, empresa española líder en consultoría tecnológica, redactó un artículo en el que consultó a varios expertos en el área. Uno de ellos fue Marcelo Gleiser, catedrático de Filosofía Natural, Física y Astronomía de la Universidad de Darmouth, en Estados Unidos. El experto sostiene que “la ciencia aplicada tiende a servir a los intereses de quienes detentan el poder”. Ante el advenimiento de la inteligencia artificial y la automatización de procesos se necesita -dice- “un código ético biocéntrico que se filtre por todos los sectores de la sociedad”.

Unión Europea es pionera

La Unión Europea innovó con una ley aprobada en el Parlamento regional. Establece una regulación especial ante el advenimiento de la inteligencia artificial en distintos ámbitos.

Entre otros puntos, establece que todos los proveedores de modelos AI deben proporcionar documentación técnica, instrucciones de uso, cumplir con directivas de derechos de autor y publicar un resumen sobre el contenido utilizado para la capacitación. Asimismo, se deben realizar evaluaciones de modelos, pruebas adversas, rastrear e informar incidentes graves y garantizar protecciones de ciberseguridad.

Por otra parte, se prohíbe en los sistemas de IA “utilizar técnicas subliminales, manipuladoras o engañosas para distorsionar el comportamiento y perjudicar la toma de decisiones informada, causando un daño significativo”. También “explotar vulnerabilidades relacionadas con la edad, la discapacidad o las circunstancias socioeconómicas para distorsionar el comportamiento y causar un daño significativo”.

Otro de los puntos clave es no permitir “sistemas de categorización biométrica que infieren atributos sensibles” como “la raza, opiniones políticas, afiliación sindical, creencias religiosas o filosóficas, vida sexual u orientación sexual”.