5 Rendición de cuentas

Regulaciones como el Reglamento General de Protección de Datos (RGPD) de la Unión Europea definen la responsabilidad como el requisito para que las organizaciones pongan en marcha medidas técnicas y organizativas adecuadas y sean capaces de demostrar lo que hicieron y su eficacia cuando se les solicite.

Aunque el desarrollo de estándares y normas técnicas para los sistemas de IA es todavía una tarea en proceso para la comunidad de la IA, este manual describe los principales aspectos técnicos y medidas para evitar y mitigar los sesgos durante el ciclo de vida de la IA. Sin embargo, quedan varios retos relacionados con los requisitos sociales y legales que conlleva el uso de estos sistemas en aplicaciones del mundo real.

Esta sección revisa los conceptos de interpretabilidad, explicabilidad y trazabilidad de los sistemas de IA.

5.1 Interpretabilidad y explicación de predicciones.

5.1.1 Interpretabilidad

Es difícil dar una definición técnica de interpretabilidad o explicabilidad, términos que en general se refieren a hacer inteligible para los seres humanos el funcionamiento de un algoritmo y sus resultados (Molnar 2019). Cuanto más interpretable sea un modelo, más fácil será para un individuo entender el proceso que lo ha llevado a una determinada decisión (Miller 2019). Un modelo con alta interpretabilidad es deseable en una aplicación de política social de alto riesgo donde el criterio de responsabilidad se vuelve fundamental.

Hay varias razones por las que tener cierto grado de interpretabilidad en los modelos que se usan para tomar decisiones es importante (Molnar 2019):

Aprendizaje acerca del dominio del problema.
Logro de aceptación social del uso de los sistemas.
Detección de sesgos potenciales de los algoritmos.
Depuración y mejora de modelos.

Los algoritmos complejos, como las redes neuronales profundas, pueden tener millones de relaciones entre sus parámetros, por lo que obtener la interpretabilidad del modelo en estos algoritmos sigue siendo un campo abierto en el aprendizaje automático. Cuando es necesaria una alta interpretabilidad se recomienda usar métodos intrínsecamente interpretables como la regresión lineal, la regresión logística y los árboles de decisión.

5.1.2 Explicabilidad de predicciones individuales

Existe en muchos casos la necesidad legal y/o ética de dar explicaciones individuales acerca de cómo fueron tomadas ciertas decisiones (por ejemplo, por qué a una persona no se le otorgó un crédito o por qué alguien no califica para un programa social).¹¹

En áreas de investigación, como visión artificial y procesamiento del lenguaje natural, las implementaciones más exitosas suelen estar desarrolladas con modelos de alta complejidad, como redes neuronales profundas, que son en principio poco transparentes en cuanto a cómo se hacen las predicciones subyacentes (Carrillo 2020).

Aunque se trata de un área de investigación en curso, ya existen varios métodos para aumentar la explicabilidad de las predicciones (Molnar 2019). Pueden utilizarse métodos como el de explicaciones contrafactuales (Wachter, Mittelstadt, and Russell 2017), valores de Shapley (S. M. Lundberg and Lee 2017) o gradientes integrados para redes profundas (Sundararajan, Taly, and Yan 2017).

Recuadro 20 Explicabilidad de predicciones individuales

(Cualitativo) ¿Se analizaron los requerimientos legales y éticos de explicabilidad e interpretabilidad necesarios para el caso de uso?
(Cualitativo) ¿Se ha definido un plan de respuesta en caso de que algún usuario se vea perjudicado por los resultados?
(Cualitativo) ¿Existe algún proceso para dar explicaciones a un individuo en particular sobre por qué se tomó una decisión?
(Cualitativo) ¿Se discutieron los pros y contras de los algoritmos según su nivel de interpretabilidad y explicabilidad para elegir el más apropiado?
(Cuantitativo) Para modelos más simples (por ejemplo, lineales o árboles de decisión), pueden construirse explicaciones ad hoc.
(Cuantitativo) Utilizar métodos como explicaciones contrafactuales, valores de Shapley o gradientes integrados para redes profundas.

5.1.3 Modelos parsimoniosos

Está muy extendida la idea de que un modelo ML es siempre mejor cuando se utilizan más covariables; esto es parcialmente correcto, porque el modelo puede encontrar patrones entre la interrelación de las variables. Sin embargo, cuando se tiene en cuenta la interpretabilidad, los métodos más parsimoniosos que utilizan menos características, pero relevantes, son preferibles a los modelos que utilizan muchas características, pero quizás menos relevantes. Pueden producirse sesgos potenciales cuando se utilizan características o variables de los datos que, aunque sean válidas para un momento y un conjunto de datos determinados, son fácilmente susceptibles de cambiar cuando evoluciona el proceso de generación de datos. Los algoritmos o métodos de predicción que utilizan muchos atributos irrelevantes corren un mayor riesgo de fallar, tanto explícita como silenciosamente, cuando cambian las fuentes de datos o los procesos de generación de datos.

Ejemplos de ello pueden ser el uso de variables que están siendo activamente influenciadas por alguna política que no continuará en el futuro o el aprendizaje de características a partir de un conjunto de entrenamiento no exhaustivo (por ejemplo, en el reconocimiento de imágenes, el reconocimiento de especies animales por el contexto en el que se recogió la información, como un zoológico, una cámara trampa, un paisaje, etc.).

Este tipo de sesgo perjudica la explicabilidad de un sistema y puede ser difícil de detectar, pero los métodos parsimoniosos y el conocimiento experto pueden mitigar el riesgo.

Recuadro 21 Lista de verificación – Modelos parsimoniosos

(Cualitativo) Incluir todas las características disponibles para construir modelos aumenta el riesgo de que se generen sesgos. Las variables por incluirse en el proceso de aprendizaje deben tener algún sustento teórico o explicación de por qué pueden ayudar en la tarea de predicción.
(Cuantitativo) Métodos más parsimoniosos, que usan menos características, son preferibles a modelos que utilizan muchas características.
(Cuantitativo) Métodos como gráficas de dependencia parcial (Friedman 2001) o importancia basada en permutaciones (Breiman 2001), (Molnar 2019) pueden señalar variables problemáticas que reciben mucho peso en la predicción, en contra de observaciones pasadas o conocimiento experto.

5.2 Trazabilidad

Un proceso de datos para decisiones que es poco trazable es uno que contiene pasos con documentación deficiente acerca de su ejecución: incluyen procesos manuales o decisiones de operadores pobremente especificadas, extraen datos de fuentes no documentadas o no accesibles, omiten códigos o materiales necesarios, o no explican los ambientes de cómputo para garantizar resultados reproducibles.

La trazabilidad permite a los usuarios comprender los procesos seguidos por un sistema de IA para llegar a un resultado, incluidas las deficiencias y limitaciones del sistema. Cuando hay poca trazabilidad en un modelo, los riesgos señalados a lo largo de este documento pueden ser difíciles de identificar e incluso agravarse. Por el contrario, todos los pasos, desde la recolección de datos hasta la toma de decisiones, están claramente documentados y especificados sin ambigüedades en un proyecto trazable.

Recuadro 22 Lista de verificación - Trazabilidad

(Cuantitativo) ¿Está bien documentado el proceso de ingesta, transformación, modelado y toma de decisión (incluyendo fuente de datos, infraestructura y dependencias, código, métricas e interpretación de resultados)?

Fuentes de datos, incluidos los metadatos de los conjuntos de datos, los procesos de recolección de datos y etapas de su procesamiento (ver la Herramienta 2).
Código completo y adecuadamente documentado, que define las bibliotecas necesarias y sus versiones adecuadas para permitir que cualquier tercero comprenda la finalidad de cada parte del código.
Información sobre cómo debe ejecutarse el código, incluyendo una documentación detallada de los parámetros y requisitos informáticos. Esta información debe garantizar la reproducibilidad de los resultados originales por parte de un tercero.
Información sobre cómo se utilizaron los resultados del sistema y se incluyeron en el proceso de toma de decisiones de política pública.
Información sobre la estrategia de monitoreo, que incluya detalles sobre las métricas de rendimiento y los umbrales, así como el comportamiento esperado del modelo y las acciones de mitigación.

Lo ideal es que un tercero pueda replicar los pasos mencionados con una intervención mínima o nula de los creadores y operadores del sistema original.

(Cualitativo) ¿Se han comunicado las deficiencias, limitaciones y sesgos del modelo a las partes interesadas para que se tengan en cuenta en la toma de decisiones y el apoyo a las mismas?
(Cualitativo) ¿Ha completado el equipo técnico el Perfil de datos (ver la Herramienta 2) y el Perfil del modelo (ver la Herramienta 3), y se ha definido un proceso para la actualización continua de estas herramientas?

En la Unión Europea, por ejemplo, el artículo 22 de GDPR describe el derecho de una persona a rebatir la decisión de un sistema, especialmente cuando es automática.↩︎