Alessandro Mantelero: “Una tecnología que va en contra de los derechos fundamentales no es una buena tecnología

Alessandro Mantelero es profesor titular de Derecho Privado y Derecho y Tecnología en la Universidad Politécnica de Turín. En 2022, recibió la Cátedra Jean Monnet en Sociedades Digitales Mediterráneas y Derecho por parte de la Comisión Europea. Experto en derecho y tecnología, ha liderado el grupo de trabajo de la comunidad ‘DPD en xarxa’ que ha elaborado el modelo FRIA (Evaluación del Impacto en los Derechos Fundamentales) para la inteligencia artificial (IA). En esta entrevista nos explica cómo esta metodología permite evaluar el impacto de la IA en los derechos fundamentales y por qué está cobrando importancia en Europa. Mantelero destaca la necesidad de llevar a cabo una regulación clara y aplicar el modelo en casos reales para asegurar que las tecnologías no solo sean seguras, sino también justas.

¿Cuál es la relevancia del modelo FRIA?

Los derechos fundamentales están protegidos a nivel europeo y estatal. Esto implica que, si no se respetan, existe una responsabilidad legal por los daños y perjuicios que puedan producirse. El FRIA es la metodología unitaria que permite evaluar todas estas situaciones.

Los proveedores de servicios de inteligencia artificial tienen la obligación de realizar una evaluación de sus herramientas para comprobar su seguridad y el impacto que pueden tener sobre los derechos fundamentales. Estamos más acostumbrados a realizar la primera parte de este proceso, la comprobación de la seguridad, porque ya tenemos herramientas técnicas para hacerlo y unos estándares muy definidos. En cambio, la parte de los derechos fundamentales es muy nueva y, por tanto, nos falta mucha experiencia. Por eso es tan importante haber desarrollado una metodología como el modelo FRIA.

¿A quién va dirigido el modelo?

La evaluación de impacto sobre derechos fundamentales está dirigida a quien despliega la inteligencia artificial. Por un lado, está la empresa que desarrolla y distribuye la solución de inteligencia artificial, por ejemplo, Microsoft, y, por otro lado, está la entidad que la aplica en un ámbito concreto, por ejemplo, la Generalitat de Cataluña. La entidad que aplica esta IA debe pasar por esta evaluación y, por tanto, necesita la herramienta.

¿Cuál fue el principal reto a la hora de diseñar y desarrollar este modelo?

El gran reto ha sido conseguir que sea sencillo. La mayoría de modelos de este tipo tienden a ser demasiado complejos, utilizan demasiadas variables y demasiadas preguntas. No encajan con la estructura de evaluación de impacto en los derechos fundamentales. También ha sido un reto elaborar un modelo que tenga en cuenta la lógica del riesgo y, al mismo tiempo, incorpore la perspectiva jurídica.

El desarrollo del modelo FRIA se ha centrado en casos de uso concretos. ¿Cuáles son los principales aprendizajes que habéis extraído?

Solo cuando implementas un modelo puedes saber realmente cómo funciona. Es muy fácil desarrollar modelos que solo funcionan en teoría, pero que nunca se acaban implementando. Estos estudios de caso ayudan a validar el modelo FRIA. En los casos estudiados —que son la educación, las ayudas sociales, la contratación de personal y la investigación médico-científica— una mala aplicación de la inteligencia artificial puede tener consecuencias graves. La idea era verificar el buen funcionamiento del modelo FRIA en estos casos reales, y lo hemos conseguido.

¿Crees que el modelo FRIA catalán podría ser adoptado por otros países?

Este modelo puede aplicarse en varios países. De hecho, la autoridad de protección de datos croata ya lo ha adoptado. Actualmente, tenemos otras entidades y autoridades interesadas en aplicarlo en sus ámbitos de actuación. Es un modelo universal que puede ser adoptado por cualquier entidad.

Además de la evaluación FRIA, en determinados casos también es necesario realizar una evaluación de impacto en protección de datos. ¿Cómo crees que puede afectar tener que llevar a cabo ambas evaluaciones?

Estas dos evaluaciones deben estar relacionadas. El modelo FRIA tiene una estructura muy similar a la evaluación de impacto sobre privacidad y protección de datos, por lo tanto, la integración entre ambos modelos es fácil.

El trabajo menciona la necesidad de incluir en el proceso de evaluación la intervención de profesionales expertos. ¿Qué perfiles profesionales deberían estar implicados en el FRIA?

Se necesitan expertos que conozcan bien este campo. Actualmente, hay pocos. El perfil más adecuado es el del delegado de protección de datos (DPD). Este perfil ya existe en muchas entidades y empresas y está acostumbrado a realizar evaluaciones de impacto sobre la protección de datos. En el grupo de trabajo que elaboró el modelo había DPDs involucrados y comprobamos que, con la formación adecuada, pueden desempeñar este rol sin problemas.

Uno de los puntos clave del modelo es la matriz de impacto sobre los derechos fundamentales. ¿Cómo se diseñó este modelo y por qué se optó por una escala de riesgo de cuatro niveles?

Se pueden hacer escalas simétricas o asimétricas para calcular el riesgo. En nuestro caso, usamos una simétrica porque distribuye los niveles de riesgo de manera más homogénea. Hemos decidido que tenga cuatro niveles para evitar que todo el mundo sitúe el riesgo en el nivel intermedio. Es decir, si tuviera tres o cinco niveles, existiría la posibilidad de convertir el nivel 2 o 3 en un cajón de sastre. Los cuatro niveles hacen referencia, respectivamente, a riesgo bajo, moderado, alto y muy alto, utilizando una formulación descriptiva, no matemática, como es habitual en el ámbito de los derechos fundamentales.

En el documento se menciona que el FRIA debe tener un enfoque circular. ¿Qué significa esto?

Es importante que sea circular porque esta metodología trata un campo contextual que requiere una reevaluación constante. Es una evaluación de un riesgo que existe ahora, en un contexto específico y que afecta a categorías concretas de personas. Todas estas variables pueden cambiar al mismo tiempo que puede cambiar la tecnología. Hay que tener en cuenta que los parámetros pueden variar.

¿Qué aspectos del modelo FRIA podrían mejorarse en el futuro?

La experiencia nos dice que todos los modelos evolucionan, se ajustan y mejoran a medida que se aplican. El FRIA es un buen modelo, está bien desarrollado y los casos de uso lo confirman. Somos conscientes de que lo hemos aplicado a casos específicos y, por lo tanto, utilizarlo a gran escala nos permitirá ajustar el cuestionario y automatizar algunas partes. Aun así, el resultado final siempre dependerá de la habilidad y el juicio del experto que aplique el modelo.

De entre los casos de uso analizados –educación, recursos humanos, salud, asistencia social–, ¿cuál crees que ejemplifica mejor los beneficios de una evaluación FRIA?

Todos, por una razón u otra, ayudan a entender aspectos de la metodología. Destacaría el caso de CaixaBank, porque los resultados fueron más bien positivos. En el caso de la salud, la aplicación de la IA para detectar un cáncer es interesante porque se aplica tanto en la Unión Europea como fuera, y nos permite estudiar riesgos específicos que encontramos en cada ámbito.

Algunas organizaciones podrían ver el FRIA como una carga burocrática. ¿Qué argumentos les darías para convencerlas de su valor?

Hay dos argumentos. Cuando desarrollas una tecnología, es mejor para todos que respete los derechos fundamentales. Una tecnología que va en contra de los derechos humanos no es una buena tecnología. El segundo argumento es un poco más contundente: si la tecnología no respeta los derechos fundamentales, la reputación de la empresa puede verse afectada y puede conllevar sanciones.

¿Qué papel crees que tendrán las autoridades de protección de datos en el futuro en relación con el FRIA?

La APDCAT, como otras autoridades de protección de datos, tiene la competencia de aplicar el Reglamento de Inteligencia Artificial (RIA) y la obligación de verificar que el reglamento se aplica correctamente en lo que respecta al respeto a los derechos fundamentales. El modelo FRIA debe ayudar a hacer cumplir este reglamento.

¿Consideras que el Reglamento de Inteligencia Artificial (RIA), de la Unión Europea, proporciona suficiente orientación para evaluar el impacto de la IA en los derechos fundamentales o todavía hay vacíos normativos?

El RIA se diseñó sin tener muy en cuenta los derechos fundamentales. Su diseño se centró más en la seguridad del producto desde una perspectiva de mercado. Necesitamos guías que nos expliquen cómo evaluar bien los riesgos sobre los derechos fundamentales. De hecho, en el primer borrador elaborado por la UE se pasaba muy por encima y de forma muy genérica sobre los derechos fundamentales. Trabajé con un compañero y con el equipo del ponente Benifei para introducir en el texto un artículo con un apartado muy amplio que hacía referencia al impacto en derechos fundamentales. Después de las negociaciones políticas, el texto quedó algo minimizado y se incluyó en el artículo 27 del Reglamento, referente a la evaluación del impacto en los derechos fundamentales para los sistemas de IA de alto riesgo.

¿Cómo evolucionará el modelo FRIA en un contexto de avances rápidos en IA como los que estamos viviendo actualmente?

Lo bueno de este modelo es que, al centrarse en los derechos fundamentales, no está tan sujeto al progreso técnico de estas herramientas. Ha pasado algo similar con los modelos de evaluación de protección de datos. Aunque se diseñaron hace años, siguen vigentes porque se adaptan bien a cualquier contexto. Por eso, es importante desarrollar un modelo que sea neutral con respecto a la evolución de la tecnología específica.