Alessandro Mantelero: “Una tecnologia que va en contra dels drets fonamentals no és una bona tecnologia”

Alessandro Mantelero, professor titular de Dret Privat i Dret i Tecnologia a la Universitat Politècnica de Torí. L'any 2022, va rebre la Càtedra Jean Monnet en Societats Digitals Mediterrànies i Dret per part de la Comissió Europea. Expert en dret i tecnologia, ha liderat el grup de treball de la comunitat ‘DPD en xarxa’ que ha elaborat el model FRIA (Fundamental Rights Impact Assessment) per a la intel·ligència artificial (IA). Ens explica en aquesta entrevista com aquesta metodologia permet avaluar l’impacte de la IA en els drets fonamentals i per què guanya importància a Europa. Mantelero destaca la necessitat de dur a terme una regulació clara i aplicar el model en casos reals per assegurar que les tecnologies no només siguin segures, sinó també justes.   

Quina és la rellevància del model FRIA?  

Els drets fonamentals estan protegits a nivell europeu i a nivell estatal. Això implica que, si no es respecten, existeix una responsabilitat legal pels danys i perjudicis que es puguin produir. El FRIA és la metodologia unitària que permet avaluar totes aquestes situacions.  

Els proveïdors de serveis d’intel·ligència artificial tenen l’obligació de fer una avaluació de les seves eines per comprovar la seva seguretat i l’impacte que poden tenir sobre els drets fonamentals. Estem més acostumats a fer la primera part d’aquest procés, la comprovació de la seguretat, perquè ja tenim les eines tècniques per fer-ho i uns estàndards molt definits. En canvi, la part dels drets fonamentals és molt nova i, per tant, ens en falta molta experiència. Per això és tan important haver desenvolupat una metodologia com el model FRIA.  

A qui s’adreça el model? 

L’avaluació d’impacte sobre drets fonamentals està dirigida a qui desplega la intel·ligència artificial. Per una banda, hi ha l’empresa que desenvolupa i distribueix la solució d’intel·ligència artificial, per exemple, Microsoft, i, per altra banda, hi ha l’entitat que l’aplica en un àmbit concret, per exemple, la Generalitat de Catalunya. L’entitat que aplica aquesta IA ha de passar per aquesta avaluació i, per tant, necessiten l’eina.  

Quin va ser el principal repte a l’hora de  dissenyar i desenvolupar aquest model?  

El gran repte ha estat aconseguir que sigui senzill. La majoria de models d’aquest tipus tendeixen a ser massa complexos, fan servir massa variables i massa preguntes. No encaixen amb l’estructura d’avaluació d’impacte en els drets fonamentals. També ha estat un repte elaborar un model que tingui en compte la lògica del risc i, a la vegada, que incorpori la perspectiva jurídica.  

El desenvolupament del model FRIA s’ha centrat en casos d’ús concrets. Quins són els principals aprenentatges que n’heu extret?  

Només quan implementes un model pots saber realment com funciona. És molt fàcil desenvolupar models que només funcionen en teoria, però que no s’acaben implementant mai. Aquests estudis de cas ajuden a validar el model FRIA. En els casos estudiats, que són l’educació, els ajuts socials, la contractació de personal i la investigació medico-científica, una mala aplicació de la intel·ligència artificial pot tenir conseqüències greus. La idea era verificar el bon funcionament del model FRIA en aquests casos reals, i hi hem tingut èxit. 

Creus que el model FRIA català podria ser adoptat per altres països?  

Aquest model es pot aplicar en diversos països. De fet, l’autoritat de protecció de dades croata ja l’ha adoptat. Ara mateix, tenim altres entitats i autoritats interessades en aplicar-lo als seus àmbits d’actuació. És un model universal que pot ser adoptat per qualsevol entitat. 

A banda de l’avaluació FRIA, en determinats casos també cal fer una l’avaluació d’impacte en protecció de dades. Com creus que pot afectar haver de dur a terme aquestes dues avaluacions?  

Aquestes dues avaluacions s’han de relacionar. El model FRIA té una estructura molt semblant a l’avaluació d’impacte sobre privacitat i protecció de dades, per tant, la integració entre ambdós models és fàcil.  

El treball esmenta la necessitat d’incloure en el procés d’avaluació la intervenció de professionals experts. Quins perfils professionals haurien d’estar implicats en el FRIA?  

Calen experts que coneguin bé aquest camp. Actualment, n’hi ha pocs. El perfil més adient és el del delegat de protecció de dades (DPD). Aquest perfil ja existeix en moltes entitats i empreses i està acostumat a dur a terme avaluacions d’impacte sobre la protecció de dades. En el grup de treball que ha elaborat el model hi havia DPDs involucrats i vam comprovar que, amb la formació adient, poden desenvolupar aquest rol sense problemes.  

Un dels punts clau del model és la matriu d’impacte sobre els drets fonamentals. Com es va dissenyar aquest model i per què es va optar per una escala de risc de quatre nivells?  

Es poden fer escales simètriques o asimètriques per calcular el risc. En el nostre cas, en fem servir una de simètrica perquè distribueix els nivells de risc de manera més homogènia. Hem decidit que tingui quatre nivells per evitar que tothom posi el nivell de risc al mig. És a dir, si en tingues tres o cinc nivells hi hauria la possibilitat de convertir el nivell 2 o 3 en un calaix de sastre. Els quatre nivells fan referència respectivament a risc baix, moderat, alt i molt alt, utilitzant una formulació descriptiva, i no matemàtica, com és habitual en l’àmbit del drets fonamentals.  

En el document s’esmenta que el FRIA ha de tenir un enfocament circular. Això què vol dir?  

És important que sigui circular perquè aquesta metodologia tracta un camp contextual que demana una re-avaluació constant. És una avaluació d’un risc que existeix ara, en un context específic i que afecta categories concretes de persones. Totes aquestes variables poden canviar al mateix temps que pot canviar la tecnologia. S’ha de tenir en compte que els paràmetres poden canviar.  

Quins aspectes del model FRIA es podrien millorar en el futur?  

L’experiència ens diu que tots els models evolucionen, s’afinen i milloren a mesura que s’apliquen. El FRIA és un bon model i està ben desenvolupat i els casos d’ús ho confirmem. Som conscients que l’hem aplicat a casos específics i, per tant, fer-lo servir a gran escala ens permetrà ajustar el qüestionari i automatitzar-ne algunes parts. Tot i això, el resultat final sempre dependrà de l’habilitat i el judici de l’expert que apliqui el model.  

D’entre els casos d’ús analitzats –educació, recursos humans, salut, assistència social–, quin creus que exemplifica millor els beneficis d’una avaluació FRIA?  

Tots, per una raó o una altra, ajuden a entendre aspectes de la metodologia. Destacaria el cas de CaixaBank, perquè els resultats van ser més aviat positius. En el cas de la salut, l’aplicació de la IA per detectar un càncer és interessant, perquè s’aplica tant a la Unió Europea com a fora i ens permet estudiar riscos específics que trobem en cada àmbit.  

Algunes organitzacions podrien veure el FRIA com una càrrega burocràtica. Quins arguments els donaries per convèncer-les del seu valor?  

Hi ha dos arguments. Quan desenvolupes una tecnologia, és millor per a tothom que respecti els drets fonamentals. Una tecnologia que va en contra dels drets humans no és una bona tecnologia. El segon és una mica més contundent: si la tecnologia no respecta els drets fonamentals, la reputació de l’empresa es pot veure afectada i pot comportar sancions.  

Quin paper creus que tindran les autoritats de protecció de dades en el futur pel que fa al FRIA?  

L’APDCAT, com altres autoritats de protecció de dades, té la competència d’aplicar el Reglament d’Intel·ligència Artificial (RIA) i l’obligació de verificar que el reglament s’aplica correctament pel que fa al respecte als drets fonamentals. El model FRIA ha d’ajudar a fer complir aquest reglament.  

Consideres que el Reglament d’Intel·ligència Artificial (RIA), de la Unió Europea, proporciona prou orientació per avaluar l’impacte de la IA en els drets fonamentals o encara hi ha buits normatius?  

El RIA es va dissenyar sense tenir gaire en compte els drets fonamentals. El seu disseny es va centrar més en la seguretat del producte des d’una perspectiva de mercat. Necessitem guies que ens expliquin com avaluar bé els riscos sobre els drets fonamentals. De fet, al primer esborrany elaborat per la UE es passava de puntetes i de manera molt genèrica sobre els drets fonamentals. Vaig treballar amb un company i l’equip del repporteur Benifei per introduir al text un article amb un apartat molt ampli que feia referència a l’impacte en drets fonamentals. Després de les negociacions polítiques, el text va quedar una mica minimitzat i es va incloure en l’article 27 del Reglament, referent a l’avaluació de l’impacte en els drets fonamentals per als sistemes d’IA de risc elevat.  

Com evolucionarà el model FRIA en un context d’avenços ràpids en IA com els que estem vivint actualment?  

La part bona d’aquest model és que, com que se centra en els drets fonamentals, no està tan subjecte al progrés tècnic d’aquestes eines. Ha passat una cosa similar amb els models d’avaluació de protecció de dades. Tot i que es van dissenyar fa anys, encara estan vigents perquè s’adapten bé a qualsevol context. Per això, és important desenvolupar un model que sigui neutral en relació amb l’evolució de la tecnologia específica.