Lo scorso gennaio, la polizia spagnola si è occupata di un episodio di violenza domestica che coinvolgeva Lobna Hemid, 32 anni, e suo marito, Bouthaer el Banaisati. La donna ha raccontato agli agenti di essere vittima ormai da oltre dieci anni di violenze fisiche e verbali da parte del marito. La polizia allora ha interpellato un algoritmo chiamato VioGén, che ha sottoposto alla donna 35 domande per indagare su eventuali abusi di sostanze, perdita di lavoro o instabilità economica all’interno del nucleo familiare. Dalle risposte fornite, l’algoritmo ha ritenuto che il rischio di recidiva fosse basso, “scagionando” così el Banaisati. La donna è stata rimandata a casa senza protezione aggiuntiva, mentre suo marito è stato rilasciato il giorno successivo. Sette settimane dopo, Bouthaer el Banaisati ha pugnalato a morte la moglie per poi suicidarsi.
IL MECCANISMO
Il sistema VioGén è stato messo in campo dal ministero dell’Interno spagnolo nel 2007 per prevedere il rischio di violenza di genere in base alle denunce presentate alla polizia. Il software da allora scandaglia incessantemente i database iberici per effettuare previsioni di rischio, analizzando le risposte di chi segnala episodi di violenza e assegnando un livello di protezione in base alla gravità riscontrata. Queste previsioni però non sempre risultano accurate.
IL PRECEDENTE
Oltre al caso Hemid, c’è il precedente di un’analisi pubblicata dalla società Eticas Consulting nel 2022, che ha rivelato come l’anno precedente solo una donna su sette avesse ricevuto aiuto dopo aver sporto denuncia attraverso l’algoritmo. Da quando il software è stato rilasciato in dotazione alle Forze dell’Ordine, ci sono stati numerosi casi di violenza di genere classificati come “a basso rischio” che sono poi sfociati in femminicidi. Tre delle 12 donne uccise in Spagna tra giugno e luglio erano passate al vaglio della rete VioGén.
Il software intanto continua a ricevere l’ok da parte del governo spagnolo, che giudica «incontestabile» il fatto che abbia contribuito a ridurre la violenza di genere. Dal 2007, afferma l’esecutivo, solo lo 0,03% delle 814mila vittime di violenza spagnole sono state uccise dopo essere state valutate da VioGén, mentre gli episodi di recidiva sarebbero falliti nel 15% dei casi, rispetto a un precedente 40%. L’algoritmo è ormai talmente intrecciato nel processo decisionale spagnolo che è diventato impossibile capire dove finiscono le sue raccomandazioni e dove inizia l’autonomia di pensiero umana. La polizia iberica è addestrata a ignorare le raccomandazioni di VioGén se le prove le contraddicono, ma accetta i suoi punteggi di rischio il 95% delle volte. ll problema però è che non esistono dati pubblici sulle decisioni del software: quali risposte vengono pesate di più, come sono tradotte le denunce in livelli di rischio e in base a quali indicatori.
LA RICERCA
Il tema è tristemente attuale anche qui in Italia, dove una ricerca del CNR evidenzia come nel 2022 siano state circa 12milioni e 500mila (50,9%) le donne tra i 18 e gli 84 anni che si sono dichiarate vittime almeno una volta nella vita di episodi di violenza psicofisica. Solo il 5% di loro ha sporto denuncia. Tra gennaio e aprile 2024, sono state 28 le donne italiane vittime di omicidio, -18% rispetto allo stesso periodo del 2023, in cui le donne uccise furono 34 (dati della Direzione Centrale Polizia Criminale). Ma è davvero un algoritmo il consulente migliore per prendere decisioni che riguardano la vita e la morte dei cittadini? La Spagna esemplifica un trend in atto a livello mondiale, dove sempre più governi stanno interpellando i software per prendere decisioni cruciali per la vita del Paese. Una tendenza destinata inevitabilmente a crescere all’alba dell’era IA. Negli Stati Uniti, gli algoritmi oggi determinano le pene detentive e identificano i bambini a rischio di abusi. Nei Paesi Bassi e in Gran Bretagna, le autorità stanno sperimentando degli algoritmi per prevedere chi può potenzialmente diventare un criminale. In Italia, con la presidenza Draghi, si è ragionato sulla possibilità di introdurre dei processi decisionali automatizzati nell’ambito della pa, sistemi già ampiamente impiegati in Europa. Quegli stessi sistemi che hanno portato 26mila famiglie olandesi ad essere ingiustamente accusate di frode dall’autorità fiscale tra il 2012 e il 2019, dando vita a uno scandalo che ha poi spinto il governo alle dimissioni.
«Quando la tecnologia funziona va tutto bene, ma quando sbaglia può essere fatale», ha dichiarato al New York Times Jesús Melguizo, cognato della signora Hemid, oggi tutore legale di due dei suoi quattro figli. «I computer non hanno cuore».
© RIPRODUZIONE RISERVATA
Leave feedback about this