È solo un gioco? Come l'AI Act è entrato nel nostro modo di progettare

Per PyCon Italia 2026 abbiamo costruito una challenge che valuta quanto si è abili a scovare i bug generati dall’AI. Una sfida rivolta a programmatori e programmatrici, tech lead, e a chiunque lavori nel mondo tecnologico e si trova sempre più a fare i conti con questo strumento. Prima di pubblicarlo ci siamo fatti qualche domanda: le stesse, abbiamo scoperto poi, che l'AI Act chiede di porsi.

In Nephila abbiamo realizzato un gioco: l'AI Debug Challenge. Chi gioca deve trovare l'errore nascosto in un frammento di codice Python, su tre livelli di difficoltà crescente, "da un errore da junior a una trappola da senior". Per completare la sfida, ci sono a disposizione tre tentativi per livello e, alla fine, viene generato un verdetto sulle proprie competenze da debugger di codice AI. Sarai un asso nello scovare tutti i bug o dovrai macinare ancora esperienza? 

L'idea è semplice e pensata per essere uno svago: un gioco per chi scrive codice tutti i giorni e ha voglia di divertirsi, magari di ridere un po', o di storcere il naso, quando legge il proprio verdetto finale.

C'è però un dettaglio che cambia le cose: sia il codice da correggere, sia i verdetti, li scrive un'AI. La challenge, quindi, non si limita a generare esercizi: esprime un “giudizio” su una persona. Per quanto l'intento sia leggero, già in fase di progettazione ci siamo chiesti:

• che effetto può avere quel feedback su chi lo riceve, e cosa succede se qualcuno lo prende più sul serio del previsto?

• è chiaro che a scriverlo è stata una macchina e non una persona?

• il gioco potrebbe essere estratto dal suo contesto e usato in modo improprio?

Rispondere a queste domande ci è sembrato prioritario. E così, forse senza esserne del tutto consapevoli, abbiamo messo in pratica il concetto su cui si fonda l'AI Act: la valutazione del rischio. Prima di realizzare e pubblicare uno strumento basato sull'AI abbiamo cercato di capire chi lo avrebbe usato, se si prestava a un uso improprio, se il suo funzionamento o i suoi risultati potevano essere fraintesi o, peggio, fare male a qualcuno.

Ognuna di queste domande si è tradotta in una scelta concreta sul progetto. Prima di raccontarle, però, facciamo un passo indietro: di cosa parliamo quando parliamo di AI Act?

L'AI Act è il regolamento europeo sull'intelligenza artificiale, il primo quadro normativo al mondo interamente dedicato a questa tecnologia. Si applica a chi sviluppa, distribuisce o utilizza sistemi di AI nel mercato europeo e ha l'obiettivo di promuovere un'AI affidabile e centrata sulla persona.

È in vigore da agosto 2024 e se ne parla molto, ma è facile liquidarlo come "l'ennesimo regolamento europeo", materia per giuristi. In realtà, la sua logica è più semplice di quanto lasci pensare la mole del testo: non classifica i sistemi di AI in base alla tecnologia che usano, ma in base all'impatto che possono avere sulle persone, in particolare sulla loro salute, sulla loro sicurezza e sui loro diritti fondamentali.

I livelli di rischio sono quattro:

• inaccettabile: pratiche vietate, come il social scoring; e lo sfruttamento di vulnerabilità, come l'età o le fragilità;

• alto: sistemi usati in ambiti critici come la sicurezza o le infrastrutture, oppure in ambiti delicati come la selezione del personale, l'istruzione o l'accesso al credito;

• limitato: sistemi come i chatbot o generatori di testo, soggetti soprattutto a obblighi di trasparenza;

• minimo: tutto il resto.

Il criterio è la proporzionalità: più uno strumento può incidere sui diritti, sulle opportunità o sulla sensibilità di una persona, più gli obblighi sono stringenti.

Sono tre i principi essenziali dell’AI Act che plasmano tutto il regolamento:

• valutare l'impatto che un sistema può avere;

• rendere riconoscibile l'intervento dell'AI;

• mantenere una supervisione umana sul funzionamento del sistema.

Letto così, quello che sembrava pane per i denti degli avvocati diventa una guida pratica per chiunque lavori con l'AI, a qualsiasi scala.

*risposte sarcastiche restituite ai tentativi di barare

Per approfondire come è stata progettata l'AI Debug Challenge e come sono state costruite queste protezioni, potete leggere sul nostro blog:

• Abbiamo costruito un gioco sui bug dell'AI. La parte difficile non è stata l'AI

• "Riesci a fare jailbreak di questo LLM?" La community dev ci ha provato: ecco cosa ha resistito, e perché

*l'avviso iniziale che dichiara che esercizi e verdetti sono generati da AI

*un esempio di verdetto finale che l'utente riceve dopo aver completato la challenge

Il secondo è la supervisione: sia durante lo sviluppo sia dopo la pubblicazione abbiamo tenuto sotto controllo ciò che l'AI generava. Nella pratica questo si è tradotto in un solido lavoro di progettazione dell’architettura alla base della challenge, di cui potete approfondire i dettagli leggendo: "Riesci a fare jailbreak di questo LLM?" La community dev ci ha provato: ecco cosa ha resistito, e perché. 

È il principio della supervisione umana, che l'AI Act rende obbligatorio per i sistemi ad alto rischio (articolo 14) e che noi abbiamo applicato comunque alla nostra challenge: l'AI produce, una persona verifica.

C'è poi un aspetto che viene prima di qualsiasi scelta tecnica: per farsi le domande giuste bisogna sapere quali domande farsi.

L'articolo 4 dell'AI Act riguarda proprio questo: l'alfabetizzazione in materia di AI, cioè la capacità delle persone di capire come funzionano questi sistemi, quali opportunità offrono e quali rischi comportano. L'obbligo è in vigore da febbraio 2025 ed è stato riformulato quest'anno dal Digital Omnibus (Regolamento (UE) 2026/1744): oggi chiede a chi sviluppa e utilizza sistemi di AI di adottare misure per sostenere l'alfabetizzazione del proprio personale, senza dover garantire un livello specifico per ogni singola persona.

In Nephila lo abbiamo tradotto in tre azioni:

• formazione: corsi e workshop interni sull'intelligenza artificiale;

• linee guida: regole comuni su quali dati non affidare a servizi esterni, come verificare un risultato prima di usarlo, quando serve il via libera di una persona;

• una knowledge base condivisa, in cui le esperienze e le buone pratiche di ogni progetto diventano patrimonio di tutti.

Questa esperienza ci ha fatto capire un aspetto che ci trova in sintonia con lo spirito dell'AI Act: documentare i limiti e valutare i rischi di un sistema di AI è importante, ma lo è altrettanto portare quelle domande dentro il processo di progettazione, fin dall'inizio.

Chi mette a disposizione uno strumento basato sull'AI, per quanto semplice o marginale possa sembrare, si assume una responsabilità: quella di ciò che accade, o potrebbe accadere, quando le persone lo usano. Anche se "è solo un gioco".

Il primo progetto pubblico di Nephila con l'AI è nato come sperimentazione tecnica, eppure le domande che ci siamo posti sono le stesse che l'AI Act chiede di porsi. Ci piace pensare che sia partito tutto da lì: da quelle domande, e non da un articolo di legge.

Fonti

• Regolamento (UE) 2024/1689 (AI Act), testo ufficiale su EUR-Lex

• Regolamento (UE) 2026/1744 (Digital Omnibus sull'AI)

• Abbiamo costruito un gioco sui bug dell'AI. La parte difficile non è stata l'AI

• "Riesci a fare jailbreak di questo LLM?" La community dev ci ha provato: ecco cosa ha resistito, e perché

***

Abbiamo scritto questo articolo con il supporto dell'AI. Se vuoi saperne di più su come usiamo questi strumenti per la scrittura, ecco la spiegazione.