Foto per l'articolo Preparare dati di prova rappresentativi
Foto di Panals su Pixabay

Valutazione strumenti

Parte di Valutare strumenti di intelligenza artificiale per il lavoro

Preparare dati di prova rappresentativi

Come costruire un campione di prova IA con casi ordinari, varianti ed eccezioni, riferimenti verificati e limiti dichiarati.

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Desk Prove.

undefined

Per valutare uno strumento IA, costruite un campione a partire dal lavoro che dovrà svolgere: definite i gruppi di input e il flusso di riferimento, poi selezionate casi ordinari, varianti e difficoltà plausibili. Misurate quali gruppi sono coperti e confrontate le loro frequenze nel lavoro con quelle del campione. Registrate il metodo e i limiti, così da sapere quali condizioni rappresenta la prova.

Fare l’inventario prima di scegliere i casi

Prima di estrarre i casi, definite il compito IA da valutare, l’unità che conta come un caso e il flusso di lavoro di riferimento. Stabilite quale periodo osservare e quali fonti includere, quindi costruite l’elenco dei casi disponibili. Senza questo denominatore non potete confrontare le frequenze del campione con quelle del lavoro né descrivere quale parte del processo copre.

Esaminate un periodo di lavoro pertinente e identificate i tipi di input. Per i documenti variano formato, lunghezza, struttura e leggibilità; per le richieste scritte, lessico, completezza e presenza di eccezioni. Non occorre includere tutto il materiale: serve una mappa dei casi per evitare di selezionare solo i file più ordinati.

Per esempio, per estrarre dati da documenti, includete un modulo standard, una scansione poco leggibile, un file con le sezioni in ordine diverso e un caso con un campo mancante. Per una prova su richieste scritte, affiancate una richiesta completa a una formulata in modo ambiguo o priva di un’informazione necessaria. Etichettate ogni caso per tipo di difficoltà.

Distinguete casi ordinari, varianti frequenti e casi difficili ma plausibili. Annotate ciò che rimane escluso. Se un formato raro non è nel campione, non estendete a quel formato le conclusioni. Se un gruppo è cruciale per il processo, esaminatene gli esiti separatamente, non in una media.

Create una scheda per ciascun caso con origine, struttura, completezza, leggibilità ed eventuali eccezioni. Per i documenti, annotate se il file è una scansione o un documento digitale e se le sezioni sono in ordine variabile; per le richieste, registrate lessico e informazioni mancanti. Applicate le stesse etichette a tutto il campione.

Per stimare le frequenze, contate nel flusso di riferimento i casi di ciascun gruppo (N_g) e il totale (N); nel campione contate i casi del gruppo (n_g) e il totale (n). Confrontate N_g/N con n_g/n e annotate lo scarto. Misurate anche la copertura come rapporto tra gruppi presenti nel campione e gruppi individuati. Istat descrive campioni casuali entro strati e l’allocazione in base alla precisione delle stime (istat.it).

Per stabilire la numerosità, specificate quali esiti volete stimare e la precisione desiderata per ogni gruppo importante; distribuite poi i casi tra gli strati tenendo conto di tale obiettivo (istat.it). Se date più spazio nel campione a un gruppo raro, riportatelo separatamente e non scambiate la sua quota campionaria per la frequenza nel lavoro.

Preparare un riferimento verificabile

Registrate i casi in un foglio di calcolo o in un file CSV, con una riga per input e colonne per identificativo, gruppo, provenienza, periodo, difficoltà, trasformazioni, output atteso e stato della verifica. Conservate una versione riconoscibile del file e aggiornate il registro quando correggete un caso o lo spostate di gruppo. Il formato permette di filtrare gli esiti per categoria.

Per ogni caso stabilite prima cosa deve risultare corretto: un valore, condizioni da conservare o la necessità di chiedere chiarimenti. Fate verificare il riferimento da un esperto del processo. Se il materiale originale è ambiguo, annotate l’ambiguità. Una risposta certa inventata renderebbe inaffidabile il confronto.

Tenete separati il materiale fornito al prodotto e la scheda con le risposte attese. Identificate versione dell’input, data di preparazione e trasformazioni eseguite. Se correggete un errore nel riferimento, aggiornate la scheda e rivalutate i candidati interessati con lo stesso criterio.

Usare dati adatti alla prova

Per i dati personali, applicate la pseudonimizzazione definita all’art. 4 del Regolamento UE 2016/679. Il Garante per la protezione dei dati personali precisa che i dati non sono attribuibili a un interessato specifico senza informazioni aggiuntive, conservate separatamente e soggette a misure tecniche e organizzative (garanteprivacy.it). Sostituite nomi e recapiti con codici e tenete separata l’eventuale tabella di corrispondenza.

Usate materiali che l’organizzazione è autorizzata a usare nel contesto e nell’account scelti. Quando possibile, sostituite nomi, recapiti e dettagli riservati non necessari. Se create esempi fittizi, conservate le caratteristiche da verificare: struttura, ambiguità o condizioni. Indicate però che un esempio costruito non dimostra il funzionamento sui file reali.

Controllate che la preparazione non elimini la difficoltà da misurare. Se ripulite tutte le scansioni o riscrivete ogni richiesta in italiano formale, la prova non rappresenterà più quei casi problematici. Per materiale che non potete inviare al prodotto, registrate la lacuna e prevedete una verifica autorizzata distinta prima di estendere l’uso.

Leggere i risultati per gruppo

Per ciascun gruppo riportate quanti casi avete provato, quanti output rispettano il riferimento, quali errori si ripetono e quanto lavoro di correzione richiedono. Esplicitate il denominatore usato per ogni tasso e separate i risultati dei gruppi sovracampionati. Così una media complessiva non nasconde prestazioni diverse sui casi ordinari e sulle eccezioni.

Confrontate i risultati con i limiti registrati nell’inventario e dichiarate quali gruppi non consentono ancora una decisione. Quando il processo cambia, aggiungete casi nuovi e ripetete la prova con gli stessi criteri; se conservate il campione precedente, usatelo per controllare se sono cambiati anche gli esiti già osservati. La decisione finale specifichi le condizioni provate e quelle ancora aperte.

Altro su Valutazione strumenti

Valutazione strumenti

Affidabilità degli strumenti IA

Come valutare ripetibilità, documenti lunghi, recupero degli errori e garanzie di servizio di uno strumento IA usato nel lavoro.