
Valutazione strumenti
Misurare la qualità delle risposte IA
Come valutare risposte IA per un compito preciso: requisiti, riferimento, errori bloccanti, correzioni e limiti del campione.
La qualità di una risposta IA dipende dal compito per cui sarà usata. Per misurarla, fissate prima i requisiti di approvazione, confrontate ogni risposta con un riferimento valido e registrate errori, correzioni e casi non verificabili.
Riportate gli esiti per tipo di caso: una media può nascondere un errore che impedisce la consegna.
Definire che cosa si misura
Scegliete un’unità precisa, come una risposta a una domanda o una bozza destinata a un collega. Indicate chi userà il risultato e quali informazioni erano disponibili al sistema. Conservate input, istruzioni e prima risposta.
Se serve un chiarimento per ottenere una seconda versione, registrate anche quel tentativo: il risultato approvato ha richiesto un intervento ulteriore.
Usate casi preparati per il compito e un riferimento controllato da chi conosce il materiale. Se il riferimento è ambiguo, annotate il dubbio; non imponete come unica risposta corretta una conclusione che il materiale non consente di stabilire.
Tradurre l’obiettivo in criteri osservabili
Un criterio utile descrive un risultato specifico, non un’impressione generica come «risposta buona». Può essere quantitativo oppure qualitativo, purché la scala sia definita e applicata con coerenza. Per esempio, una valutazione della coerenza può usare una scala da 1, «senza senso», a 5, «perfettamente logico».
Verificate che il criterio sia raggiungibile e pertinente alle esigenze di chi userà la risposta. La soglia necessaria dipende dallo scopo: l’accuratezza delle citazioni può essere decisiva in un’applicazione medica, ma meno importante in una conversazione informale. Rendere esplicita questa differenza aiuta a interpretare il risultato senza confondere qualità generale e adeguatezza al compito.
Valutare dimensioni distinte
| Dimensione | Domanda |
|---|---|
| Fedeltà | La risposta conserva istruzioni, condizioni e limiti dell’input? |
| Correttezza | Le affermazioni verificabili coincidono con il riferimento valido? |
| Completezza | Manca qualcosa di necessario per usare la risposta? |
| Incertezza | Sono segnalati i punti che il materiale non permette di stabilire? |
| Forma | Il testo è chiaro e adatto al destinatario? |
Stabilite in anticipo quali difetti bloccano l’uso. Una condizione omessa può rendere inutilizzabile una risposta ben scritta; una frase poco scorrevole può richiedere soltanto una correzione. La rubrica deve indicare questa differenza, senza compensare un errore decisivo con un buon voto sullo stile.
Dimensioni della qualità delle risposte IA: criteri e requisiti
- Fedeltà
- La risposta rispetta istruzioni, condizioni e limiti dell'input
- Correttezza
- Affermazioni verificabili coincidono con il riferimento valido
- Completezza
- Non manca nulla di necessario per usare la risposta
- Incertezza
- Sono segnalati i punti non verificabili nel materiale
- Forma
- Il testo è chiaro e adatto al destinatario
Scegliere una misura coerente con il compito
Le metriche quantitative possono essere specifiche del compito, come F1 score, BLEU o perplexity, oppure più generali, come accuratezza, precisione e richiamo. La scelta va legata a ciò che la risposta deve fare: un indicatore numerico è utile solo se riflette un requisito rilevante per l’uso previsto.
Accostate, quando serve, un punteggio numerico a una rubrica qualitativa applicata con criteri espliciti. Un numero rende il confronto più leggibile, ma non descrive da solo ogni difetto: annotare quale requisito è mancato chiarisce se il punteggio corrisponde a una risposta davvero utilizzabile.
Fissare soglie e rendere visibili i compromessi
Per ogni misura stabilite una soglia che corrisponda alla decisione da prendere, invece di trattare un punteggio come un verdetto universale. Il NIST indica che la scelta delle metriche e dei relativi valori soglia richiede giudizio umano e dipende dal contesto d’uso del sistema.
Una risposta può soddisfare un requisito e fallirne un altro: le caratteristiche di un’IA affidabile comprendono validità e affidabilità, sicurezza, trasparenza, spiegabilità, tutela della riservatezza e correttezza con gestione dei bias dannosi. Il NIST osserva che possono esserci compromessi tra caratteristiche, perciò il resoconto dovrebbe rendere visibili quelli rilevanti per il compito valutato.
Compromessi tra caratteristiche di un’IA affidabile
- Pro
- Validità e affidabilità del modello
- Pro
- Trasparenza e spiegabilità dei risultati
- Pro
- Tutela della riservatezza e gestione dei bias
- Contro
- Possibili compromessi tra sicurezza e accuratezza
- Contro
- Ottimizzazione per uno scopo che riduce altre qualità
Registrare l’esito di ogni caso
Assegnate a ogni risposta uno stato: approvabile, approvabile dopo correzione, da chiarire o respinta. Annotate il motivo, il punto del riferimento usato e l’intervento necessario. Tenete distinti gli errori accertati dai punti che non siete riusciti a verificare. Una risposta non controllata non è una risposta corretta.
Se riportate una quota di risposte approvabili, dichiarate quanti casi sono stati valutati, quali criteri sono stati applicati e se contate anche le risposte corrette dopo un altro tentativo. Mostrate gli esiti separati per i gruppi che contano nella decisione, per esempio richieste ordinarie e casi con informazioni mancanti. Indicate ciò che il campione non copre.
Risultati della valutazione delle risposte IA: dati da audit reali
- Percentuale di risposte con informazioni false
- Doppio aumento in un anno
- Tasso massimo accettabile di tossicità (esempio Anthropic)
- Meno dello 0,1% su 10.000 prove
Rendere concreta una soglia
Un criterio misurabile può indicare sia il risultato atteso sia la metrica e la soglia. Nell’esempio di analisi del sentiment proposto da Anthropic, il criterio è un F1 score di almeno 0,85; viene inoltre presentato come obiettivo un miglioramento del 5% rispetto al riferimento attuale. Sono esempi di formulazione, non soglie valide per ogni compito.
Anche un criterio qualitativo può essere espresso in modo verificabile. Per la sicurezza, Anthropic propone come esempio di soglia meno dello 0,1% degli output segnalati per tossicità dal filtro dei contenuti su 10.000 prove. Il punto pratico è specificare che cosa viene contato e rispetto a quale soglia, così da poter motivare l’esito assegnato.
Decidere entro il perimetro della prova
Il resoconto deve dire quali risposte erano utilizzabili, quali errori impedivano l’uso e quanto controllo restava necessario. Conservate data, materiali, criteri e configurazione insieme agli esiti. Se cambiano il compito o il sistema, riprendete i casi decisivi. La misura descrive le risposte ottenute nelle condizioni esaminate; non è una classifica generale degli strumenti IA.
Nel resoconto, motivate per ciascun esito perché la risposta supera o non supera la soglia fissata, richiamando il criterio applicato e gli eventuali errori decisivi.
Processo di valutazione della qualità delle risposte IA
- Definire i requisiti di approvazione per il compitoFissare soglie basate sul contesto d’uso
- Selezionare casi preparati e riferimenti validiUsare materiali controllati da esperti
- Classificare ogni risposta come approvabile, correggibile, da chiarire o respintaAnnotare motivi e interventi necessari
- Rendere visibili compromessi e limiti del campioneEvitare generalizzazioni non supportate
Sintetizzare i risultati senza perdere i difetti decisivi
La sintesi può affiancare ai giudizi sulle singole risposte indicatori coerenti con il compito: le metriche generali citate da Anthropic includono accuratezza, precisione e richiamo; per i casi limite è possibile riportare la percentuale gestita senza errori. Ogni indicatore va accompagnato dalla spiegazione di che cosa misura, per evitare che una cifra venga letta fuori contesto.
Un confronto A/B può misurare le prestazioni rispetto a un modello di riferimento o a una versione precedente; anche il tasso di completamento dei compiti può fornire un’indicazione tramite il feedback degli utenti. Questi risultati non sostituiscono il giudizio sui casi: affiancateli agli errori che hanno impedito l’uso e agli interventi ancora necessari.
In questa guida
- Scrivere i criteri prima di valutare gli outputCome preparare una rubrica per le risposte IA: requisiti osservabili, errori bloccanti, preferenze e disaccordi.
- Distinguere errori fattuali e preferenze stilisticheCome separare fatti contraddetti, punti non verificati, omissioni e preferenze di stile quando si valutano risposte IA.
- Confrontare risultati senza mostrare il nome del prodottoCome confrontare risposte IA in cieco: codici neutri, ordine variato, criteri comuni, parità e doppi fallimenti.
- Pubblicare anche i casi in cui il sistema sbagliaCome presentare errori, correzioni e limiti del campione in un resoconto di prova IA senza nascondere i fallimenti decisivi.



