Foto per l'articolo Misurare la qualità delle risposte IA
Foto di Andy Barbour su Pexels

Valutazione strumenti

Misurare la qualità delle risposte IA

Come valutare risposte IA per un compito preciso: requisiti, riferimento, errori bloccanti, correzioni e limiti del campione.

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Redazione IA.

La qualità di una risposta IA dipende dal compito per cui sarà usata. Per misurarla, fissate prima i requisiti di approvazione, confrontate ogni risposta con un riferimento valido e registrate errori, correzioni e casi non verificabili.

Riportate gli esiti per tipo di caso: una media può nascondere un errore che impedisce la consegna.

Definire che cosa si misura

Scegliete un’unità precisa, come una risposta a una domanda o una bozza destinata a un collega. Indicate chi userà il risultato e quali informazioni erano disponibili al sistema. Conservate input, istruzioni e prima risposta.

Se serve un chiarimento per ottenere una seconda versione, registrate anche quel tentativo: il risultato approvato ha richiesto un intervento ulteriore.

Usate casi preparati per il compito e un riferimento controllato da chi conosce il materiale. Se il riferimento è ambiguo, annotate il dubbio; non imponete come unica risposta corretta una conclusione che il materiale non consente di stabilire.

Tradurre l’obiettivo in criteri osservabili

Un criterio utile descrive un risultato specifico, non un’impressione generica come «risposta buona». Può essere quantitativo oppure qualitativo, purché la scala sia definita e applicata con coerenza. Per esempio, una valutazione della coerenza può usare una scala da 1, «senza senso», a 5, «perfettamente logico».

Verificate che il criterio sia raggiungibile e pertinente alle esigenze di chi userà la risposta. La soglia necessaria dipende dallo scopo: l’accuratezza delle citazioni può essere decisiva in un’applicazione medica, ma meno importante in una conversazione informale. Rendere esplicita questa differenza aiuta a interpretare il risultato senza confondere qualità generale e adeguatezza al compito.

Valutare dimensioni distinte

DimensioneDomanda
FedeltàLa risposta conserva istruzioni, condizioni e limiti dell’input?
CorrettezzaLe affermazioni verificabili coincidono con il riferimento valido?
CompletezzaManca qualcosa di necessario per usare la risposta?
IncertezzaSono segnalati i punti che il materiale non permette di stabilire?
FormaIl testo è chiaro e adatto al destinatario?

Stabilite in anticipo quali difetti bloccano l’uso. Una condizione omessa può rendere inutilizzabile una risposta ben scritta; una frase poco scorrevole può richiedere soltanto una correzione. La rubrica deve indicare questa differenza, senza compensare un errore decisivo con un buon voto sullo stile.

Dimensioni della qualità delle risposte IA: criteri e requisiti

Fedeltà
La risposta rispetta istruzioni, condizioni e limiti dell'input
Correttezza
Affermazioni verificabili coincidono con il riferimento valido
Completezza
Non manca nulla di necessario per usare la risposta
Incertezza
Sono segnalati i punti non verificabili nel materiale
Forma
Il testo è chiaro e adatto al destinatario

Scegliere una misura coerente con il compito

Le metriche quantitative possono essere specifiche del compito, come F1 score, BLEU o perplexity, oppure più generali, come accuratezza, precisione e richiamo. La scelta va legata a ciò che la risposta deve fare: un indicatore numerico è utile solo se riflette un requisito rilevante per l’uso previsto.

Accostate, quando serve, un punteggio numerico a una rubrica qualitativa applicata con criteri espliciti. Un numero rende il confronto più leggibile, ma non descrive da solo ogni difetto: annotare quale requisito è mancato chiarisce se il punteggio corrisponde a una risposta davvero utilizzabile.

Fissare soglie e rendere visibili i compromessi

Per ogni misura stabilite una soglia che corrisponda alla decisione da prendere, invece di trattare un punteggio come un verdetto universale. Il NIST indica che la scelta delle metriche e dei relativi valori soglia richiede giudizio umano e dipende dal contesto d’uso del sistema.

Una risposta può soddisfare un requisito e fallirne un altro: le caratteristiche di un’IA affidabile comprendono validità e affidabilità, sicurezza, trasparenza, spiegabilità, tutela della riservatezza e correttezza con gestione dei bias dannosi. Il NIST osserva che possono esserci compromessi tra caratteristiche, perciò il resoconto dovrebbe rendere visibili quelli rilevanti per il compito valutato.

Compromessi tra caratteristiche di un’IA affidabile

Pro
Validità e affidabilità del modello
Pro
Trasparenza e spiegabilità dei risultati
Pro
Tutela della riservatezza e gestione dei bias
Contro
Possibili compromessi tra sicurezza e accuratezza
Contro
Ottimizzazione per uno scopo che riduce altre qualità

Registrare l’esito di ogni caso

Assegnate a ogni risposta uno stato: approvabile, approvabile dopo correzione, da chiarire o respinta. Annotate il motivo, il punto del riferimento usato e l’intervento necessario. Tenete distinti gli errori accertati dai punti che non siete riusciti a verificare. Una risposta non controllata non è una risposta corretta.

Se riportate una quota di risposte approvabili, dichiarate quanti casi sono stati valutati, quali criteri sono stati applicati e se contate anche le risposte corrette dopo un altro tentativo. Mostrate gli esiti separati per i gruppi che contano nella decisione, per esempio richieste ordinarie e casi con informazioni mancanti. Indicate ciò che il campione non copre.

Risultati della valutazione delle risposte IA: dati da audit reali

Percentuale di risposte con informazioni false
Doppio aumento in un anno
Tasso massimo accettabile di tossicità (esempio Anthropic)
Meno dello 0,1% su 10.000 prove

Rendere concreta una soglia

Un criterio misurabile può indicare sia il risultato atteso sia la metrica e la soglia. Nell’esempio di analisi del sentiment proposto da Anthropic, il criterio è un F1 score di almeno 0,85; viene inoltre presentato come obiettivo un miglioramento del 5% rispetto al riferimento attuale. Sono esempi di formulazione, non soglie valide per ogni compito.

Anche un criterio qualitativo può essere espresso in modo verificabile. Per la sicurezza, Anthropic propone come esempio di soglia meno dello 0,1% degli output segnalati per tossicità dal filtro dei contenuti su 10.000 prove. Il punto pratico è specificare che cosa viene contato e rispetto a quale soglia, così da poter motivare l’esito assegnato.

Decidere entro il perimetro della prova

Il resoconto deve dire quali risposte erano utilizzabili, quali errori impedivano l’uso e quanto controllo restava necessario. Conservate data, materiali, criteri e configurazione insieme agli esiti. Se cambiano il compito o il sistema, riprendete i casi decisivi. La misura descrive le risposte ottenute nelle condizioni esaminate; non è una classifica generale degli strumenti IA.

Nel resoconto, motivate per ciascun esito perché la risposta supera o non supera la soglia fissata, richiamando il criterio applicato e gli eventuali errori decisivi.

Processo di valutazione della qualità delle risposte IA

  1. Definire i requisiti di approvazione per il compitoFissare soglie basate sul contesto d’uso
  2. Selezionare casi preparati e riferimenti validiUsare materiali controllati da esperti
  3. Classificare ogni risposta come approvabile, correggibile, da chiarire o respintaAnnotare motivi e interventi necessari
  4. Rendere visibili compromessi e limiti del campioneEvitare generalizzazioni non supportate

Sintetizzare i risultati senza perdere i difetti decisivi

La sintesi può affiancare ai giudizi sulle singole risposte indicatori coerenti con il compito: le metriche generali citate da Anthropic includono accuratezza, precisione e richiamo; per i casi limite è possibile riportare la percentuale gestita senza errori. Ogni indicatore va accompagnato dalla spiegazione di che cosa misura, per evitare che una cifra venga letta fuori contesto.

Un confronto A/B può misurare le prestazioni rispetto a un modello di riferimento o a una versione precedente; anche il tasso di completamento dei compiti può fornire un’indicazione tramite il feedback degli utenti. Questi risultati non sostituiscono il giudizio sui casi: affiancateli agli errori che hanno impedito l’uso e agli interventi ancora necessari.

In questa guida

  1. Scrivere i criteri prima di valutare gli outputCome preparare una rubrica per le risposte IA: requisiti osservabili, errori bloccanti, preferenze e disaccordi.
  2. Distinguere errori fattuali e preferenze stilisticheCome separare fatti contraddetti, punti non verificati, omissioni e preferenze di stile quando si valutano risposte IA.
  3. Confrontare risultati senza mostrare il nome del prodottoCome confrontare risposte IA in cieco: codici neutri, ordine variato, criteri comuni, parità e doppi fallimenti.
  4. Pubblicare anche i casi in cui il sistema sbagliaCome presentare errori, correzioni e limiti del campione in un resoconto di prova IA senza nascondere i fallimenti decisivi.

Altro su Valutazione strumenti

Valutazione strumenti

Affidabilità degli strumenti IA

Come valutare ripetibilità, documenti lunghi, recupero degli errori e garanzie di servizio di uno strumento IA usato nel lavoro.