
Valutazione strumenti
Parte di Misurare la qualità delle risposte IA
Scrivere i criteri prima di valutare gli output
Come preparare una rubrica per le risposte IA: requisiti osservabili, errori bloccanti, preferenze e disaccordi.
Una rubrica dice al valutatore cosa osservare in ogni risposta IA e quale conseguenza ha un difetto. Va scritta prima di leggere gli output: ogni criterio deve riguardare il compito, basarsi su un’evidenza riconoscibile e distinguere un blocco, una correzione o una preferenza.
Scrivere una rubrica per valutare gli output IA
- Trasformare i requisiti in domande osservabiliIdentificare le informazioni da preservare, le aggiunte vietate e i margini di formulazione; descrivere il requisito comune invece di richiedere una corrispondenza esatta.
- Definire le conseguenze (bloccante, correzione, preferenza)Assegnare a ogni criterio un livello di impatto: bloccante (errato), da correggere (migliorabile), preferenza da motivare (opinabile). Evitare termini vaghi.
- Testare la rubrica su esempi e risolvere i disaccordiProvare la rubrica su poche risposte; se due valutatori discordano, chiarire il criterio ambiguo prima della valutazione principale.
- Conservare la versione e motivare i giudiziFornire ai valutatori la stessa rubrica, richiedere motivazioni per giudizi bloccanti; versionare la rubrica e registrare quale versione ha generato ogni giudizio.
Trasformare i requisiti in domande
Iniziate dalla consegna già definita. Identificate le informazioni da preservare, le aggiunte vietate e i margini di formulazione. Se sono accettabili più frasi, descrivete il requisito comune invece di richiedere una corrispondenza esatta.
Esempio ipotetico: una nota approvata stabilisce che un aggiornamento sarà inviato entro due giorni lavorativi dal ricevimento della documentazione completa. La rubrica può richiedere che termine e condizione rimangano collegati. Una risposta che promette l’invio entro due giorni senza quella condizione non soddisfa il requisito.
| Criterio | Evidenza da cercare | Conseguenza se manca |
|---|---|---|
| Condizione conservata | Il termine decorre dalla ricezione della documentazione completa. | Bloccante |
| Nessun dato aggiunto | Non compare una data di calendario assente dalla nota. | Bloccante |
| Istruzione comprensibile | Il lettore capisce da quando decorre il termine. | Da correggere |
| Tono adatto | La formulazione è appropriata al destinatario. | Preferenza da motivare |
La conseguenza dipende dall’uso previsto. Definite bloccante, da correggere e preferenza nella scheda; evitate che ogni revisore dia un significato diverso alle etichette. Se usate una scala numerica, descrivete il comportamento per ogni livello. Termini come «buono» o «professionale», da soli, non bastano.
Provare la rubrica prima della valutazione
Provate la rubrica su poche risposte di esempio. Se due valutatori autorizzati ottengono esiti diversi, individuate il punto esatto: il riferimento è ambiguo, il criterio è troppo vago o la conseguenza dell’errore non è stata concordata? Chiarite la regola prima della valutazione principale.
Prevedete uno stato per i casi in cui il materiale non consente una decisione. Una data assente non diventa falsa solo perché non confermata; può richiedere un chiarimento o la rimozione della frase. Specificate chi può risolvere un dubbio sostanziale.
Conservare la versione usata
Fornite ai valutatori la stessa rubrica e richiedete una motivazione per gli esiti bloccanti. Se emerge un requisito dimenticato, create una nuova versione e riesaminate tutte le risposte coinvolte. Registrate quale versione ha generato ogni giudizio. In questo modo la decisione resta spiegabile anche quando la rubrica evolve.



