Foto per l'articolo Scrivere i criteri prima di valutare gli output
Foto di lecroitg su Pixabay

Valutazione strumenti

Parte di Misurare la qualità delle risposte IA

Scrivere i criteri prima di valutare gli output

Come preparare una rubrica per le risposte IA: requisiti osservabili, errori bloccanti, preferenze e disaccordi.

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Redazione IA.

Una rubrica dice al valutatore cosa osservare in ogni risposta IA e quale conseguenza ha un difetto. Va scritta prima di leggere gli output: ogni criterio deve riguardare il compito, basarsi su un’evidenza riconoscibile e distinguere un blocco, una correzione o una preferenza.

Scrivere una rubrica per valutare gli output IA

  1. Trasformare i requisiti in domande osservabiliIdentificare le informazioni da preservare, le aggiunte vietate e i margini di formulazione; descrivere il requisito comune invece di richiedere una corrispondenza esatta.
  2. Definire le conseguenze (bloccante, correzione, preferenza)Assegnare a ogni criterio un livello di impatto: bloccante (errato), da correggere (migliorabile), preferenza da motivare (opinabile). Evitare termini vaghi.
  3. Testare la rubrica su esempi e risolvere i disaccordiProvare la rubrica su poche risposte; se due valutatori discordano, chiarire il criterio ambiguo prima della valutazione principale.
  4. Conservare la versione e motivare i giudiziFornire ai valutatori la stessa rubrica, richiedere motivazioni per giudizi bloccanti; versionare la rubrica e registrare quale versione ha generato ogni giudizio.

Trasformare i requisiti in domande

Iniziate dalla consegna già definita. Identificate le informazioni da preservare, le aggiunte vietate e i margini di formulazione. Se sono accettabili più frasi, descrivete il requisito comune invece di richiedere una corrispondenza esatta.

Esempio ipotetico: una nota approvata stabilisce che un aggiornamento sarà inviato entro due giorni lavorativi dal ricevimento della documentazione completa. La rubrica può richiedere che termine e condizione rimangano collegati. Una risposta che promette l’invio entro due giorni senza quella condizione non soddisfa il requisito.

CriterioEvidenza da cercareConseguenza se manca
Condizione conservataIl termine decorre dalla ricezione della documentazione completa.Bloccante
Nessun dato aggiuntoNon compare una data di calendario assente dalla nota.Bloccante
Istruzione comprensibileIl lettore capisce da quando decorre il termine.Da correggere
Tono adattoLa formulazione è appropriata al destinatario.Preferenza da motivare

La conseguenza dipende dall’uso previsto. Definite bloccante, da correggere e preferenza nella scheda; evitate che ogni revisore dia un significato diverso alle etichette. Se usate una scala numerica, descrivete il comportamento per ogni livello. Termini come «buono» o «professionale», da soli, non bastano.

Provare la rubrica prima della valutazione

Provate la rubrica su poche risposte di esempio. Se due valutatori autorizzati ottengono esiti diversi, individuate il punto esatto: il riferimento è ambiguo, il criterio è troppo vago o la conseguenza dell’errore non è stata concordata? Chiarite la regola prima della valutazione principale.

Prevedete uno stato per i casi in cui il materiale non consente una decisione. Una data assente non diventa falsa solo perché non confermata; può richiedere un chiarimento o la rimozione della frase. Specificate chi può risolvere un dubbio sostanziale.

Conservare la versione usata

Fornite ai valutatori la stessa rubrica e richiedete una motivazione per gli esiti bloccanti. Se emerge un requisito dimenticato, create una nuova versione e riesaminate tutte le risposte coinvolte. Registrate quale versione ha generato ogni giudizio. In questo modo la decisione resta spiegabile anche quando la rubrica evolve.

Altro su Valutazione strumenti

Valutazione strumenti

Affidabilità degli strumenti IA

Come valutare ripetibilità, documenti lunghi, recupero degli errori e garanzie di servizio di uno strumento IA usato nel lavoro.