
Valutazione strumenti
Parte di Misurare la qualità delle risposte IA
Confrontare risultati senza mostrare il nome del prodotto
Come confrontare risposte IA in cieco: codici neutri, ordine variato, criteri comuni, parità e doppi fallimenti.
Per confrontare risposte IA in cieco, assegnate codici neutri agli output e nascondete ai valutatori il prodotto che li ha generati. Usate gli stessi casi e la stessa rubrica, registrate i giudizi prima di svelare i nomi. Conservate separatamente la corrispondenza tra codici e prodotti.
Preparare risultati confrontabili
Ogni coppia risponda alla stessa richiesta, con lo stesso materiale e obiettivo. Registrate istruzioni, configurazione, tentativi e interventi umani. Interfacce diverse possono richiedere formulazioni diverse, ma i vincoli sostanziali restano uguali. Se un candidato riceve un chiarimento aggiuntivo, il resoconto lo mostri.
Presentate le risposte in formato leggibile senza alterare il significato. Rimuovete nomi e indizi di provenienza, se possibile senza perdere informazioni. Se formato, citazioni o altre funzioni fanno parte del risultato richiesto, conservateli e dichiarate che il cieco potrebbe essere incompleto. Valutate separatamente le funzioni non visibili dal solo testo.
Variare l’ordine e consentire il doppio fallimento
Variate l’ordine e annotate la sequenza vista da ciascun valutatore, senza mostrare sempre lo stesso candidato per primo. Studi su giudici automatici osservano effetti di posizione ed etichetta, ma non quantificano l’effetto sui vostri revisori umani. Variare ordine e nascondere nome restano controlli pratici.
Consentite quattro esiti: A preferibile, B preferibile, equivalenti e nessuna approvabile. Chiedete una ragione legata ai criteri, ad esempio quale risposta conserva una condizione necessaria. Se entrambe hanno un errore bloccante, una scelta forzata darebbe un vincitore poco utile.
Chiudere i giudizi prima di svelare i nomi
La scheda di valutazione dovrebbe contenere caso, codici, ordine, esiti per criterio, preferenza motivata e punti non verificabili. Conservate i giudizi individuali prima di discuterli. Un disaccordo può rivelare una rubrica ambigua oppure due risposte utili per ragioni diverse.
Svelate i nomi dopo aver chiuso questa fase. Solo allora aggiungete limiti del piano, lavoro di trasferimento e altre condizioni del prodotto che i valutatori non hanno visto. Non presentate questi fattori come parte del giudizio in cieco.
Riportate numero e tipo di casi, criteri, parità e doppi fallimenti. Il confronto descrive quelle risposte nelle condizioni registrate; non stabilisce quale prodotto sia migliore per ogni attività.
Metriche chiave della valutazione in cieco
- Numero di casi valutati
- Varia in base al test
- Percentuale di parità
- Dipende dal set di dati e dai criteri
- Doppi fallimenti osservati
- Segnala limiti critici nei modelli



