
Valutazione strumenti
Parte di Affidabilità degli strumenti IA
Ripetere lo stesso test in più esecuzioni
Come ripetere una prova IA con input e criteri costanti, registrare ogni esecuzione e interpretare le differenze osservate.
Ripetete una prova per vedere se lo stesso compito produce risultati utilizzabili in più esecuzioni e quali errori ricorrono. Mantenete fissi input e criteri; conservate ogni prima risposta, comprese quelle mancanti. La formulazione può variare purché i requisiti decisivi rimangano soddisfatti.
Preparare il caso
Scegliete un compito verificabile. Esempio ipotetico: da una nota interna inventata estraete tre azioni, con scadenza solo se presente. Preparate materiale e scheda delle azioni attese prima di vedere gli output. Annotate informazioni mancanti ed errori che renderebbero inutilizzabile il risultato.
Registrate richiesta esatta, materiale, percorso e impostazioni. Per evitare l'influenza di turni precedenti, avviate ogni esecuzione in una sessione nuova. Se il lavoro reale utilizza una conversazione già avviata, riproducetela in una prova separata.
Decidete prima di iniziare quante esecuzioni fare per ogni caso e usate lo stesso numero per tutti, così i conteggi per stato restano confrontabili. Non fermatevi solo perché i primi risultati sembrano buoni, né perché sembrano cattivi: un campione interrotto a metà riflette l'impressione del momento più che il comportamento del sistema.
Registrare ogni esecuzione
Registrate data, caso, modello o versione se disponibile, piano, impostazioni, risposta originale ed eventuali errori. Non conservate solo la risposta migliore. Una richiesta senza risposta è rilevante per il resoconto operativo; una risposta errata conta anche nella valutazione del contenuto.
| Esito | Criterio |
|---|---|
| Approvabile | Soddisfa i requisiti bloccanti senza altri interventi. |
| Correggibile | Richiede modifiche documentate prima dell'uso. |
| Respinto | Viola un requisito bloccante o richiede una correzione non sostenibile. |
| Senza risposta | Non è arrivata una consegna valutabile; va registrato lo stato tecnico. |
Distinguete differenze stilistiche da errori sostanziali. Due riepiloghi possono avere parole diverse ma stesse azioni. Due testi simili possono divergere su una negazione o una scadenza.
Interpretare gli esiti
Indicate il numero di esecuzioni e il conteggio per stato. Se calcolate una percentuale, mostrate il denominatore e specificate se si riferisce solo alla prima risposta. Una risposta corretta dopo un secondo prompt richiede un intervento aggiuntivo. Con pochi tentativi, la quota descrive solo il campione e non garantisce il comportamento futuro.
Identificate errori ricorrenti, ad esempio la stessa condizione omessa. Se modificate il prompt, conservate i risultati precedenti e rieseguite i casi con la nuova versione. Ripetete i casi decisivi al cambiare di modello, istruzioni, impostazioni o fonti. Il resoconto finale deve specificare compito, condizioni, esiti e quantità di revisione.



