Foto per l'articolo Verificare la gestione di una richiesta fallita
Foto di Benjamin Farren su Pexels

Valutazione strumenti

Parte di Affidabilità degli strumenti IA

Verificare la gestione di una richiesta fallita

Come verificare errori, risposte incomplete, tentativi successivi ed effetti già prodotti da una richiesta IA fallita.

Questo è uno pseudonimo editoriale della testata, non una dichiarazione di identità personale verificata in modo indipendente. Firma editoriale originale: Desk Prove.

undefined

Per valutare un'integrazione con l'API OpenAI, seguite una richiesta fallita dal segnale iniziale alla chiusura del caso. La gestione è verificabile quando il team riconosce lo stato, impedisce che un risultato incompleto venga approvato e riprende il lavoro senza ripetere effetti già prodotti. Registrate la prova fino all'esito nel sistema di destinazione, non soltanto fino al messaggio d'errore.

Distinguere i segnali

Nell'API OpenAI distinguete lo stato HTTP dal tipo e dal codice dell'errore: la documentazione riporta 401 per autenticazione non valida e 429 con codice slow_down quando il ritmo delle richieste aumenta troppo rapidamente. Riporta anche 429 con codice organization_spend_limit_exceeded o project_spend_limit_exceeded quando è raggiunto il limite di spesa dell'organizzazione o del progetto (documentazione OpenAI).

Per un 401 controllate la chiave API e l'organizzazione; per slow_down riducete il ritmo e seguite Retry-After quando è presente. In generale, un nuovo tentativo da solo può non bastare quando il problema richiede un intervento sulla causa. Non tutti i fallimenti appaiono come errori HTTP: registrate separatamente nessuna risposta, risposta incompleta, risposta presente ma inutilizzabile ed esito incerto.

Tipologie di errore nell'API OpenAI e azioni corrispondenti

  • 401Errore HTTP — Autenticazione non valida – verificare chiave API e organizzazione.
  • 429Errore HTTP – slow_down — Tasso di richieste troppo elevato – ridurre il ritmo e attendere Retry-After.
  • 429Errore HTTP – organization_spend_limit_exceeded — Limite di spesa raggiunto per l'organizzazione – verificare budget e aggiornare configurazione.
  • 503Errore HTTP – server_is_overloaded — Sovraccarico temporaneo del modello – attendere Retry-After indicato dal server.

Preparare scenari controllati

Usate dati fittizi e un ambiente autorizzato. Prevedete un input non valido, una risposta interrotta, un ritardo oltre la soglia di timeout del flusso e, se il percorso lo consente, un errore temporaneo simulato. Per ogni prova definite in anticipo il messaggio da mostrare, lo stato del caso, il responsabile e la condizione per un nuovo tentativo.

Per un 429 temporaneo dell'API OpenAI, controllate Retry-After: quando è presente indica i secondi minimi da attendere prima di riprovare. Per un 503 dovuto a sovraccarico temporaneo del modello, la documentazione indica il codice server_is_overloaded; Retry-After può specificare l'attesa prima del nuovo tentativo (documentazione OpenAI).

Il test di input non valido supera il controllo solo se il tentativo si arresta e la causa viene corretta prima di una nuova richiesta. Una risposta incompleta non deve arrivare all'approvazione; con un esito incerto, verificate nel sistema finale se l'effetto esiste già prima di ripetere l'operazione. Per gli errori temporanei, controllate che i tentativi rispettino l'attesa e restino entro il limite definito dal team.

Metriche chiave nella gestione delle richieste fallite

  • 3Numero massimo di tentativi consentiti
  • 60Tempo minimo di attesa (Retry-After)
  • 30Timeout flusso previsto
  • 24Caso aperto oltre ore — Richiede assegnazione a responsabile

Verificare ripresa e duplicati

Conservate un identificativo del caso e lo stato prima dell'invio. Se l'operazione crea un record, controllate nel sistema di destinazione se esiste già prima di ripeterla. Considerate anche i tentativi automatici delle librerie usate: possono sommarsi a quelli dell'applicazione.

Per i webhook OpenAI, consultate le indicazioni sulla verifica della firma e sulla ricezione. Verificate la firma prima di elaborare l'evento; come buona pratica generale, controllate nel sistema destinatario se l'effetto risulta già applicato prima di ripetere l'operazione.

Stabilite un numero massimo di tentativi e assegnate un responsabile ai casi che lo superano. Per ogni scenario registrate richiesta, stato, tentativi, attesa effettiva ed esito nel sistema finale. La prova è superata quando l'esito è verificabile e il caso è chiuso; altrimenti resta esplicitamente aperto e assegnato.

Altro su Valutazione strumenti

Valutazione strumenti

Affidabilità degli strumenti IA

Come valutare ripetibilità, documenti lunghi, recupero degli errori e garanzie di servizio di uno strumento IA usato nel lavoro.