Come misuriamo davvero la qualità della traduzione e perché molti benchmark sbagliano

In SyncWords trasferiamo l’audio in diretta da una lingua all’altra in tempo reale. In ogni secondo di trasmissione dobbiamo decidere quale sistema di traduzione usare, per quale coppia linguistica, a quale costo e con quale tolleranza agli errori.

Non possiamo quindi affidarci alle presentazioni commerciali o ai benchmark forniti dai produttori. Dobbiamo sapere, con certezza statistica, quale motore offre oggi le prestazioni migliori per una determinata coppia linguistica.

Per questo abbiamo sviluppato un nostro sistema di valutazione. La metodologia è più articolata di quanto molti immaginino.

Questo articolo presenta il quadro tecnico completo.

Ottenga l’accesso gratuito
allo
strumento che utilizziamo per confrontare i motori di traduzione automatica
.

Perché i benchmark standard non bastano

L’approccio abituale alla valutazione della traduzione automatica consiste nello scegliere un set di dati di riferimento, eseguire i sistemi e pubblicare un unico punteggio. Semplice.

Il problema è che quel singolo punteggio nasconde quasi tutto ciò che conta in produzione.

Non indica se il sistema ha fallito senza segnalarlo, se un output accurato nella lingua standard è invece errato per un pubblico regionale, né quanto costa mantenere la cadenza del parlato in tempo reale. Inoltre, non mostra se il valore è statisticamente distinguibile da quello del sistema classificato subito dopo.

Abbiamo progettato il nostro sistema, basato sul set di dati WMT24++, per rendere visibili tutti questi aspetti. Ecco come funziona.

Il set di dati: WMT24++

WMT24++ è un corpus parallelo sottoposto a post-editing che copre 55 coppie linguistiche dall’inglese verso la lingua di destinazione, con 960 segmenti per coppia. I riferimenti sono revisioni umane, non traduzioni grezze o generate automaticamente, e costituiscono quindi un riferimento affidabile per la qualità.

Ogni sistema traduce tutti i 960 segmenti per ogni coppia linguistica supportata. Otteniamo così 960 punti dati per ogni combinazione di sistema e coppia linguistica, sufficienti per calcolare intervalli di confidenza ristretti e individuare schemi di errore a livello di segmento.

Due metriche, non una

La nostra valutazione usa insieme due segnali di qualità indipendenti. Nessuno dei due è sufficiente da solo.

MetricX24, basata su un riferimento

MetricX-24-Hybrid-XL è la metrica appresa per la qualità della traduzione automatica di Google Research. È un modello mT5 con circa 3,7 miliardi di parametri, addestrato a stimare un punteggio di qualità a partire da terne composte da testo sorgente, ipotesi e riferimento. È una delle metriche basate su riferimenti con le prestazioni migliori e, in condizioni controllate, presenta una buona correlazione con le valutazioni umane.

Presenta tuttavia una distorsione nota di cui teniamo conto esplicitamente: premia gli output in una lingua standard neutra rispetto alle traduzioni regionali autentiche.

In pratica, MetricX penalizza sistematicamente un sistema che produce correttamente arabo egiziano invece dell’arabo moderno standard, francese del Québec invece del francese parigino o spagnolo messicano invece del castigliano. La metrica è stata addestrata soprattutto su riferimenti in lingua standard e riflette questa impostazione.

Per un’azienda che opera in mercati come l’America Latina, il pubblico ispanico statunitense e il Medio Oriente, dove l’accuratezza dialettale distingue un contenuto efficace da uno che suona estraneo, questa distorsione non è un dettaglio. È un limite fondamentale dell’affidarsi a una sola metrica.

MetricX resta utile perché offre un segnale preciso e riproducibile, ma deve essere affiancata da un secondo parere correttivo.

GEMBA-MQM, il LLM come valutatore

GEMBA-MQM fornisce questo secondo parere. Invece di confrontare l’output con una traduzione di riferimento, chiede a un modello linguistico avanzato di annotare direttamente gli errori mediante la tassonomia MQM, Multidimensional Quality Metrics.

Al valutatore vengono mostrati testo sorgente, riferimento e candidato. Deve individuare gli errori nelle dimensioni di accuratezza o traduzione errata, fluidità o grammatica, stile, impostazioni locali o formato e terminologia, assegnando uno dei tre livelli di gravità.

Il punteggio del segmento è la somma ponderata per gravità prevista dallo standard WMT, con un limite massimo di 25:

score = min(25, Σ severity_weight(e))

dove errore minore = 1, grave = 5 e critico = 25.

Due scelte progettuali rendono questo approccio affidabile nella pratica.

In primo luogo, il ragionamento è abilitato per tutti i valutatori. Senza ragionamento esplicito, i LLM possono inventare errori e produrre punteggi sicuri ma privi di riscontro nella traduzione. Con il ragionamento abilitato, i valutatori generano annotazioni coerenti e verificabili.

In secondo luogo, il prompt indica esplicitamente di considerare valide le varianti regionali e dialettali. In questo modo si corregge direttamente la distorsione di MetricX verso la lingua standard: un arabo egiziano corretto non deve essere penalizzato e, con il prompt di GEMBA, non lo è.

Attualmente eseguiamo più valutatori in parallelo. Ognuno salva i risultati in una propria directory e il report rileva automaticamente tutti i valutatori, mostrando una colonna per ciascuno. Un forte accordo indica un segnale ad alta confidenza; il disaccordo segnala i casi in cui la metrica stessa è incerta, informazione a sua volta utile.

Che cos’è il GEMBA Rate? Il GEMBA Rate, mostrato nello strumento come GEMBA Combined, è il punteggio medio di tutti i valutatori attivi per una combinazione di sistema e coppia linguistica. È il dato principale per una lettura rapida della qualità. Le colonne dei singoli valutatori restano visibili per mostrare accordi e divergenze. Quando il valore combinato è basso e i singoli valori sono vicini, il segnale ha una confidenza elevata. Se divergono molto, il valore combinato va considerato soltanto indicativo e occorre esaminare le singole colonne.

Interpretare insieme le due metriche

MetricX indica quanto l’output è vicino a un riferimento standard. GEMBA indica invece se un lettore competente vi troverebbe davvero degli errori.

Quando entrambe forniscono un risultato positivo, il segnale è affidabile. Se MetricX valuta un sistema peggio di GEMBA, può trattarsi di un output regionale autentico penalizzato da MetricX. Se GEMBA assegna un risultato peggiore, l’output può essere tecnicamente vicino al riferimento ma contenere reali problemi di fluidità o accuratezza che una persona noterebbe.

Entrambi i punteggi usano la stessa scala da 0 a 25. Per entrambi, un valore più basso è migliore.

Intervalli di confidenza

Ogni cella del report mostra la media ± la semiampiezza di un intervallo di confidenza bootstrap del 95% sulla media dei segmenti.

Questo aspetto conta più di quanto molti report riconoscano. Con 960 segmenti, gli intervalli a livello di sistema sono generalmente ristretti, circa ±0,02. Per singola coppia linguistica sono più ampi, circa ±0,10, ma restano significativi.

In pratica, quando gli intervalli di confidenza di due sistemi si sovrappongono, i sistemi sono statisticamente equivalenti. Non è corretto classificare uno sopra l’altro. Il report rispetta questo principio e non proclama un vincitore se i dati non lo giustificano.

Costo: quanto costa davvero operare alla velocità del parlato

Il dato in dollari all’ora del report non è un listino API. È una stima del costo necessario per usare ogni sistema come singolo flusso di traduzione in tempo reale per il parlato umano.

Usiamo come riferimento circa 750 caratteri al minuto, la cadenza media dell’inglese parlato. Il flusso di produzione più rapido che abbiamo osservato raggiunge circa 1.200 caratteri al minuto; i costi aumentano in modo lineare.

Per i sistemi LLM, il costo è calcolato per token sulla base del prompt di produzione e di una finestra di contesto accumulata di 7 elementi, senza presupporre sconti per la cache del prompt. Per i sistemi NMT, come DeepL, Google Translate e Amazon Translate, il costo è calcolato per carattere secondo le tariffe pubbliche o contrattuali.

Nota importante: i sistemi in modalità paragrafo mostrano il costo stimato per la modalità frase, perché la produzione non opera mai per paragrafi. Una stima in modalità paragrafo sarebbe artificialmente bassa e fuorviante per le decisioni reali.

Classificazione degli errori

È la parte che molti benchmark ignorano del tutto.

Una traduzione scadente riceve un punteggio alto. Un errore catastrofico, per esempio un sistema che rifiuta di tradurre, entra in un ciclo infinito o non restituisce nulla, può invece essere registrato come zero, alterando le medie e nascondendo il rischio reale.

Contrassegniamo ogni segmento con uno o più indicatori di errore. Un segmento è considerato non riuscito se si attiva almeno un indicatore. Le traduzioni scadenti ma tecnicamente valide non vengono contrassegnate: emergono come punteggi alti in MetricX e GEMBA.

Gli errori a livello di API sono i più rilevanti sul piano operativo:

• stuck: ciclo di decodifica degenerato; refused: il modello ha rifiutato la traduzione; api_error: errori dell’infrastruttura,
• compresi errori 4xx diversi da 429 e timeout gRPC dopo l’esaurimento dei tentativi;
• empty: la chiamata API è riuscita ma il modello ha restituito
• una stringa vuota.

Gli errori di struttura dell’output individuano i modelli che restituiscono qualcosa che non è una traduzione:

• untranslated: l’ipotesi coincide con il testo sorgente; markdown_fence: l’output è racchiuso in blocchi di
• codice; preamble: l’output inizia con formule come «Traduzione:»;
• reasoning_leak: il modello espone il proprio ragionamento interno; multiple_alternatives: il modello propone più opzioni
• invece di una sola traduzione; translator_note:
• il modello aggiunge una nota finale
• tra parentesi.

La colonna del tasso di errore aggrega tutti questi casi. Un sistema con un tasso dello 0% per una coppia linguistica è significativamente diverso da uno con il 2-3%, soprattutto nelle trasmissioni in diretta, dove un segmento non riuscito produce silenzio o contenuti inutilizzabili.

Implicazioni per le decisioni di produzione

Abbiamo sviluppato questo sistema di valutazione, e lo rendiamo disponibile pubblicamente, perché la scelta del motore di traduzione non è una decisione da prendere una volta sola.

Le capacità dei modelli cambiano, vengono pubblicate nuove versioni, le tariffe evolvono e aumenta la copertura delle coppie linguistiche. Il sistema più adatto sei mesi fa per la traduzione dall’inglese allo spagnolo potrebbe non esserlo oggi.

Eseguiamo questa valutazione continuamente. Lo strumento riflette le prestazioni attuali, non benchmark archiviati.

Per emittenti e servizi di streaming attivi in mercati multilingue, le conseguenze operative sono concrete: scegliere il motore sbagliato per una coppia linguistica può ridurre la qualità, aumentare i costi o accrescere il rischio di errori nei contenuti in diretta. Per scegliere bene servono dati, non supposizioni.

È ciò che questo sistema è stato progettato per offrire.

Lo strumento di confronto dei motori di traduzione automatica è gratuito. Richieda l’accesso su syncwords.com o ci contatti direttamente: saremo lieti di illustrare i dati relativi alle Sue coppie linguistiche.

‍