Recommended resources
The freely available resources this lesson will direct you to.
Olá! Na lição anterior, você aprendeu a comparar uma transcrição de referência com a saída do ASR e a classificar trocas, acréscimos e omissões de palavras. Agora vamos reunir essas contagens em uma medida: a taxa de erro de palavras, conhecida pela sigla WER (Word Error Rate).
Ao final, você deverá conseguir calcular a WER de uma fala ou de um conjunto de falas e, sobretudo, explicar o que o resultado permite concluir — e o que não permite. Essa distinção é importante quando uma transcrição será usada como registro fiel de uma sessão parlamentar, e não apenas como demonstração de desempenho de um sistema.
O que entra na conta
A WER compara duas sequências de palavras: uma referência conferida e a hipótese produzida pelo ASR. Depois de alinhá-las, contamos substituições, exclusões e inserções, como na lição anterior.
A fórmula é:
Nela, é o número de substituições, o de exclusões, o de inserções e o número de palavras da referência. Multiplicamos o resultado por para expressá-lo como porcentagem. Uma WER menor indica menos edições de palavras em relação àquela referência, segundo as convenções adotadas na comparação.
Note a escolha do denominador: não é o total de palavras escrito pelo ASR. Se ele acrescentar palavras, essas inserções entram no numerador, mas não aumentam . Esse detalhe será decisivo para interpretar a porcentagem.
Leia a apresentação da fórmula na seção “O que é taxa de erro de palavras?”, do artigo O que é taxa de erro de palavras (WER) e como usar, publicado pela ElevenLabs. Use-a para fixar os componentes da conta; nesta lição, trataremos com mais rigor algumas interpretações simplificadas de percentuais.
O que é taxa de erro de palavras (WER) e como usar
O artigo apresenta, em português, a definição da WER e a fórmula que você usará nos exemplos.
Na seção “O que é taxa de erro de palavras?”, logo após “Resumo”, leia a definição e a fórmula. Pare antes do parágrafo que começa “Na prática, um WER de 10%”. Concentre-se especialmente em qual texto fornece o número de palavras usado como denominador.
Um cálculo completo, sem confundir as categorias
Suponha que o áudio tenha sido conferido e que, para esta comparação, a referência e a hipótese sejam:
Referência: “A relatora confirmou a votação do projeto na sessão hoje.”
Hipótese do ASR: “A relatora não confirmou votação do projeto na sessão ontem.”
Desconsideremos o ponto final, pois aqui estamos avaliando palavras. A referência tem dez palavras: “A”, “relatora”, “confirmou”, “a”, “votação”, “do”, “projeto”, “na”, “sessão” e “hoje”. Portanto, .
Ao alinhar as palavras comuns, encontramos três divergências:
| Na referência | Na hipótese | Contagem |
|---|---|---|
| — | não | Uma inserção |
| a, antes de “votação” | — | Uma exclusão |
| hoje | ontem | Uma substituição |
Assim, , e . A conta é:
A leitura precisa do resultado é: o alinhamento encontrou três edições de palavras para cada dez palavras da referência. Não diga, sem ressalvas, que “ das palavras da hipótese estão erradas”: o denominador não é a hipótese, e uma das três edições corresponde a uma palavra acrescentada. Tampouco atribua ao número, por si só, um julgamento sobre a gravidade dos erros. A inserção de “não” muda a afirmação; a exclusão de “a” tem efeito bem diferente.
O alinhamento usado na WER busca, em termos gerais, o menor número de edições de palavras necessário para passar de uma sequência à outra. Por isso, trocar uma palavra por outra conta como uma substituição, não como uma exclusão mais uma inserção. Em sequências com repetições, pode haver mais de um alinhamento mínimo possível; o total de edições pode ser inequívoco mesmo quando a posição atribuída a cada erro não é.
Por que não é o teto
Uma taxa costuma sugerir intuitivamente um valor entre zero e , mas a WER pode ultrapassar . Imagine uma referência com apenas duas palavras, “Votação encerrada”, e uma hipótese com “Votação encerrada em plenário neste momento”. As quatro palavras finais são inserções. Logo:
Não há contradição: o total de erros superou o número de palavras da referência. Por esse motivo, não é, em geral, uma porcentagem de acerto.
Um exemplo menor torna o problema visível. Se a referência for “A pauta foi aprovada” e a hipótese for “A pauta não foi aprovada”, todas as quatro palavras da referência continuam presentes, mas houve uma inserção. A WER é . Seria enganoso concluir que só das palavras da referência foram preservadas: todas foram. Pior, a palavra extra inverteu o sentido da frase. A equivalência entre WER de e de palavras da referência preservadas só pode ser usada sob condições adicionais, como a ausência de inserções.
Quando há várias falas ou arquivos, a WER do conjunto também exige atenção. Somam-se os erros de todas as falas e divide-se pelo total de palavras das referências; não se tira, em geral, a média simples dos percentuais individuais. Considere uma fala de dez palavras com três erros e outra de noventa palavras com nove erros. Suas WERs são, respectivamente, e , mas a WER conjunta é:
A média simples, , daria o mesmo peso a uma fala de dez palavras e a outra de noventa. Esse cálculo pode servir a uma finalidade específica, mas não é a WER obtida pela contagem conjunta de palavras e erros.
O plano de avaliação OpenASR21 Challenge Evaluation Plan, do NIST, explicita tanto a fórmula quanto essa forma de agregar os resultados. Ele também mostra por que é preciso definir regras de preparação dos textos antes de pontuá-los.
OpenASR21 Challenge Evaluation Plan
Este plano de avaliação do NIST é um exemplo de protocolo formal de WER. O documento está em inglês; não é necessário estudar sua infraestrutura técnica nem memorizar suas regras particulares.
Na seção 3.1, “WORD ERROR RATE (WER)”, na p. 4, leia a definição formal e observe a fórmula logo abaixo. Leia também, no parágrafo imediatamente seguinte, a regra para o conjunto. Depois, vá à seção 8.3, “REFERENCE FILE NORMALIZATION”, na p. 14: leia a justificativa da normalização. Na Tabela 8, nas pp. 14–15, localize as linhas relativas a hesitações e pontuação. Observe que são decisões declaradas de avaliação, não regras universais para editar uma transcrição.
Uma medida comparável depende das regras da comparação
Antes de calcular, é preciso decidir o que será contado como “palavra” e preparar referência e hipótese de modo compatível. Se uma delas registra “artigo quinto” e a outra, “art. 5º”, a diferença gráfica pode produzir erros de palavras mesmo quando ambas representam a mesma expressão falada. Pontuação, maiúsculas, siglas, números e hesitações suscitam problemas semelhantes. O protocolo pode normalizar algumas dessas diferenças ou optar por avaliá-las; o essencial é definir e aplicar a mesma regra às saídas comparadas.
O plano do NIST ilustra esse cuidado ao especificar tratamentos para pontuação, marcas de hesitação e outros elementos da referência. Ele não estabelece que toda transcrição parlamentar deva seguir exatamente aquelas regras. Na avaliação de dois sistemas, o que torna uma comparação defensável é usar os mesmos áudios, uma referência adequada e as mesmas convenções de pontuação da WER. Comparar um percentual obtido em áudio limpo com outro obtido em debate ruidoso não isola o desempenho dos sistemas.
A referência também merece exame. Ela deve ser conferida no áudio e obedecer à finalidade documental definida. Se houver um trecho realmente inaudível, preencher a lacuna por suposição para então marcar a saída do ASR como errada criaria uma falsa certeza. E se uma referência preservar repetições enquanto outra adotar texto limpo, suas WERs podem diferir por causa da política de transcrição, não apenas da capacidade de reconhecer fala.
Boa WER não equivale a boa degravação
A WER atribui o mesmo peso numérico a cada edição de palavra. Compare duas hipóteses para a referência “O parecer não foi aprovado pela comissão hoje”. Uma omite “não”; a outra omite “hoje”. Ambas têm uma exclusão e a mesma WER, pois a referência contém oito palavras: . Ainda assim, a primeira altera o resultado da deliberação. A informação temporal também pode importar, mas os riscos editoriais não são automaticamente equivalentes.
Além disso, a WER de palavras não responde, sozinha, a perguntas essenciais para um registro parlamentar: quem falou? A pontuação preserva o sentido? Um número ou nome próprio decisivo foi registrado corretamente? Pausas, interrupções e trechos inaudíveis estão assinalados conforme a convenção? Um sistema pode acertar todas as palavras de uma intervenção e atribuí-la ao orador errado. Sua WER lexical naquele trecho seria zero, mas o registro não estaria pronto para aprovação.
Por isso, use a WER como indicador de divergência lexical, não como certificado de qualidade editorial. Na revisão, o percentual deve ser acompanhado da escuta dos trechos relevantes e de verificações próprias para atribuição de falas, sentido, números, nomes e fidelidade às regras documentais. Uma WER menor é desejável quando a comparação foi feita em condições equivalentes; ela não dispensa a análise dos erros concretos.
Para questões de certo ou errado, desconfie especialmente de afirmações que dizem que:
- o denominador é o número de palavras geradas pelo ASR — não é; usa-se o da referência;
- a WER nunca supera — pode superar, sobretudo com muitas inserções;
- uma WER de prova que exatamente das palavras foram reconhecidas corretamente — não necessariamente;
- dois sistemas com a mesma WER produzem registros de igual qualidade — não necessariamente, pois a métrica não pondera o impacto dos erros nem cobre toda a qualidade editorial.
Em síntese
Para calcular a WER, alinhe referência e hipótese, conte substituições, exclusões e inserções e divida a soma pelo número de palavras da referência. Para um conjunto de falas, some primeiro erros e palavras de referência de todo o conjunto. Interprete o resultado como uma medida padronizada de edições de palavras, sempre vinculada às convenções e aos áudios usados na avaliação.
A WER ajuda a comparar resultados, mas não substitui a conferência do sentido nem a revisão humana de uma transcrição parlamentar. Na próxima lição, veremos outro número frequentemente exibido por sistemas de ASR — o escore de confiança — e por que ele também exige interpretação cuidadosa.