Classificação de Erros em ASR: Substituições, Inserções e Exclusões

Olá! Na lição anterior, vimos como ruído, reverberação, distância do microfone e falhas de gravação podem comprometer a fala que chega ao reconhecimento automático. Agora passaremos ao texto produzido pelo ASR. Quando ele diverge do que foi dito, há três formas básicas de descrever a diferença: o sistema pode trocar, acrescentar ou deixar de registrar uma palavra.

Ao final desta lição, você deverá conseguir comparar uma transcrição automática com uma referência conferida no áudio e classificar cada divergência como substituição, inserção ou exclusão. Essa distinção é útil tanto na revisão de falas parlamentares quanto na avaliação de sistemas de reconhecimento. Na próxima lição, usaremos as mesmas categorias para calcular a taxa de erro de palavras.

Dois textos, papéis diferentes

Para identificar um erro, precisamos estabelecer em relação a que texto a saída do sistema será comparada. Chamaremos de referência a transcrição adotada como registro do que foi falado, depois de conferida conforme uma convenção definida. A hipótese é o texto produzido pelo ASR. O nome “hipótese” é importante: uma frase fluente e gramatical ainda pode não corresponder ao áudio.

Considere uma fala cuja referência seja:

Referência: “O parecer foi aprovado.”

Se o ASR produzir “O projeto foi aprovado”, há uma divergência entre parecer e projeto. Se produzir “O parecer não foi aprovado”, há uma palavra a mais. Se produzir “O parecer aprovado”, falta uma palavra. Em todos os casos, o ponto de partida para classificar o erro é a comparação entre referência e hipótese, não a impressão de que uma das frases soa mais natural.

Leia a seção “Avaliar a taxa de erros de palavras (WER)”, de Testar a precisão de um modelo de fala personalizada, no Microsoft Learn. Por enquanto, concentre-se nas definições das três categorias e no exemplo de palavras identificadas incorretamente. Deixe o cálculo percentual para a próxima lição.

Troca, acréscimo e omissão

A classificação depende da posição da palavra na comparação, não de uma suposição sobre o que ocorreu internamente no modelo.

Substituição (S) é uma troca: há uma palavra na referência e outra ocupa seu lugar na hipótese. Se a referência contém “O parecer foi aprovado” e a hipótese contém “O projeto foi aprovado”, classificamos parecer/projeto como substituição. O ASR não deixou simplesmente de escrever parecer; naquele ponto, escreveu outra palavra.

Inserção (I) é um acréscimo na hipótese: o ASR escreveu uma palavra sem correspondente na referência. Se foi dito “O parecer foi aprovado” e a hipótese é “O parecer não foi aprovado”, não é uma inserção. Aqui, o erro inverte o sentido da decisão. Uma palavra extra não é necessariamente um detalhe inofensivo.

Exclusão (D) é uma omissão na hipótese: uma palavra presente na referência não aparece na saída do ASR. Se foi dito “O parecer não foi aprovado” e a hipótese é “O parecer foi aprovado”, não é uma exclusão. A mesma palavra pode, portanto, ser inserção ou exclusão conforme qual texto representa a fala efetiva. A direção da comparação é indispensável.

Em materiais de ASR, você também encontrará deleção para esse último caso. Nesta lição, exclusão e deleção designam a mesma classe de erro. Já uma palavra corretamente preservada nos dois textos não pertence a nenhuma das três classes.

Há uma regra prática para evitar uma contagem enganosa: quando uma palavra da referência foi trocada por uma palavra da hipótese no mesmo trecho, classificamos normalmente a divergência como uma substituição, não como uma exclusão somada a uma inserção. A comparação deve procurar uma correspondência coerente entre as sequências de palavras.

Alinhar as frases antes de contar os erros

Em frases inteiras, ler apenas “o que parece diferente” pode confundir as categorias. O procedimento mais seguro é alinhar as palavras que coincidem e examinar os espaços entre elas. Veja:

Referência: “A comissão aprovou o parecer hoje.”
Hipótese: “A comissão não aprovou parecer ontem.”

“A comissão”, “aprovou” e “parecer” ajudam a localizar as correspondências. Nos trechos restantes, a comparação fica assim:

O traço indica ausência de palavra naquele lado da comparação; ele não representa silêncio medido no áudio. Repare também que a inserção de “não” e a substituição de “hoje” são especialmente relevantes para a fidelidade documental. A classificação identifica como o texto divergiu; ela não informa, por si só, quão grave é a consequência dessa divergência.

O alinhamento pode exigir cuidado quando há repetições. Se a referência registra “O relator, o relator pediu a palavra” e a hipótese traz “O relator pediu a palavra”, falta uma ocorrência de “o relator”. Trata-se de exclusões, mas os textos, sozinhos, não permitem apontar com segurança qual das duas ocorrências faladas foi ignorada. A categoria é mais clara que a localização exata do erro no áudio.

Em casos mais complexos, pode haver mais de uma maneira de alinhar as palavras com a mesma quantidade mínima de alterações. Por isso, não convém atribuir uma causa acústica ou uma sequência exata de decisões do modelo a cada marcação de erro. O alinhamento descreve a diferença entre textos; não revela tudo o que aconteceu durante o reconhecimento.

O tipo de erro não revela automaticamente sua causa

A lição anterior tratou de fatores que prejudicam o sinal de áudio. Eles podem ajudar a investigar divergências, mas não existe uma correspondência obrigatória entre causa e classe de erro. Uma palavra encoberta por ruído pode desaparecer da hipótese; também pode ser trocada por outra que o sistema julgou plausível. Uma voz ao fundo pode gerar palavras adicionais, mas sua presença não prova que toda inserção veio dessa voz.

Leia agora a seção “Resolver erros e aprimorar o WER” no mesmo material do Microsoft Learn. Ela sugere associações frequentes entre tipos de erro e condições de reconhecimento. Trate-as como pistas de investigação, não como diagnósticos automáticos; os patamares gerais de WER mencionados na página também não substituem critérios definidos para uma tarefa documental específica.

Suponha que um termo técnico tenha sido substituído por uma palavra comum. Pode ser útil verificar se o sistema lida bem com aquele vocabulário, mas também é preciso ouvir o trecho: talvez o termo tenha sido pronunciado claramente; talvez a gravação tenha perdido parte dele. Da mesma forma, uma palavra inserida pode refletir interferência de outra voz, mas também pode ser uma continuação plausível que o ASR produziu indevidamente. Classificar o erro é descrever o resultado; diagnosticar sua origem é outra tarefa.

Limites da comparação palavra por palavra

Antes de marcar inserções ou exclusões, referência e hipótese precisam seguir convenções de comparação compatíveis. Se uma transcrição registra uma hesitação, como “é...”, e a outra a omite porque segue uma convenção de texto limpo, a diferença não demonstra necessariamente uma falha de reconhecimento: pode refletir escolhas distintas de transcrição. O mesmo cuidado vale para abreviações, números escritos por extenso e formas gráficas variantes.

Pontuação e maiúsculas exigem atenção semelhante. Comparar “Aprovado.” com “aprovado” como se fossem palavras diferentes confundiria formatação com reconhecimento lexical. Em avaliações usuais de palavras, costuma-se definir previamente como tratar pontuação e capitalização. Isso não significa que elas sejam irrelevantes: uma pontuação inadequada pode alterar a leitura de uma intervenção, mas será examinada com critérios próprios.

A identificação de quem falou também não se reduz a substituição, inserção ou exclusão de palavras. Um sistema pode reconhecer corretamente “Peço a palavra” e atribuir a frase ao orador errado. As palavras coincidem, mas o registro da sessão continua incorreto. A classificação estudada aqui descreve divergências nas palavras, não todos os aspectos da qualidade de uma transcrição.

Há ainda uma condição anterior a qualquer contagem: a referência precisa ser confiável. Se o áudio tem uma falha justamente no trecho decisivo, não se deve completar a referência por mera plausibilidade e depois tratar o desacordo do ASR como erro comprovado. Em trabalho documental, uma incerteza não resolvida precisa permanecer identificada como tal.

Para provas de certo ou errado, mantenha nítidas estas distinções:

• Palavra a mais na hipótese é inserção; palavra presente na referência e ausente da hipótese é exclusão.
• Uma palavra trocada por outra é, em regra, uma substituição — não duas falhas contadas separadamente.
• A classe do erro não determina sua gravidade semântica: a exclusão de “não” pode importar mais que diversas trocas pouco relevantes.
• A classe do erro não comprova sua causa: ruído, vocabulário pouco familiar e escolhas do modelo exigem investigação, especialmente pela escuta do original.

Em síntese

Para classificar uma divergência, estabeleça primeiro uma referência conferida, identifique a hipótese do ASR e alinhe as palavras correspondentes. Se uma palavra foi trocada, há substituição; se aparece apenas na hipótese, há inserção; se aparece apenas na referência, há exclusão. Essa linguagem torna a revisão mais precisa, mas não substitui a escuta do áudio nem avalia sozinha a fidelidade editorial.

Na próxima lição, reuniremos essas três contagens para calcular e interpretar a taxa de erro de palavras (WER) — e veremos por que um único número não basta para julgar a qualidade de uma transcrição parlamentar.