MAPE, MAD e viés: como medir o erro de previsão (com fórmulas e exemplo)
As métricas de erro de previsão explicadas com fórmulas e um exemplo numérico: MAD, MAPE, WAPE, viés (bias), sinal de rastreamento e MASE. Qual usar em cada caso e os erros ao calculá-las.
Por que medir o erro de previsão
Uma previsão que não é medida não melhora. E não só isso: sem medir, você não sabe que parte do processo agrega. O modelo estatístico acerta e os ajustes de vendas estragam? Ou o contrário? O erro vem de três famílias ou está espalhado? Você erra para cima (estoque) ou para baixo (rupturas)?
As métricas de erro de previsão respondem a essas perguntas. São poucas e simples, mas cada uma tem uma armadilha, e por isso convém entender o que cada uma mede antes de colocá-la num painel.
O exemplo que vamos usar
Três itens, um mês, previsão contra demanda real (em unidades):
| Item | Real (A) | Previsão (F) | Erro (F − A) | Erro absoluto |F − A| |
|---|---|---|---|---|
| Item 1 (alto volume) | 1 000 | 900 | −100 | 100 |
| Item 2 (médio) | 200 | 260 | +60 | 60 |
| Item 3 (baixo) | 10 | 25 | +15 | 15 |
| Total | 1 210 | 1 185 | −25 | 175 |
Convenção: o erro é previsão menos real, então positivo significa superprevisão. Cada software usa a sua; o importante é fixá-la e documentá-la.
MAD: erro absoluto médio
A média dos erros absolutos, em unidades. No exemplo: 175 ÷ 3 = 58,3 unidades.
É fácil de entender e é usado para dimensionar o estoque de segurança e para o sinal de rastreamento. Seu limite: está em unidades, então não permite comparar itens de volumes diferentes nem agregar num percentual de acurácia.
MAPE: erro percentual absoluto médio
A média dos erros percentuais de cada linha. No exemplo: (100/1000 + 60/200 + 15/10) ÷ 3 = (0,10 + 0,30 + 1,50) ÷ 3 = 63 %.
E aqui aparece o problema. O item 3, que pesa menos de 1 % da demanda, tem erro de 150 % e arrasta a média para 63 %, quando o item grande foi previsto com 10 % de erro. Além disso, se um item tem demanda zero, a divisão fica indefinida. Por isso o MAPE:
- Serve por item, com demanda contínua, para conversar sobre aquela série.
- Não se tira a média entre itens para obter o erro do catálogo.
- Não serve para demanda intermitente.
WAPE: a versão ponderada
A soma dos erros absolutos dividida pela soma da demanda. No exemplo: 175 ÷ 1 210 = 14,5 %.
Esse número sim descreve o que aconteceu: o catálogo foi previsto com um erro de 14,5 % do volume. Cada item pesa o que vende, não fica indefinido com zeros e agrega corretamente de item para família e para o total (sempre somando erros e demanda antes de dividir, nunca tirando a média de WAPEs). É a métrica de acurácia que recomendamos para qualquer painel. Algumas empresas publicam seu complemento como "acurácia da previsão": 100 % − 14,5 % = 85,5 %.
Viés (bias): o erro com sinal
A soma dos erros com sinal dividida pela demanda. No exemplo: −25 ÷ 1 210 = −2,1 %: no total houve uma leve subprevisão.
O viés diz algo que o WAPE não consegue dizer: para que lado você erra. Dois catálogos com 15 % de WAPE são muito diferentes se um tem viés zero (os erros se compensam) e o outro tem +14 % (tudo superprevisto). O primeiro precisa de estoque de segurança; o segundo tem um problema sistemático, quase sempre nos ajustes comerciais, e é estoque se acumulando.
O viés é olhado por família e por quem ajusta, porque o total costuma se compensar: o item 1 com −10 % e o 2 com +30 % dão um viés total pequeno que esconde dois problemas opostos.
Sinal de rastreamento
A soma acumulada dos erros (com sinal) dividida pelo MAD. Se a previsão não tem viés, os erros se compensam e o sinal oscila perto de zero. Quando sai da faixa ±4 (alguns usam ±3 ou ±6), o modelo deixou de funcionar para aquele item: a demanda mudou e o modelo não percebeu.
Sua utilidade é de alarme: num catálogo de mil itens ninguém olha mil séries todo mês, mas pode revisar os vinte cujo sinal de rastreamento disparou.
MASE: comparar com um método ingênuo
O erro absoluto médio da previsão dividido pelo que teria um método ingênuo (por exemplo, "no mês que vem vende-se o mesmo que neste", ou a média dos últimos três meses). Um MASE de 0,7 significa que a previsão reduz o erro em 30 % em relação a não fazer nada sofisticado; um MASE maior que 1 significa que o método ingênuo faz melhor.
É a métrica que responde à pergunta incômoda: o modelo vale a pena? Funciona com demanda intermitente (não divide pelo real), é comparável entre itens e foi a base da competição M5 (com sua variante RMSSE). Seu único senão é ser menos intuitiva que um percentual para a diretoria; por isso costuma conviver com o WAPE.
Qual usar em cada caso
| Pergunta | Métrica | Nível e frequência |
|---|---|---|
| Quão bem prevemos o catálogo? | WAPE | Total, família e item; a cada ciclo, com o lag do plano |
| Erramos sempre para o mesmo lado? | Viés | Família e responsável pelo ajuste; a cada ciclo |
| Quais itens precisam de revisão este mês? | Sinal de rastreamento | Item; lista de exceções |
| O modelo agrega em relação a não fazer nada? | MASE (ou comparar WAPE com o ingênuo) | Item e total; ao escolher modelos e trimestralmente |
| Quanto estoque de segurança preciso? | MAD ou desvio do erro | Item; ao recalcular políticas de estoque |
| Como vai este item em particular? | MAPE | Só por item com demanda contínua |
Como organizá-las num painel, com os demais indicadores de estoque e serviço, está em KPIs de planejamento de demanda.
Erros ao calculá-las
- Tirar a média de MAPEs. O exemplo mostra: 63 % de MAPE médio contra 14,5 % de WAPE para o mesmo mês. Some erros e demanda antes de dividir.
- Medir contra vendas quando houve ruptura. A previsão parece superprever; a demanda existia, faltou produto.
- Sem lag definido. A previsão "atual" foi feita com quase toda a informação. Meça a que foi feita quando a decisão foi tomada.
- Misturar níveis. Um 12 % no nível de família não é comparável com um 30 % no nível de item. Publique cada um com seu nível.
- Mudar a convenção do sinal. Se num mês o viés positivo é superprevisão e no outro é subprevisão, a série não serve. Fixe por escrito.
- Medir a ajustada sem medir a estatística. Guarde as duas e compare: é a única forma de saber se os ajustes agregam.
- Sem método ingênuo de referência. Um WAPE de 20 % pode ser excelente ou péssimo conforme o que der a média dos últimos três meses.
Sua previsão guarda o próprio erro?
O ForecastSolve guarda 8 métricas por modelo e por item em cada ciclo e escolhe o modelo com elas. Sem fórmulas para manter.
Conhecer o ForecastSolve →Perguntas frequentes
O que é um bom MAPE?
Depende do nível, do horizonte e do setor. Por item e mês, 25 a 40 % é comum em distribuição; por família, 10 a 20 %. Mais útil que um limite é a tendência mês a mês e a comparação com um método ingênuo: se a sua previsão não vence a média dos últimos três meses, o número absoluto não importa.
Acurácia da previsão é o mesmo que 100 % menos MAPE?
É uma convenção frequente (acurácia = 1 menos WAPE ou MAPE), mas convém esclarecer qual dos dois é subtraído e em que nível. Uma "acurácia de 85 %" no nível de país e família pode ser 60 % no nível de item.
Como calculo o erro de previsão no Excel?
Com três colunas (real, previsão, erro absoluto = ABS(real − previsão)): MAD = MÉDIA da coluna de erro absoluto; WAPE = SOMA dos erros absolutos / SOMA dos reais; viés = (SOMA das previsões − SOMA dos reais) / SOMA dos reais. Evite tirar a média de porcentagens por linha.
Com que lag se mede?
Com o que usa quem consome o plano. Se compras trabalha com três meses de antecedência, o erro relevante é o da previsão feita há três meses contra o real de hoje. Medir sempre com lag 1 infla a acurácia.
Quer aplicar isso na sua operação?
Agende uma conversa de 15 minutos. Dizemos por onde começaríamos com os seus dados, sem discurso de vendas.
Agendar 15 minutos →