Como interpretar o dashboard de qualidade

Para que serve o dashboard de qualidade

O dashboard de qualidade mostra como o bot está se saindo nas conversas reais com clientes. É a ferramenta principal para identificar problemas antes que eles se tornem reclamações.

Indicadores principais

Taxa de resolução

Percentual de conversas que o bot resolveu sem precisar transferir para um humano. Uma taxa alta é boa — significa que o bot está sendo útil. Uma taxa baixa pode indicar que a base de conhecimento está incompleta ou que os usuários estão fazendo perguntas para as quais o bot não foi treinado.

Taxa de handoff

Percentual de conversas transferidas para um atendente humano. Um handoff não é necessariamente um problema — alguns casos precisam mesmo de atenção humana. Mas se a taxa estiver muito alta, vale investigar os motivos.

RAG Score médio

Indica o nível de confiança médio do bot nas suas respostas. Valores próximos de 1 significam que o bot encontrou informações relevantes na KB. Valores baixos indicam que o bot não encontrou base suficiente para responder com segurança.

Taxa de falha de ferramentas

Se você usa Custom Tools, essa métrica mostra quantas chamadas de API falharam. Uma taxa alta pode indicar problemas na API externa ou na configuração da ferramenta.

Seções do dashboard

Tendência ao longo do tempo

Gráfico que mostra a evolução das métricas principais por dia. Use para identificar se algo mudou após uma atualização de KB ou versão do bot.

Versões do bot

Compara o desempenho de diferentes versões publicadas. Útil para confirmar se uma atualização melhorou ou piorou as métricas.

Motivos de handoff

Lista as razões pelas quais as conversas foram transferidas para humanos. Os principais motivos são:

• Baixa confiança — o bot não encontrou informação suficiente na KB
• Falha de ferramenta — uma Custom Tool retornou erro
• Solicitação do usuário — o próprio cliente pediu um atendente
• Fora do escopo — a pergunta está além do que o bot foi configurado para responder

Issues abertas

Lista de problemas identificados automaticamente. Issues críticas aparecem em destaque e precisam de atenção imediata.

Checklist das primeiras 48h com o bot no ar

1. Verifique se há conversas chegando (se não houver, o canal pode estar mal configurado)
2. Leia algumas conversas completas para ver como o bot está se saindo
3. Observe a taxa de handoff — se estiver acima de 40%, investigue os motivos
4. Verifique issues abertas no dashboard
5. Ajuste a KB com base nos tópicos que o bot não soube responder