La pestaña Calidad califica cada día una muestra de las conversaciones reales de tu agente de IA. Las que fallan se pueden revisar y convertir en una prueba para que el error no se repita.
Antes de empezar:
La calidad funciona con agentes que usan herramientas (Modelo IA › Tool calling activado).
Usa el modelo y el token de IA configurados en el agente: una llamada por conversación calificada.
Las conversaciones del chat de prueba del editor no se califican.
1. Activa la calificación diaria
Abre el agente y, en Analisis, entra a Calidad.
Activa Calificar conversaciones cada día.
Elige cuántas conversaciones revisar al día: 10, 20, 30 o 50.
Cada madrugada se califica una muestra de las conversaciones del día anterior (según la zona horaria del workspace).
2. Califica hoy
Si no quieres esperar al día siguiente, presiona Calificar hoy: se califican las conversaciones de hoy, hasta 3 veces al día. No necesitas activar la calificación diaria para usarlo.
3. El puntaje y los criterios
Puntaje general · últimos 7 días es el promedio de los días calificados. Cada barra es un día. Cada conversación se califica con cuatro criterios:
Criterio | Qué revisa |
|---|---|
Respondió lo que le preguntaron | Que respondiera la pregunta del cliente. |
No inventó datos | Que no afirmara precios, plazos, políticas o stock que no están en sus instrucciones ni salieron de una herramienta. |
Pasó a un humano cuando debía | Que pasara a una persona cuando el cliente lo pidió o cuando no podía resolver. Si no hacía falta, no cuenta. |
Tono y reglas del negocio | Que respetara el tono y las reglas de sus instrucciones. |
Colores: verde (85 o más) está bien, ámbar (70 a 84) pide atención y rojo (menos de 70) hay que corregirlo.
4. Conversaciones marcadas
Abajo están las conversaciones que fallaron en algún criterio, con el Motivo y Lo que pasó. Presiona Ver para leer la conversación completa (mensajes, herramientas y acciones) y lo que el agente debió hacer.
Se guarda solo la referencia de la conversación y el motivo, no su texto. Los resultados se conservan 90 días.
5. Convierte una conversación en prueba
Presiona Convertir en prueba. Se crea una prueba en la pestaña Pruebas con:
Nombre: «Calidad:» y el motivo (por ejemplo, «Calidad: no pasó a un humano»).
Mensajes del cliente: los de esa conversación (hasta 6).
Qué debe pasar: lo que debió hacer el agente.
Revísala en Pruebas: ajusta Qué debe pasar o marca la acción en Debe ejecutar, guárdala y córrela con cada cambio.