Evalúa las Salidas de los Agentes Con Visibilidad Total de la Memoria que las Impulsó
Los marcos de evaluación de agentes puntúan las salidas sin saber qué memoria recuperó el agente. Una mala salida podría significar un mal modelo, un mal aviso o una mala memoria, pero la evaluación no puede decirlo. MemoryLake vincula cada salida a la memoria utilizada, por lo que la evaluación realmente identifica las causas raíz.
Evalúa las Salidas de los Agentes Con Visibilidad Total de la Memoria que las Impulsó
Empezar gratisGratis para siempre · Sin tarjeta de crédito
El problema: evaluación de agentes sin contexto de memoria es ciega
El marco de evaluación marcó el 12% de las salidas como de baja calidad. No sabes si el modelo falló, el aviso falló o la memoria recuperada falló. Sin contexto de memoria por evaluación, arreglar lo correcto es un trabajo de adivinanza.
Cómo MemoryLake ofrece evaluación consciente de la memoria
Proveniencia de memoria por salida
Cada salida evaluada se vincula a la memoria que utilizó.
Diferencia de memoria entre salidas buenas y malas
Ve qué acceso a la memoria se correlacionó con la calidad.
Evaluación contra instantáneas de memoria fijadas
Prueba con un estado de memoria controlado.
Categorías de evaluación fundamentadas en memoria
Fallos atribuibles a recuperación vs generación.
Gratis para siempre · Sin tarjeta de crédito
Cómo funciona para evaluación consciente de la memoria
- Conectar — Integra MemoryLake en tu pipeline de evaluación.
- Estructurar — Cada salida generada registra la memoria utilizada.
- Reutilizar — El análisis de evaluación muestra fallos de recuperación de memoria por separado de los fallos de generación.
Antes vs. después: evaluación de agentes con conciencia de memoria
| DIY memory + eval | MemoryLake | |
|---|---|---|
| Identify retrieval vs generation failures | Hard | Built in |
| Memory diff between cohorts | Manual | Semantic |
| Eval against pinned memory | Custom | Snapshots |
| Root cause attribution | Guesswork | Direct evidence |
Para quién es esto
Equipos de ingeniería que ejecutan pipelines de evaluación de agentes que necesitan atribuir fallos correctamente para arreglar lo correcto, y donde la evaluación actual trata la memoria como una caja negra.
Prueba este caso de uso en tu propia cuenta
Un asistente de soporte sobre MemoryRouter se evalúa con 8 preguntas para decidir si el prompt v2 supera al v1. Repite la misma llamada tres veces sin cambiar nada y la memoria adjunta cambia, así que las notas se invierten y el veredicto v1 → v2 sale distinto casi cada vez. Fija una instantánea de memoria por pregunta y la memoria deja de moverse: el efecto real del prompt aparece siempre y cada respuesta incorrecta tiene una causa.
Lo que verás
- 60 hechos de soporte en un proyecto y un boundary; cada llamada de evaluación es
router chat --boundary(gpt-4o-mini, temperatura 0), calificada contra los hechos que una respuesta correcta debe decir - A/A a través de MemoryRouter: tres llamadas idénticas recibieron distinta cantidad de memoria (prompt tokens) en 71 de 88 casos y cambiaron de nota en 33; la respuesta nunca dice qué memorias recibió. La lista "v2 rompió / arregló" salió de 10 formas distintas en 11 ejecuciones
- Instantáneas fijadas:
search --types fact --top-k 8una vez por pregunta, ids y texto guardados, y cada prompt se ejecuta contra la misma instantánea (router chat --body, sin boundary). Misma memoria 88 de 88, cambios A/A 7 de 88 (ruido del propio modelo) y la regresión real de v2 (omite la cuenta break-glass) detectada en 11 de 11 - Cada respuesta incorrecta frente a una instantánea tiene causa: el hecho que busca el calificador falta en la instantánea (recuperación; p. ej. el hecho de SCIM nunca aparece para "crear y eliminar cuentas") o está y la respuesta lo omitió (generación). Además, subcomandos
snapshot/replayy una interfaz web local
Necesitas: una clave de API de MemoryLake · la CLI memorylake · Python 3.9+
Ejecútalo
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/agent-eval-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
Míralo en marcha · grabaciones reales, sin editar
Casos de uso relacionados
Preguntas frecuentes
¿Integraciones del marco de evaluación?
¿Integraciones del marco de evaluación?
RAGAS, OpenAI Evals, LangSmith, personalizado — todos soportados.
¿Categorías de evaluación fundamentadas en memoria?
¿Categorías de evaluación fundamentadas en memoria?
Recuperación de recuerdo, precisión de recuperación, surfacing de conflictos, precisión de proveniencia.
¿Autoalojado?
¿Autoalojado?
Sí — el nivel empresarial se despliega en tu VPC.