MemoryLake
Ingeniería y Desarrolloevaluación consciente de la memoria para salidas de agentes

Evalúa las Salidas de los Agentes Con Visibilidad Total de la Memoria que las Impulsó

Los marcos de evaluación de agentes puntúan las salidas sin saber qué memoria recuperó el agente. Una mala salida podría significar un mal modelo, un mal aviso o una mala memoria, pero la evaluación no puede decirlo. MemoryLake vincula cada salida a la memoria utilizada, por lo que la evaluación realmente identifica las causas raíz.

Day 1“Los marcos de evaluación de agentes puntúan las salidas sin”“saber qué memoria recuperó el agente.”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loadedProveniencia de memoria por salidaDiferencia de memoria entre salidas buenas y malasEvaluación contra instantáneas de memoria fijadasSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

Evalúa las Salidas de los Agentes Con Visibilidad Total de la Memoria que las Impulsó

Empezar gratis

Gratis para siempre · Sin tarjeta de crédito

El problema: evaluación de agentes sin contexto de memoria es ciega

El marco de evaluación marcó el 12% de las salidas como de baja calidad. No sabes si el modelo falló, el aviso falló o la memoria recuperada falló. Sin contexto de memoria por evaluación, arreglar lo correcto es un trabajo de adivinanza.

Cómo MemoryLake ofrece evaluación consciente de la memoria

Proveniencia de memoria por salida

Proveniencia de memoria por salida

Cada salida evaluada se vincula a la memoria que utilizó.

MEMORYDiferencia de memoria ent…

Diferencia de memoria entre salidas buenas y malas

Ve qué acceso a la memoria se correlacionó con la calidad.

MEMORYEvaluación contra instantáneas de memoria fijadas

Evaluación contra instantáneas de memoria fijadas

Prueba con un estado de memoria controlado.

Categorías de evaluación fundamentadas en memoria

Categorías de evaluación fundamentadas en memoria

Fallos atribuibles a recuperación vs generación.

Empezar gratis

Gratis para siempre · Sin tarjeta de crédito

Cómo funciona para evaluación consciente de la memoria

  1. Conectar — Integra MemoryLake en tu pipeline de evaluación.
  2. Estructurar — Cada salida generada registra la memoria utilizada.
  3. Reutilizar — El análisis de evaluación muestra fallos de recuperación de memoria por separado de los fallos de generación.

Antes vs. después: evaluación de agentes con conciencia de memoria

DIY memory + evalMemoryLake
Identify retrieval vs generation failuresHardBuilt in
Memory diff between cohortsManualSemantic
Eval against pinned memoryCustomSnapshots
Root cause attributionGuessworkDirect evidence

Para quién es esto

Equipos de ingeniería que ejecutan pipelines de evaluación de agentes que necesitan atribuir fallos correctamente para arreglar lo correcto, y donde la evaluación actual trata la memoria como una caja negra.

Demo ejecutableunos 3 minutos

Prueba este caso de uso en tu propia cuenta

Un asistente de soporte sobre MemoryRouter se evalúa con 8 preguntas para decidir si el prompt v2 supera al v1. Repite la misma llamada tres veces sin cambiar nada y la memoria adjunta cambia, así que las notas se invierten y el veredicto v1 → v2 sale distinto casi cada vez. Fija una instantánea de memoria por pregunta y la memoria deja de moverse: el efecto real del prompt aparece siempre y cada respuesta incorrecta tiene una causa.

Lo que verás

  • 60 hechos de soporte en un proyecto y un boundary; cada llamada de evaluación es router chat --boundary (gpt-4o-mini, temperatura 0), calificada contra los hechos que una respuesta correcta debe decir
  • A/A a través de MemoryRouter: tres llamadas idénticas recibieron distinta cantidad de memoria (prompt tokens) en 71 de 88 casos y cambiaron de nota en 33; la respuesta nunca dice qué memorias recibió. La lista "v2 rompió / arregló" salió de 10 formas distintas en 11 ejecuciones
  • Instantáneas fijadas: search --types fact --top-k 8 una vez por pregunta, ids y texto guardados, y cada prompt se ejecuta contra la misma instantánea (router chat --body, sin boundary). Misma memoria 88 de 88, cambios A/A 7 de 88 (ruido del propio modelo) y la regresión real de v2 (omite la cuenta break-glass) detectada en 11 de 11
  • Cada respuesta incorrecta frente a una instantánea tiene causa: el hecho que busca el calificador falta en la instantánea (recuperación; p. ej. el hecho de SCIM nunca aparece para "crear y eliminar cuentas") o está y la respuesta lo omitió (generación). Además, subcomandos snapshot / replay y una interfaz web local

Necesitas: una clave de API de MemoryLake · la CLI memorylake · Python 3.9+

Ejecútalo

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/agent-eval-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

Míralo en marcha · grabaciones reales, sin editar

Casos de uso relacionados

Preguntas frecuentes

¿Integraciones del marco de evaluación?

RAGAS, OpenAI Evals, LangSmith, personalizado — todos soportados.

¿Categorías de evaluación fundamentadas en memoria?

Recuperación de recuerdo, precisión de recuperación, surfacing de conflictos, precisión de proveniencia.

¿Autoalojado?

Sí — el nivel empresarial se despliega en tu VPC.