MemoryLake
Ingeniería y Desarrollodetén la inflación de tokens por el historial de agentes sobrecargado

Detén la Inflación de Costos de Tokens Sobrecargando el Historial de Agentes en Cada Prompt

Las aplicaciones de agentes de producción rápidamente descubren la misma trampa: sobrecargar el historial de conversación en cada prompt eleva el costo de tokens y la latencia más rápido que el uso. MemoryLake recupera un bloque de memoria compacto limitado a la tarea actual — misma recuperación, fracción de los tokens.

Day 1“MemoryLake recupera un bloque de memoria compacto limitado a”“la tarea actual — misma recuperación, fracción de los tokens.”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loadedRecuperación con presupuesto de tokensMemoria tipada supera el historial planoEscala 10,000x sobre la sobrecargaSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

Detén la Inflación de Costos de Tokens Sobrecargando el Historial de Agentes en Cada Prompt

Empezar gratis

Gratis para siempre · Sin tarjeta de crédito

El problema: el costo de tokens escala con el historial sobrecargado

Un usuario con tres meses de historial de agentes tiene 200K tokens de contexto. Sobrecargarlo en cada llamada inflaciona el costo de inferencia y la latencia en cada turno. Cambiar a memoria de resumen pierde fidelidad. La respuesta correcta es la recuperación estructurada, no la sobrecarga o la resumación.

Cómo MemoryLake reduce la inflación de tokens

Recuperación con presupuesto de tokens

Recuperación con presupuesto de tokens

Recupera solo la memoria relevante para la tarea actual, ajustada a tu presupuesto.

MEMORYMemoria tipada supera el h…

Memoria tipada supera el historial plano

Recupera hechos, eventos o habilidades — no transcripciones en bruto.

MEMORYEscala 10,000x sobre la sobrecarga

Escala 10,000x sobre la sobrecarga

Comprime millones de tokens de historial en recuperaciones de milisegundos.

Compatible con caché de prompts

Compatible con caché de prompts

Los bloques recuperados se integran en mensajes del sistema que se pueden almacenar en caché.

Empezar gratis

Gratis para siempre · Sin tarjeta de crédito

Cómo funciona para la memoria de agente eficiente en tokens

  1. Conectar — Reemplaza la sobrecarga del historial con la recuperación de MemoryLake en la construcción del prompt.
  2. Estructurar — Escrituras por turno en memoria tipada.
  3. Reutilizar — Recupera un bloque de memoria con presupuesto de tokens por prompt.

Antes vs. después: uso de tokens

Stuffed historyMemoryLake retrieval
Token cost per long-history call30K+<2K
Latency from giant promptSlow first tokenFast
Memory of months-old contextTruncated or summarizedRetrievable
Prompt cache hit rateDropsMaintained

Para quién es esto

Equipos de ingeniería que ejecutan aplicaciones de agentes de producción donde los costos de tokens están escalando más rápido que el número de usuarios — y se ha considerado cambiar a memoria de resumen pero se ha rechazado por razones de calidad.

Demo ejecutableunos 5 minutos

Prueba este caso de uso en tu propia cuenta

El asistente de compras de Tolland Hollow Brewing mantiene un único hilo largo con su responsable de compras: diez sesiones de julio a septiembre acuerdan un contrato de lúpulo, los días de entrega de la malta, un crédito por retraso, una cotización de vidrio, la cuenta de CO2, quién aprueba las etiquetas y el límite de aprobación del trimestre. La sesión de hoy, de 16 turnos, se ejecuta de tres formas: el hilo entero en cada petición, solo los últimos 6 turnos (el arreglo habitual para la factura) y esos mismos 6 turnos con MemoryRouter adjuntando lo que MemoryLake extrajo de las sesiones anteriores. En 5 ejecuciones, la ventana respondió bien 0 de 35 preguntas sobre acuerdos anteriores (24 veces "no consta", 11 veces un valor inventado), y sus tokens en caché se quedaron en el prompt de sistema de 1.024 tokens en 47 de 50 turnos, porque la ventana cambia en cada petición. El hilo entero acertó 34 de 35 con cerca del 92% leído de la caché; ventana más memoria acertó 35 de 35, y el hilo entero costó 1.5 veces más por sesión.

Lo que verás

  • Diez sesiones anteriores entran en MemoryLake como conversaciones (conv create, conv msg append --timestamp) y la demo comprueba, antes de cualquier respuesta, que se extrajo cada valor que necesita la sesión de hoy
  • Tres prompts por turno: el hilo entero, los últimos 6 turnos, y esos 6 turnos con memorylake router chat --boundary; siete turnos preguntan por algo acordado semanas antes, calificado ✓ / no consta / inventado
  • Cada llamada muestra el usage.prompt_tokens_details.cached_tokens del proveedor, con precio de memorylake router models: el hilo crece por el final y sigue en caché, la ventana nunca pasa del prompt de sistema
  • facts lista lo que extrajo MemoryLake, ask "<pregunta>" envía un turno nuevo por las tres formas, y hay una interfaz web local con una barra de caché por petición

Necesitas: una clave de API de MemoryLake · la CLI memorylake · Python 3.9+

Ejecútalo

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/history-window-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

Míralo en marcha · grabaciones reales, sin editar

Casos de uso relacionados

Preguntas frecuentes

¿La recuperación pierde contexto importante?

Benchmark LoCoMo #1 con 94.03% de precisión en recuperación a largo plazo — recuperación estructurada mejor clasificada.

¿Comparación de costos?

Reducción de costos típicamente de 10 a 100 veces a escala de largo historial.

¿Autoalojado?

Sí — el nivel empresarial se despliega en tu VPC.