MemoryLake
Ingeniería y Desarrollomemoria de agente optimizada por coste a escala

Reduce los Costes de Memoria del Agente entre 10 y 100 veces a Escala de Producción

Los costes de los agentes de producción escalan con dos cosas: llamadas al modelo e infraestructura de memoria. Ambos se inflan cuando los equipos llenan el historial en los prompts. MemoryLake reduce el coste de inferencia impulsado por la memoria entre 10 y 100 veces a escala al reemplazar el historial lleno por una recuperación estructurada compacta.

Day 1“Los costes de los agentes de producción escalan con dos cosas:”“llamadas al modelo e infraestructura de memoria.”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loadedRecuperación compacta sobre historial llenoMemoria tipada supera cadenas de resumenCompatibilidad con caché de promptsSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

Reduce los Costes de Memoria del Agente entre 10 y 100 veces a Escala de Producción

Empezar gratis

Gratis para siempre · Sin tarjeta de crédito

El problema: el coste del agente escala más rápido que el uso

Un usuario con un mes de historial cuesta 5 veces lo que cuesta atender a un nuevo usuario. Para el mes seis, son 25 veces. La inflación de tokens por el historial lleno se acumula linealmente con el uso, pero impulsa un crecimiento de costes no lineal.

Cómo MemoryLake optimiza el coste de la memoria del agente

Recuperación compacta sobre historial lleno

Recuperación compacta sobre historial lleno

Extrae unos pocos cientos de tokens de memoria relevante en lugar de decenas de miles de historial.

MEMORYMemoria tipada supera cad…

Memoria tipada supera cadenas de resumen

Más precisa a un coste de tokens más bajo.

MEMORYCompatibilidad con caché de prompts

Compatibilidad con caché de prompts

Los bloques recuperados se integran en mensajes del sistema que se pueden almacenar en caché.

Retención por niveles

Retención por niveles

Memoria caliente en recuperación rápida; fría archivada de forma económica.

Empezar gratis

Gratis para siempre · Sin tarjeta de crédito

Cómo funciona para la memoria de agente optimizada por coste

  1. Conectar — Reemplaza el llenado de historial con la recuperación de MemoryLake.
  2. Estructurar — Las escrituras de memoria se tipan en el nivel de retención apropiado.
  3. Reutilizar — La recuperación por turno extrae un bloque con presupuesto de tokens.

Antes vs. después: escalado del coste de memoria del agente

Stuffed historyMemoryLake
Token cost per long-history call30K+<2K
Prompt cache hit rateDrops with historyMaintained
Cost per user-monthInflatesFlat
Storage cost at scaleHighTiered

Para quién es esto

Líderes de ingeniería que observan cómo el coste por usuario de la aplicación de agentes crece más rápido que los ingresos por usuario — y buscan soluciones estructurales, no limitaciones.

Demo ejecutableunos 3 minutos

Prueba este caso de uso en tu propia cuenta

El asistente de soporte de Tessavane Freight envía el mismo manual de 1.300 tokens en cada petición, más lo que recuerda del cliente que pregunta. Doce preguntas por ejecución pasan por cuatro formas de montar ese prompt: el historial de tickets pegado delante, los 5 hechos de memorylake search delante del manual, los mismos hechos detrás, y solo el manual con MemoryRouter adjuntando la memoria. El cached_tokens del proveedor llega a través de MemoryRouter. En 6 ejecuciones, memoria delante y memoria detrás enviaron exactamente los mismos tokens en 72 de 72 preguntas, con la misma precisión; pero con la memoria detrás el prompt se leyó de la caché 70 de 72 veces, y con la memoria delante solo al repetir una petición enviada minutos antes (0 de 58 en peticiones nuevas). Con la lista de precios de la propia cuenta (router models): 202 frente a 134 USD por millón de llamadas, y 130 con MemoryRouter.

Lo que verás

  • Cuatro prompts con la misma memoria: historial pegado delante, memorylake search --top-k 5 delante del manual, el mismo bloque detrás, y memorylake router chat --boundary solo con el manual
  • Cada llamada muestra el usage.prompt_tokens_details.cached_tokens del proveedor, con precio de memorylake router models (input, cache_read, output); gpt-4o-mini cobra los tokens en caché a mitad de precio
  • Un registro local del inicio de cada prompt explica cada acierto: la memoria delante solo acierta cuando la misma pregunta trajo los mismos hechos minutos antes
  • ask <n> envía una pregunta por los cuatro brazos dos veces, facts lista lo que el proyecto recuerda de cada cliente, y hay una interfaz web local

Necesitas: una clave de API de MemoryLake · la CLI memorylake · Python 3.9+

Ejecútalo

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/prompt-cache-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

Míralo en marcha · grabaciones reales, sin editar

Casos de uso relacionados

Preguntas frecuentes

¿Rango típico de reducción de costes?

10-100x en coste de tokens; varía según el caso de uso.

¿Transparencia en el coste de almacenamiento?

Basado en volumen con precios de retención por niveles.

¿Autoalojamiento?

Sí — el nivel empresarial se despliega en tu VPC.