MemoryLake
エンジニア & 開発者ストリーミングエージェントレスポンスのための記憶

記憶の取得を犠牲にせずにストリーミングエージェントレスポンスをサポート

ストリーミングレスポンスはエージェントを迅速に感じさせます。記憶の取得を追加すると、取得が遅い場合にその感覚が脅かされます。MemoryLakeの単桁ミリ秒取得は、ストリーミングが始まる前にスロットインします — 記憶が豊富でストリーミングがそのままです。

Day 1“ストリーミングレスポンスはエージェントを迅速に感じさせます。記憶の取得を追加すると、取得が遅い場合にその感覚が脅かされます。MemoryLakeの単桁ミリ秒取得は、ストリーミングが始まる前にスロットインします”“— 記憶が豊富でストリーミングがそのままです。”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded単桁ミリ秒取得ストリーミング前の記憶注入非同期ネイティブSDKSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

記憶の取得を犠牲にせずにストリーミングエージェントレスポンスをサポート

無料で始める

永続無料 · クレジットカード不要

問題: 遅い記憶がストリーミングUXを壊す

ユーザーはトークンがストリーミングされるため、モデルの遅延を我慢します。最初のトークンの前に記憶の取得が200ms追加されると、ストリーミング体験が壊れていると感じ始めます。多くのチームはストリーミングを速く保つために記憶をスキップし — 文脈を失います。

MemoryLakeがストリーミングエージェントをサポートする方法

単桁ミリ秒取得

単桁ミリ秒取得

一般的なストリーミングTTFTに対して無視できるほどの遅延です。

MEMORYストリーミング前の記憶…

ストリーミング前の記憶注入

取得はストリーミングが始まる前に行われ、ストリームを制限しません。

MEMORY非同期ネイティブSDK

非同期ネイティブSDK

非ブロッキング取得により、リクエストフローがスムーズに保たれます。

プロンプトキャッシュ互換性

プロンプトキャッシュ互換性

取得したブロックはキャッシュ可能なシステムメッセージにスロットインします。

無料で始める

永続無料 · クレジットカード不要

ストリーミング + 記憶の仕組み

  1. 接続 — リクエストハンドラーの最初のステップとしてMemoryLakeの取得を追加します。
  2. 構造 — 記憶ブロックがシステムメッセージに注入されます。
  3. 再利用 — 取得後にストリーミングが始まります — 目に見えないほど迅速です。

前後: ストリーミングエージェントレスポンスの遅延

Slow memory layerMemoryLake
Pre-stream latency200ms+<10ms
Memory skipped to save timeCommonUnnecessary
Streaming TTFT impactVisible delayImperceptible
Streaming continuityMemory absentMemory rich

対象者

ストリーミングAI機能を提供するプロダクトチーム — チャットUI、コパイロット、エージェント — ストリーミングの感覚が製品にとって重要であり、記憶の取得が遅延の懸念となっている場合。

実行できるデモ約 2 分

このユースケースを自分のアカウントで試す

Tallow Labs は Priya のエディタにコーディングアシスタントを組み込んでいます。回答はストリーミングで表示され、最初のトークンを 2.5 秒以内に出すのがルールです。彼女のメモリは 8 つのファクト(pnpm、Vitest、Fly.io、Drizzle、Hono、Node 20 など)です。日常的な 6 つの質問を、メモリをストリーミング回答に入れる 3 通りの方法で処理します。MemoryRouter に先に検索させる方法はメモリを使えますが、最初のトークンは毎回遅れ、約 5 秒かかります。search に 1 秒の期限を設け、間に合わなければメモリなしでストリーミングする方法は 6 回中 6 回時間内ですが、メモリを使えたのは 6 回中 0 回です。pnpm ユーザーに `npm install`、Node 20 のサービスに `FROM node:18` を返します。検索は約 3 秒後に正しいファクトを持って戻りますが、エラーもなく捨てられます。チャットを開いたときにプロフィールを一度読み込む方法は 1~2 秒かかりますが、最初の質問より前に済み、その後の回答はすべて時間内で正確です。

見られるもの

  • 同じ 6 つの質問を 3 通りで処理し、最初のトークンをすべて計測:router chat --stream --boundary(MemoryRouter が先に検索)、search に 1.0 秒の期限を設けてメモリなしの router chat --stream、セッション開始時の fact list --actors でプロフィールを router chat --stream --body に入れる方法
  • 期限方式は表立って失敗しない:時間内 6/6、メモリ使用 0/6、メモリと矛盾 3/6。検索はすべての質問で必要なファクトを持って戻ったが、回答はすでにストリーミングし終えていた
  • この方式が決して記録しないシグナルを demo が表示:期限切れ、検索が戻った時刻、回答に必要なファクトが含まれていたか
  • 回答ごとの判定(メモリが示す語か、それと矛盾する語か)、各読み取りを 5 回計測する latency サブコマンド、ストリーミングをライブ表示するローカル Web UI。1 回の実行で短い gpt-4o-mini 呼び出し 18 回

必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上

実行する

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/first-token-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

動作を見る · 実際の録画、未編集

関連するユースケース

よくある質問

ストリーミングフレームワークのサポートは?

SSE、WebSocket、gRPC — すべてサポートされています。

非同期SDKは?

Python、TypeScript、その他。

セルフホストは?

はい — エンタープライズティアはあなたのVPCにデプロイされます。