記憶の取得を犠牲にせずにストリーミングエージェントレスポンスをサポート
ストリーミングレスポンスはエージェントを迅速に感じさせます。記憶の取得を追加すると、取得が遅い場合にその感覚が脅かされます。MemoryLakeの単桁ミリ秒取得は、ストリーミングが始まる前にスロットインします — 記憶が豊富でストリーミングがそのままです。
問題: 遅い記憶がストリーミングUXを壊す
ユーザーはトークンがストリーミングされるため、モデルの遅延を我慢します。最初のトークンの前に記憶の取得が200ms追加されると、ストリーミング体験が壊れていると感じ始めます。多くのチームはストリーミングを速く保つために記憶をスキップし — 文脈を失います。
MemoryLakeがストリーミングエージェントをサポートする方法
単桁ミリ秒取得
一般的なストリーミングTTFTに対して無視できるほどの遅延です。
ストリーミング前の記憶注入
取得はストリーミングが始まる前に行われ、ストリームを制限しません。
非同期ネイティブSDK
非ブロッキング取得により、リクエストフローがスムーズに保たれます。
プロンプトキャッシュ互換性
取得したブロックはキャッシュ可能なシステムメッセージにスロットインします。
永続無料 · クレジットカード不要
ストリーミング + 記憶の仕組み
- 接続 — リクエストハンドラーの最初のステップとしてMemoryLakeの取得を追加します。
- 構造 — 記憶ブロックがシステムメッセージに注入されます。
- 再利用 — 取得後にストリーミングが始まります — 目に見えないほど迅速です。
前後: ストリーミングエージェントレスポンスの遅延
| Slow memory layer | MemoryLake | |
|---|---|---|
| Pre-stream latency | 200ms+ | <10ms |
| Memory skipped to save time | Common | Unnecessary |
| Streaming TTFT impact | Visible delay | Imperceptible |
| Streaming continuity | Memory absent | Memory rich |
対象者
ストリーミングAI機能を提供するプロダクトチーム — チャットUI、コパイロット、エージェント — ストリーミングの感覚が製品にとって重要であり、記憶の取得が遅延の懸念となっている場合。
このユースケースを自分のアカウントで試す
Tallow Labs は Priya のエディタにコーディングアシスタントを組み込んでいます。回答はストリーミングで表示され、最初のトークンを 2.5 秒以内に出すのがルールです。彼女のメモリは 8 つのファクト(pnpm、Vitest、Fly.io、Drizzle、Hono、Node 20 など)です。日常的な 6 つの質問を、メモリをストリーミング回答に入れる 3 通りの方法で処理します。MemoryRouter に先に検索させる方法はメモリを使えますが、最初のトークンは毎回遅れ、約 5 秒かかります。search に 1 秒の期限を設け、間に合わなければメモリなしでストリーミングする方法は 6 回中 6 回時間内ですが、メモリを使えたのは 6 回中 0 回です。pnpm ユーザーに `npm install`、Node 20 のサービスに `FROM node:18` を返します。検索は約 3 秒後に正しいファクトを持って戻りますが、エラーもなく捨てられます。チャットを開いたときにプロフィールを一度読み込む方法は 1~2 秒かかりますが、最初の質問より前に済み、その後の回答はすべて時間内で正確です。
見られるもの
- 同じ 6 つの質問を 3 通りで処理し、最初のトークンをすべて計測:
router chat --stream --boundary(MemoryRouter が先に検索)、searchに 1.0 秒の期限を設けてメモリなしのrouter chat --stream、セッション開始時のfact list --actorsでプロフィールをrouter chat --stream --bodyに入れる方法 - 期限方式は表立って失敗しない:時間内 6/6、メモリ使用 0/6、メモリと矛盾 3/6。検索はすべての質問で必要なファクトを持って戻ったが、回答はすでにストリーミングし終えていた
- この方式が決して記録しないシグナルを demo が表示:期限切れ、検索が戻った時刻、回答に必要なファクトが含まれていたか
- 回答ごとの判定(メモリが示す語か、それと矛盾する語か)、各読み取りを 5 回計測する
latencyサブコマンド、ストリーミングをライブ表示するローカル Web UI。1 回の実行で短い gpt-4o-mini 呼び出し 18 回
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/first-token-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
ストリーミングフレームワークのサポートは?
ストリーミングフレームワークのサポートは?
SSE、WebSocket、gRPC — すべてサポートされています。
非同期SDKは?
非同期SDKは?
Python、TypeScript、その他。
セルフホストは?
セルフホストは?
はい — エンタープライズティアはあなたのVPCにデプロイされます。