すべてのChatGPT APIコールにクロスセッションコンテキストを追加

メモリレイヤーがないと、すべてのAPIコールはゼロコンテキストまたはユーザーを最初から再説明する巨大なシステムプロンプトを送信します。チームはトークン、レイテンシ、お金を無駄にして持続性を偽装しようとします。本当の答えは、APIがクエリできるメモリストアです — より長いプロンプトではありません。

ユーザーごとの永続メモリ — 各ユーザーには独自のメモリネームスペースがあります。APIは関連する過去の事実、イベント、会話のみを取得します。

コンパクトな取得が詰め込まれたプロンプトに勝る — 50,000トークンのチャット履歴の代わりに500トークンのメモリブロックを引き出します。同じリコールで、100倍安価です。

1つのバッファではなく6つのメモリタイプ — 会話、事実、イベント、反映、スキル、背景メモリはそれぞれ独自のロジックで取得されます。

クロスモデルのポータビリティ — GPT-4oから将来のモデル、またはClaudeやGeminiに切り替えると、ユーザーメモリはそのまま引き継がれます。移行コストはゼロです。

1. 接続 — 各ユーザーのターンとアシスタントの応答をSDKまたはREST経由でMemoryLakeにパイプします。
2. 構造化 — MemoryLakeは各ターンをユーザーメタデータと共に分類、重複排除、保存します。
3. 再利用 — 各APIコールの前に、ランク付けされたトークン予算のメモリブロックを取得します。これをシステムコンテキストとして前置きします。

OpenAI API上で構築しているプロダクトチーム — コパイロット、アシスタント、垂直SaaS — ユーザーが詰め込まれたシステムプロンプトのトークン税を支払うことなく、記憶されていると感じてほしいと考えています。