memvid: память для AI-агентов в одном файле, без баз данных и человеко-ориентированных форматов

memvid: память для AI-агентов в одном файле, без баз данных и человеко-ориентированных форматов

Мы привыкли хранить память агента так, чтобы человек мог её открыть и прочитать: JSON-файлы, SQLite, Markdown, векторные таблицы. Но LLM-модель не обязана видеть память в том же формате, что и разработчик. Memvid предлагает альтернативу: единый файл-капсула, где исходные данные, эмбеддинги, поисковый индекс и метаданные упакованы вместе по принципу, похожему на видео-кодирование. Результат - модель-агностичная память, которую можно переносить между проектами, искать в неё за микросекунды и не обслуживать отдельный сервис.

Контекст

Классические RAG-пайплайны для агентов требуют несколько компонентов: база для сырых данных, векторная база для эмбеддингов, поисковый движок, мета-хранилище и часто отдельный сервис для индексации. При этом сама память фрагментирована: документ живёт в одном месте, его вектор - в другом, а история изменений - в третьем. Для человека это удобно, для автономного агента это лишняя сложность и точка отказа. Memvid переворачивает задачу: вместо набора сервисов - один файл, в котором всё уже соединено.

Механика

В основе лежит концепция Smart Frames - неизменяемых блоков, аналогичных кадрам в видео. Каждый фрейм содержит фрагмент памяти, таймстамп, контрольную сумму и минимальные метаданные. Фреймы группируются так, чтобы их можно было эффективно сжимать, индексировать и читать параллельно. Запись происходит только добавлением: новые фрейм append-ятся в конец, старые не перезаписываются и не повреждаются. Такой дизайн даёт crash-безопасность и позволяет делать time-travel по истории памяти - ветви, откаты и повторное воспроизведение любого состояния.

Память упаковывается в файл с расширением .mv2, который называют capsule. Он самодостаточен: содержит правила доступа, срок действия, сжатые данные и индекс. Такой файл можно передать другому агенту, добавить в другой проект или использовать офлайн, без сервера и облака.

Эффект

По собственным бенчмаркам Memvid показывает +35% точности на LoCoMo против других систем памяти, +76% на multi-hop вопросах и +56% на временных вопросах. Задержка доступа составляет 0.025 мс при P50 и 0.075 мс при P99. Пропускная способность выше типичных решений на 1,372 раза. При этом система не привязана к конкретной модели: работает с OpenAI, локальными моделями, любыми эмбеддингами. Поддерживаются текстовые данные, PDF, изображения через CLIP и аудио через Whisper.

Ограничения

Эффективность зависит от характера данных. Система оптимизирована под длинные, относительно стабильные памяти с частым повторным чтением. На сильно изменяемых, коротким-lived или плохо структурированным данным формат не даст преимуществ. Также важно, что единый файл становится единой точкой хранения: если он потерян или повреждён, теряется вся история памяти. Встроенное шифрование доступно через флаг encryption, но это опциональная возможность, а не режим по умолчанию.

Практика

Использовать Memvid можно без инфраструктуры: есть CLI через npm, SDK для Node.js и Python, а также Rust-ядро memvid-core. Минимальный сценарий - создать capsule, добавить документы с метаданными и выполнить поиск. Для языкового окружения достаточно установить pip install memvid-sdk или npm install @memvid/sdk. Файл .mv2 можно затем передать в другой проект, подключить к агенту или открыть локально - никакой базы данных настраивать не нужно.

Для тяжёлых корпоративных задач есть опциональные фичи: BM25-поиск через Tantivy, векторный поиск через HNSW + ONNX, парсинг PDF, временные запросы на естественном языке типа "в прошлый вторник" и параллельная индексация. Все они подключаются отдельными флагами в зависимости от задачи.

Итог

Memvid - это пример того, что для LLM не обязательно хранить память в человеко-читаемых JSON или Markdown. Если конечным потребителем данных является модель, а не человек, имеет смысл перейти к формату, оптимизированному под добавление, поиск и перенос. Единый файл, append-only структура, sub-5ms поиск и отсутствие инфраструктуры - это не исследовательский концепт, а рабочий инструмент, который уже показывает лучшие в индустрии результаты по нескольким метрикам.