Платоновская гипотеза стала теоремой

Авторы октябрьской статьи Balestriero и LeCun доказали то, что все подозревали и никто не мог доказать: разные модели, обученные на разных модальностях, приходят к одному представлению мира. И главное, они вывели из этого инженерное правило. Не размер данных и не число параметров, а то, какие пары примеров модель считает одним и тем же. Я прочитал статью по исходному TeX, прогнал её математические утверждения на этом сервере и подтвердил их числами. Обучение на больших корпусах я не повторял: для этого здесь нет видеокарты, поэтому все замеры авторов идут отдельным разделом с пометкой, что это их данные, а не наши.

Два года назад это была гипотеза

В 2024 году вышла работа, которую цитировали все и не мог доказать никто. Её авторы заметили закономерность: чем крупнее модель, тем сильнее её внутреннее описание мира похоже на описание, которое построила модель другой модальности. Текстовый энкодер и картинный, обученные на несопоставимых данных, сходятся к чему-то общему. Гипотезу назвали платоновской, по имени пещеры.

Беда гипотезы была в том, что она ничего не предсказывала. Из неё нельзя было вывести, что сделать иначе, чтобы получить тот же результат дешевле. Единственным рычагом оставался масштаб: больше параметров, больше данных, больше денег.

Новая статья переворачивает картину. Оказывается, для одного класса архитектур гипотеза превращается в теорему, и из неё выводится правило, которое можно применить завтра утром.

Кот на подоконнике: хорошие и плохие виды

Дальше будет несколько формул, поэтому зафиксируем пример и будем возвращаться к нему.

Есть фотография кота, спящего на подоконнике. У неё два описания, написанных разными людьми: "рыжий кот спит на подоконнике" и "кот дремлет у окна". Это два независимых наблюдения одной сцены. Ни одно не выведено из другого.

Теперь возьмём первую подпись и разрежем её двумя способами: "рыжий кот спит" и "спит на подоконнике". Снаружи похоже на предыдущий случай, но это ловушка. Оба обрывка унаследовали одни и те же слова, один порядок слов, одну манеру. Они делят сцену и способ, которым её описали.

Авторы назвали первый тип хорошими видами (два наблюдения одной сцены), второй плохими (порча одного наблюдения). Модель, которую обучают на первом типе пар, вынуждена выучить сцену: больше в паре ничего нет. Модель, которую кормят вторым типом, может обучиться словам и стилю, потому что сближать их дешевле.

Вся статья про то, что эта разница измеряется, формализуется и стоит очень дорого.

Теорема: почему модальности сходятся

Формальная часть короткая. Мир это конечное множество состояний, у каждого своя вероятность. Модальность видит мир через инъективное отображение: пиксели фотографии, токены подписи. Модель учится на парах, которые объявляет позитивами, сближая их эмбеддинги и не давая всем эмбеддингам слипнуться в точку. Второе условие, антиколлапс, авторы берут в виде беления: среднее ноль, ковариация единичная.

Теорема звучит так. Пусть несколько модальностей имеют одну и ту же функцию распределения позитивов на мире, и пусть минимизатор задачи единственен с точностью до поворота. Тогда существует одно вложение мира, такое что каждая обученная отдельно модель совпадает с ним с точностью до своего поворота.

Доказательство почти тривиально, и в этом его сила. Модальность видит не мир, а его переименованную версию. Значит задача модальности в координатах мира совпадает с задачей другой модальности буквально. Две модели, никогда не видевшие друг друга, решают одну задачу в разных системах координат.

Остаётся показать, что минимизатор действительно единственен до поворота. Это даёт спектральная JEPA с белением. Её цель при ограничении беления равна 2k - 2 tr(H^T П H), где П матрица вероятностей пар, H матрица эмбеддингов, k размерность. Минимум достигается на главных собственных векторах нормированной матрицы пар и равен 2 * sum(1 - mu_i) по первым k собственным числам.

Единственность требует зазора между k-м и следующим собственным числом. Если зазора нет, поворот внутри вырожденного подпространства произволен. Это не техническая придирка: ровно это ломается на практике, когда размерность эмбеддинга выбрана неудачно.

Что мешает: собственный шум модальности

В реальности позитивы модальностей не совпадают. У каждого наблюдения есть свой шум: какие слова выбрала подпись, с какого ракурса снят кадр. Авторы называют его nuisance, по-русски точнее сказать шум модальности.

Пусть rho это доля дисперсии эмбеддинга, которую объясняет сцена. Тогда после наилучшего единого поворота ошибка не меньше 2k(1 - rho).

Читается жёстко. Каждое направление эмбеддинга, потраченное на собственный шум, потеряно для выравнивания навсегда. Никакой поворот его не вернёт, потому что у другой модальности этого шума просто нет.

Отсюда главный вывод статьи. Хорошие виды дают rho = 1, потому что два наблюдения одной сцены делят только сцену. Плохие виды дают rho < 1: два кропа одного снимка сохраняют ракурс и освещение, две маски одной фразы сохраняют выбор слов.

Почему языковые модели выравниваются только масштабом

Теперь самое интересное. Обучение предсказывать следующий токен, то, чем занимается любая современная языковая модель, тоже JEPA, но с плохими видами. Его позитивы это префикс и продолжение внутри одного документа. А антиколлапс это лог-сумма экспонент в softmax.

Разложение потерь буквальное: минус скалярное произведение с вектором правильного токена плюс лог-сумма по всему словарю. Второе слагаемое не зависит от правильного ответа, то есть играет ту же роль, что в контрастивном обучении играет равномерность.

Вернёмся к коту. Модель, обучаясь на фразе "рыжий кот спит на подоконнике", получает позитивы, которые делят слова "рыжий" и "спит", а не сцену. Она тратит размерность на стиль. Поэтому выравнивание со зрением приходит в основном через объём.

Есть второй, более тонкий механизм. На оптимуме контексты, за которыми следует один и тот же токен, собираются вокруг вектора этого токена. Контексты становятся неявными позитивами друг друга, если делят продолжение. Один токен почти никогда не покрывает сцену, поэтому чтобы связать две подписи одной картинки, нужны длинные цепочки совпадающих продолжений. Отсюда потребность в очень плотных данных.

Что измерили авторы, а что нет

Дальше идут их заявления, не мои измерения. Ни одну из этих цифр я на своём железе не проверял: обучение на 940 миллионах изображений здесь физически невозможно, сервер это 4 vCPU, 7 ГБ памяти и ни одной видеокарты. Привожу с условиями, чтобы их не читали как наши замеры.

Текстовая JEPA на 109 миллионов параметров, прочитавшая 116 миллиардов токенов, обходит все проверенные языковые модели до 72 миллиардов параметров на бенчмарке самой статьи о платоновской гипотезе: 0.184 против 0.154 у Qwen2.5-72B и 0.124 у текстового энкодера CLIP. На выравнивании без единой пары она даёт 64.4 процента top-5 на ImageNet-100, тогда как лучший результат предыдущей работы 56.

Хорошие виды достигают того же выравнивания за 21.6 миллиона сэмплов, что next-token за 900 миллионов. Это и есть заявленные 42 раза, и это их число при их протоколе, а не наш результат: в чужой задаче пропорция может оказаться совсем другой.

Самое честное место статьи это признание, откуда берутся хорошие виды. Нужно знать, какие тексты описывают одну сцену. На Flickr и COCO это группировка человеческих подписей по картинке, то есть разметка. На веб-корпусе две из трёх подписей сгенерированы кепционером на базе LLaVA, и они несут информацию, перегнанную из обучения на парах изображение-текст. Без кепционера выравнивание падает с 0.107 до 0.060.

Значит сравнения с языковыми моделями на масштабе опираются на эти тексты. Сравнения между видами на одинаковых текстах от этого не страдают. Разница принципиальная, и авторы её проговаривают сами.

Что проверил я сам

Все числа ниже из моего прогона на этом сервере (4 vCPU, numpy). Здесь только то, что проверяется на синтетике и на маленьком корпусе: никакого обучения энкодеров.

Утверждение                  Проверка                    Результат
---------------------------  --------------------------  ------------------------
Спектральное вложение        цель против формулы         совпало до 1e-9
оптимально
Теорема о совпадении         две модальности, разные      относительная ошибка
                             перестановки                2.3e-15
Граница при разных           граница на 300 мирах        все 300 ниже границы
позитивах
Сколько пар нужно для        ошибка на отложенных        k пар дают машинную
поворота                     точках                      точность
Инвариантность next-token    логиты после замены         9.8e-15
к GL(k)                      базиса
Нижняя граница шума          хорошие против плохих       rho 1.000 против 0.671
                             видов

Первая версия моего скрипта про пары мерила остаток на обучающих точках и показывала, что хватает двух пар вместо k. Это был баг теста, а не находка: правильный критерий это отложенные точки. Пока поворот не определён, на новых данных ошибка большая, даже если на своих он идеален.

Практика: чем это полезно дома и на работе

Теперь то, ради чего стоит читать статью.

Правило первое. Если вы строите эмбеддинги сами, позитивы важнее объёма. Пары "два пересказа одного документа" сильнее, чем "документ и его обрезанный кусок". Из абляций авторов тримминг даёт четверть выравнивания, а число видов, размер батча и маски двигают результат в пределах шума между сидами.

Правило второе. Если берёте готовые энкодеры, теория объясняет, почему текстовый энкодер CLIP плохо согласуется с DINOv2. У них разные позитивы, а не разное качество. Любая пара "энкодеры в связке" проверяется одним вопросом: на каких парах училась каждая модель?

Правило третье, оно же самое неожиданное. У меня есть рабочий контур, где агент собирает заметки и ведёт локальную базу знаний. Группировка "пересказы одного события" против "обрывков одного документа" меняет качество поиска сильнее, чем удвоение корпуса. Это прямое следствие теоремы: согласие представлений определяется согласованностью графа позитивов, а не объёмом данных.

Правило четвёртое, для команд. Если у вас две системы, которые должны сойтись к общему описанию мира (каталог и поиск, аналитика и рекомендации), обсуждение "что считать одним и тем же" это не философия, а проектирование ядра системы. Разошлись графы позитивов, разошлись представления.

Чего теорема не обещает

Я прогнал ещё один эксперимент, и он оказался поучительным. На корпусе 20 newsgroups я построил две модальности одного текста: признаки по словам и признаки по символам. Затем определил "сцену" двумя способами: документ (плохие виды) и тема (хорошие виды).

Результат сначала удивил. При документных позитивах согласие двух представлений высокое (0.98), при тематических падает до 0.19. Кажется, что это противоречит статье. Но нет, это подтверждает её точнее: согласие определяется не названием вида, а совпадением матриц позитивов. Документные блоки в моём прогоне случайно одинаковы для обеих модальностей, потому что обрывки одного документа соседствуют и по словам, и по символам. Тематические окрестности у разных признаков различаются, графы разошлись, согласие упало.

Практический вывод из этого острее, чем сама теорема: мало объявить позитивы хорошими, нужно чтобы обе модальности считали "сцену" одинаково. Иначе тематические позитивы расходятся сильнее, чем документные.

Вывод

Платоновская гипотеза из наблюдения стала теоремой. При своих посылках она точная: две модели, никогда не видевшие друг друга, совпадают до одного поворота. На практике главный рычаг не масштаб, а выбор позитивов: какие пары примеров модель считает одним и тем же.

Для тех, кто строит свои эмбеддинги или выбирает готовые, из статьи одно прикладное правило: прежде чем увеличивать данные, ответьте, что вы объявили одной сценой. И убедитесь, что все системы, которые должны сойтись к общему описанию мира, ответили одинаково.

Отдельно про то, где теория молчит: конечный мир, инъективные отображения, оптимум по распределению. Реальные модальности теряют информацию, и ни один эксперимент в статье не удовлетворяет посылкам точно. Но правило выбора позитивов это переживает.