Турбоквантование: инженерное подтверждение статической геометрии эмбеддингов

Почему методы сжатия KV-кэша работают без потери качества и что это говорит о природе современных LLM

Аннотация

В данной работе показано, что технология сжатия TurboQuant от Google Research является практическим подтверждением теоретических инвариантов пространств эмбеддингов, описанных в исследовании «Где может существовать ИИ?». Корреляция между теоретическими свойствами (низкая внутренняя размерность, анизотропия, единичная норма, статичность базиса, линейность) и эффективностью сжатия достигает высокого уровня, что открывает путь к революции в оптимизации LLM.

Введение

В исследовании «Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления» было показано, что пространства эмбеддингов в больших языковых моделях обладают универсальными инвариантами:

Я выдвигаю гипотезу: эти пространства линейны и статичны, а модель работает как «снежный ком», катящийся по предопределённым рельсам.

Спустя несколько недель после публикации этого исследования появился TurboQuant — алгоритм сжатия KV-кэша от Google Research, позволяющий уменьшить потребление памяти LLM в 6–8 раз без потери точности.

2. Что такое TurboQuant и почему он работает

TurboQuant — это метод квантизации ключей и значений (KV-кэш) в трансформерах, основанный на двух этапах:

2.1. PolarQuant (высококачественное сжатие)

Преобразование векторов из декартовых координат (X, Y, Z) в полярные (радиус + угол) с последующим квантованием угла с высокой точностью.

Аналогия: Вместо инструкции «пройдите 3 квартала на восток и 4 на север» используется «пройдите 5 кварталов под углом 37 градусов».

2.2. QJL (Quantized Johnson–Lindenstrauss)

Коррекция ошибок квантования с помощью 1-битного знакового кода (+1 или -1). Работает как математический корректор, сводя остаточную ошибку к минимуму.

Ключевой вопрос: Почему это вообще возможно? Ответ кроется в свойствах пространства, в котором живут эмбеддинги.

3. Инварианты как предпосылки для TurboQuant

3.1. Низкая внутренняя размерность

Из исследования: Внутренняя размерность эмбеддингов составляет 51–85, хотя формальная размерность — 384 или 768.

Математическая интерпретация: Если выполнить PCA, первые 60–80 компонент объясняют почти всю дисперсию. Остальные измерения содержат шум или несущественные вариации.

d_formal = 384 или 768

d_eff ≈ 63 (среднее по измерениям)

d_eff / d_formal ≈ 0,16 – 0,08

Связь с TurboQuant: Когда TurboQuant квантует вектор до 3–4 бит на значение, он фактически отбрасывает информацию в «слабых» направлениях. Если бы эмбеддинги были изотропными и высокомерными, такая агрессивная квантизация привела бы к катастрофической потере точности.

Теоретическая оценка: Количество бит, необходимое для сохранения качества, зависит логарифмически от эффективной размерности:

bits ≈ O(log₂(d_eff) + log₂(1/ε) − log₂(1 − anisotropy))

Где ε — допустимая ошибка восстановления.

Для d_eff = 63: log₂(63) ≈ 6 бит

Для d_formal = 768: log₂(768) ≈ 9,6 бит

TurboQuant достигает 3–4 бит благодаря дополнительному использованию анизотропии.

3.2. Анизотропия: векторы в узком конусе

Из исследования: Коэффициент неравномерности = ~0,87 (в среднем). Векторы скучены в узком конусе, а не распределены равномерно по сфере.

Связь с TurboQuant: PolarQuant преобразует вектор в полярные координаты: радиус 𝑟r и направление 𝑢u на единичной сфере. В условиях анизотропии набор возможных направлений 𝑢u лежит в небольшом сегменте сферы.

Геометрическая иллюстрация:

Для кодирования узкого сегмента требуется меньше бит, чем для полной сферы. TurboQuant использует адаптивные схемы квантования, которые размещают центроиды там, где вероятность выше.

Оценка выигрыша: Если векторы занимают только ~15% поверхности сферы (оценка по коэффициенту 0,87), то:

bitsanisotropic ≈ bitsisotropic − log2(0,151) ≈ bitsisotropic−2,7

Это объясняет, почему TurboQuant достигает 3–4 бит вместо теоретических 6 бит.

3.3. Единичная норма

Из исследования: Все модели приводят векторы к единичной длине с погрешностью ~2,7·10⁻⁸.

‖v‖₂ = 1 ± 2,7·10⁻⁸

Связь с TurboQuant: При единичной норме важен только угол, а длина не несёт дополнительной информации. TurboQuant так и делает: полярное представление фиксирует 𝑟 = 1 (с точностью до малых погрешностей) и квантует только угловые координаты.

Экономия: Это снижает количество квантуемых переменных с d до 𝑑−1

(или до 𝑑_𝑒𝑓𝑓 после учёта низкой размерности).

3.4. Статичность базиса

Из исследования: Все текстовые коллекции проецируются в один и тот же базис внутри модели. Сходство базисов между разными корпусами > 0,95 (угол < 5° в пределах погрешности измерений).

Связь с TurboQuant: TurboQuant использует это свойство, чтобы применять одну и ту же схему сжатия ко всем токенам и всем слоям без адаптации под конкретный контекст.

Если бы базис менялся в зависимости от входного текста, потребовались бы динамические методы (адаптивное квантование на лету), которые сложнее и медленнее. Статичность позволяет предварительно вычислить параметры квантования (например, центроиды для углов) и использовать их во время инференса без дополнительных накладных расходов.

3.5. Линейность (локальная и глобальная)

Из исследования: Работы Голдена (2025) и группы LAMP показывают, что современные LLM являются локально линейными отображениями.

Связь с TurboQuant:

• PolarQuant — линейное преобразование (декартовы → полярные координаты) с последующим покомпонентным квантованием
• QJL — линейная операция (умножение на случайную матрицу)

Если бы геометрия была нелинейной, такие фиксированные преобразования не сохраняли бы семантику. Факт успешного применения линейных преобразований для сжатия без потери качества служит подтверждением линейности эмбеддинговых пространств.

4. Сводная таблица соответствий

Наблюдается сильная корреляция, подтверждающая теоретические предпосылки. Точная количественная оценка требует дополнительных экспериментов.

5. Что это говорит о природе LLM?

Успех TurboQuant — не просто инженерная победа. Это эмпирическое подтверждение того, что эмбеддинговые пространства действительно обладают описанными свойствами:

Иными словами, TurboQuant «работает» именно потому, что пространства устроены так, как описано в исследовании. Если бы инварианты были иными, метод либо не давал бы выигрыша, либо требовал бы значительно более сложных адаптивных механизмов.

Но вместе с тем...

TurboQuant подчёркивает и ограничения: все эти свойства статичны. Модель не создаёт новую геометрию в процессе вывода, а лишь перемещается по фиксированному ландшафту.

«Модель работает как снежный ком, скатывающийся с горы. У кома есть форма (структура льда — это базис эмбеддингов), но его путь предопределён рельефом горы (латентным пространством).»

Сжатие делает движение более эффективным, но не добавляет способности перестраивать рельсы.

6. Ограничения исследования

1. Измерения внутренней размерности проводились на ограниченной выборке моделей (all-MiniLM-L6-v2, paraphrase-multilingual-MiniLM-L12-v2, LaBSE). Результаты могут отличаться для авторегрессионных моделей (GPT, Llama).
2. Сходство базисов оценивалось на четырёх текстовых коллекциях. Требуется расширение выборки для подтверждения универсальности.
3. Корреляция между инвариантами и эффективностью TurboQuant носит качественный характер. Количественная валидация требует отдельных экспериментов.
4. Выводы об AGI являются философской гипотезой, а не эмпирическим фактом.

7. Выводы

1. Турбоквантование подтверждает инварианты, выявленные в исследовании «Где может существовать ИИ?». Каждый инвариант находит прямое применение в методе сжатия и объясняет, почему возможно 6–8‑кратное сокращение памяти без потери качества.
2. Математическая связь между свойствами пространства и эффективностью квантизации может быть формализована через теорию информации и геометрию: низкая размерность и анизотропия снижают требуемое количество бит, единичная норма упрощает представление, статичность позволяет унифицировать схему.
3. Инженерный успех не означает прорыва к AGI. Напротив, он иллюстрирует, что текущие LLM работают в жёстко заданных линейных пространствах, и даже самые продвинутые методы оптимизации не меняют этот фундаментальный факт.

8. Заключение

В конечном счёте, TurboQuant — это не просто ещё один алгоритм. Это практическое воплощение геометрии эмбеддингов, которая была описана в исследовании «Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления».

«Понимание вещей, о которых я пишу, оказывается не просто моими предположениями, а подтверждается практикой. Это не моя личная заслуга — я искренне рад, что теоретическое виденье многомерных пространств данных находит практическое подтверждение, которое приведёт к перевороту в ИИ-индустрии в обозримом будущем.»

И пока пространства остаются статичными и линейными, все наши попытки ускорить и сжать модели будут лишь оптимизацией движения по заданной траектории, а не созданием подлинно динамического интеллекта.

«Для настоящего интеллекта нужно не просто скользить по готовым рельсам, а уметь перестраивать саму систему координат, создавать новые измерения, выходить за пределы предопределённого.»

Список литературы

1. Mikhalchuk, M., et al. (2024). The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models. Findings of EACL 2024.
2. Чистякова, К. Е. (2024). Исследование различий в векторных представлениях, полученных с помощью разных языковых моделей. НИУ ВШЭ.
3. Golden, J. R. (2025). Large Language Models are Locally Linear Mappings. arXiv:2505.24293.
4. Chen, C., et al. (2025). LAMP: Extracting Locally Linear Decision Surfaces from LLM World Models. arXiv:2505.11772.
5. Tsukagoshi, H., & Sasano, R. (2025). Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings. arXiv:2506.01435.
6. Google Research Blog (2025). TurboQuant: Efficient KV-Cache Compression for LLMs.
7. Острожных, Ю. В. (2026). Где может существовать ИИ? От статической геометрии эмбеддингов к живой динамике мышления.