Архитектурная асимметрия и трёхуровневая геометрия в больших языковых моделях

Подзаголовок: от гипотезы песочных часов к экспериментальной карте несводимости параметров, представлений и функции

От «Почему геометрия не сжимает веса» — к архитектуре, которая создаёт асимметрию между параметрами, представлениями и функциональным доступом к информации.

Аннотация

Мы исследуем геометрию больших языковых моделей на трёх независимых уровнях: (1) геометрия параметров (weight matrices), (2) геометрия представлений (hidden state trajectories), (3) функциональный доступ к информации (retrieval performance and local functional sensitivity). На восьми локальных base-моделях пяти архитектурных семейств от 0.135B до 5.12B параметров, включая контрольную пару «tied vs untied» (Qwen2.5-0.5B и TinyLlama-1.1B) и две дополнительные untied-архитектуры того же масштаба (Pythia-2.8B, Phi-1_5), мы показываем:

(0) Главный итог переоценки: уровни W, X и F не обязаны совпадать. Исходная цепочка «weight tying → геометрическая интерференция → низкоразмерная зона → деградация памяти» не подтверждается как единый механизм. Данные поддерживают более слабую и более интересную картину: геометрия параметров, геометрия скрытых представлений, динамическая устойчивость траекторий и функциональная чувствительность/доступ к информации являются частично независимыми свойствами архитектуры и обучения.

(1) Weight tying и асимметрия градиентных путей. Связывание весов работает как архитектурное ограничение общего параметрического канала. Прямая градиентная оппозиция входного и выходного путей не обнаружена: во всех tied-моделях |cos(G_in, G_out)| ≤ 0.023, а у untied-моделей косинусы также близки к нулю. Вместо конфликта наблюдается доминирование одного пути: в 4 из 5 tied-моделей выходной путь доминирует по норме в 3.75–6.95 раза, и общий апдейт близок к нему (cos(G_total, G_out) ≥ 0.967). У Gemma-4 наблюдается инверсия доминирования (‖G_in‖ / ‖G_out‖ ≈ 47; в разных прогонах 47.1–47.5), функциональная проверка (снятие масштаба √h + v3-абляция PLE-канала) показывает смешанную природу: ~8× из сырого ratio — артефакт масштабирования эмбеддинга, ещё ~1.36× — второй scaled-канал PLE; остаток ≈4.3× — структурное входное доминирование. При этом untied-модели также демонстрируют умеренную асимметрию отношений норм градиентов (ориентировочно ×1.5–×2.6), хотя для untied-архитектур это отношение сравнивает разные матрицы и требует parameter- и scale-normalized интерпретации. Поэтому weight tying не установлен как необходимое условие самого феномена асимметрии путей; он может усиливать или фиксировать её за счёт общего параметрического канала.

(2) Архитектурно-зависимые низкоразмерные зоны представлений. Не «песочные часы в середине стека как универсальный закон», а семейство режимов. На 5 из 8 моделей скрытые состояния концентрируются в низкоразмерных подпространствах (PRc ≈ 1.08–1.17), формируя протяжённые зоны сжатия (36–62% глубины стека). Положение и форма зон зависят от архитектуры: ранняя воронка (Qwen2.5-0.5B, Qwen2.5-3B, TinyLlama), центрированные часы (SmolLM), смешение сжатых слоёв с тройной талией (Qwen3-4B: устойчивый минимум L7, вторичные L11/L17), распределённый режим с высоким полом (Pythia-2.8B, Phi-1_5) и распределённый режим без mid-stack коллапса (Gemma-4). Perturbation-тест на шее Qwen2.5-0.5B показывает компрессию без стягивания: 98.17% энергии подпространства сосредоточено в top-10 направлениях, но параллельные возмущения усиливаются (×~14.6) сильнее ортогональных (×~10.2–10.3). Интерпретация шеи как contracting attractor не подтверждается; данные также не позволяют строго называть систему repeller без отдельного Jacobian-анализа. Кросс-корпусный контроль на пяти корпусах, включая shuffled token noise, показывает устойчивость положения минимального PR в пределах протестированных данных, но не доказывает полной контентонезависимости.

(3) Спектральная асимметрия не означает невозможность квантования. На измеренных шеях веса остаются почти полноранговыми (k95 ≈ 79–85% размерности), тогда как входящие активации радикально низкоразмерны (k95 = 0.4–2.3%). Это локальное подтверждение более общего наблюдения: низкая размерность траектории не означает низкую размерность закона преобразования. Асимметрия воспроизводится и у tied, и у untied модели, следовательно не требует weight tying. Из этого не следует теорема о невозможности квантования: ошибка квантования зависит не только от rank, но и от outliers, curvature, масштабов, распределения ошибок и downstream sensitivity.

(4) Representation compression ≠ memory degradation. Гипотеза о том, что низкоразмерные представления вызывают деградацию длинного контекста (Lost-in-the-Middle), локально фальсифицирована на Qwen2.5-0.5B до 8192 токенов: геометрия представлений плоская (E_DC/PRc не растут), recall не деградирует по длине, Lost-in-the-Middle отсутствует (U-контраст = −0.16). Это не устанавливает attention dilution в качестве причины LiM; наши данные показывают лишь, что геометрическая компрессия представлений не является достаточным объяснением в измеренной конфигурации. Attention и позиционные механизмы остаются кандидатами для объяснения оставшейся межмодельной вариативности.

Дополнительно: функциональный скан пертурбаций (Exp9) показывает, что геометрическая шея и пик функциональной чувствительности находятся в разных местах. У Gemma-4 функциональный пик — L12, где нет геометрического mid-stack коллапса; у Qwen2.5-0.5B геометрическая шея L4 почти не переходит в локальную функциональную чувствительность. Термин «функциональное бутылочное горлышко» заменён на «пик функциональной чувствительности», поскольку KL после аддитивного шума измеряет локальную чувствительность, а не причинную необходимость слоя.

Введение

Вычислительное мясо и иллюзия понимания

Язык — это «вычислительное мясо». Чтобы понять его архитектуру, нужно перестать спрашивать «что модель делает?» и начать спрашивать «как она это вычисляет?». Мы не можем заглянуть внутрь нейронной сети как в программный код, но мы можем измерить её внутреннее состояние.

Эта статья — продолжение предыдущего исследования «Почему геометрия не сжимает веса» (cmq_experiment/results_v6/). Там было показано, что активации LLM лежат в узком конусе: 90% энергии — в ~1–3 главных компонентах, а веса при этом полноранговые и плотные. Все геометрические техники сжатия весов дали ноль или минус; единственный работающий рычаг — data-adaptive компенсация ошибок (GPTQ). Итоговая формула предыдущей работы: веса = закон динамики, активации = траектория в низкоразмерной области.

Но переоценка показала, что исходная метафора «траектория на низкоразмерном аттракторе» слишком сильна. Низкая размерность статистически реальна, но perturbation-тест не подтверждает динамическое стягивание. Поэтому далее мы разделяем три уровня:

• W — геометрия параметров;
• X — геометрия скрытых представлений;
• F — функциональная чувствительность и доступ к информации.

Главный тезис статьи теперь не «weight tying создаёт песочные часы, которые вызывают Lost-in-the-Middle», а: архитектура создаёт несколько несводимых геометрических и функциональных режимов, которые нельзя описать одной «геометрией модели».

Исторически мы использовали термин «архитектурная интерференция», однако эмпирически мы не обнаруживаем градиентной оппозиции входного и выходного путей. Под асимметрией далее понимается не конфликт направлений обновления, а вынужденное неравное распределение вклада в общий параметрический канал при weight tying и, шире, асимметрия между входным и выходным путями в обученных моделях.

Четыре гипотезы в переоценённой формулировке

H1 — Shared parameters and path dominance. Weight tying создаёт общий параметрический канал для входного и выходного путей. Вопрос: приводит ли это к градиентной оппозиции или к асимметричному доминированию одного пути? Переформулировка после данных: tying может усиливать/фиксировать асимметрию, но не является установленной причиной самой асимметрии, поскольку умеренная асимметрия наблюдается и у untied-моделей.

H2 — Architecturally dependent low-dimensional representation zones. Скрытые состояния могут концентрироваться в низкоразмерных подпространствах. Вопрос: где именно, насколько устойчиво и является ли это динамическим attractor? Переформулировка: не «в середине стека universally», а «в архитектурно-зависимых зонах»; attractor-интерпретация проверяется отдельно.

H3 — Spectral asymmetry between law and trajectory. Веса могут оставаться почти полноранговыми, тогда как активации низкоразмерны. Вопрос: означает ли это невозможность геометрического квантования весов? Переформулировка: это спектральное наблюдение, а не теорема о квантовании.

H4 — Representation compression versus memory degradation. Может ли низкоразмерность представлений объяснять деградацию длинного контекста? Переформулировка: проверяется не «геометрия вызывает LiM», а «достаточна ли геометрическая компрессия для объяснения LiM в измеренной конфигурации».

Экспериментальный дизайн: для каждой гипотезы есть прямое измерение (контрольная пара tied vs untied) и кросс-модельное расширение (8 моделей пяти семейств от 0.135B до 5.12B). Важно: работа является observational cross-model study, а не causal architecture study. Архитектурные различия confounded с размером, vocab, attention mechanism, positional encoding, training recipe и tying status. Поэтому утверждения о влиянии отдельных архитектурных факторов носят корреляционный характер.

Результат переоценки: H1 поддержана в модифицированной форме (доминирование, не оппозиция; причинная роль tying ослаблена), H2 поддержана как существование архитектурно-зависимых низкоразмерных зон, но гипотеза о универсальных средних песочных часах и contracting attractor отвергнута, H3 подтверждена локально без вывода о невозможности квантования, H4 локально фальсифицирована. Exp9 добавляет четвёртый важный результат: геометрическая шея и пик функциональной чувствительности не совпадают.

Связанные работы

Weight tying и смещение к выходу

Press & Wolf (2016) показали, что weight tying улучшает языковые модели и экономит параметры. Inan et al. (2017) теоретически обосновали tying как способ уменьшения степеней свободы. Lopardo et al. (2026)[^1] независимо показали, что «tied embedding matrices align more closely with output (unembedding) matrices than with input embeddings». Наша работа подтверждает это через прямое измерение градиентов и добавляет наблюдение об инверсии доминирования у Gemma-4. Выходная языковая головка при этом описывается в литературе как градиентное бутылочное горлышко [^2], что является важным конкурентным объяснением: часть асимметрии путей может быть свойством LM head и выходного масштабирования, а не только weight tying [^10]. Для контроля вклада эмбеддинг-градиентов предложены методы изоляции [^3].

Anisotropy и intrinsic dimensionality

Ethayarajh (2019) показал, что контекстуализированные представления BERT и GPT-2 имеют unusually high anisotropy. Aghajanyan et al. (2021) исследовали intrinsic dimensionality language models, показав, что эффективная размерность значительно ниже номинальной [^6]. Razzhigaev et al. (2024) изучили динамику анизотропии и intrinsic dimension в трансформерах. Новая литература связывает анизотропию с конкретными режимами обучения — в том числе со связыванием входных и выходных матриц и со сдвигом среднего вектора эмбеддингов [^4][^5]. Наша работа добавляет не универсальное утверждение «tying создаёт анизотропию», а более осторожное: в исследованной выборке tied-модели демонстрируют более высокую сырую анизотропию, чем untied-модели, но эффект confounded с масштабом эмбеддингов, vocab size, PLE-каналами и training dynamics.

Quantization и outlier handling

GPTQ (Frantar et al., 2022) показывает, что веса можно агрессивно квантовать, используя second-order information (Hessian). SmoothQuant (Xiao et al., 2023) демонстрирует, что сложность квантования связана с activation outliers и может быть перераспределена между activation и weight. Эти работы показывают, что quantizability ≠ f(rank(W)), а скорее зависит от outliers, curvature и локальной структуры.

Lost in the Middle

Liu et al. (2023) обнаружили U-shaped эффект: модели лучше извлекают информацию с начала и конца контекста, чем из середины. Они показали, что эффект зависит от архитектуры, contextualization и положения информации, а не только от размера пространства представлений; последующие работы указывают на позиционные смещения внимания как возможный механизм [^11][^12][^13]. Наша работа показывает, что низкоразмерные представления сами по себе не объясняют наблюдаемую локальную деградацию retrieval; attention и позиционные механизмы остаются кандидатами, но не установлены как причина в данной работе.

Information Bottleneck и Neural Collapse

Теория Information Bottleneck (Tishby et al., 2000; Kawaguchi, 2023) предлагает теоретическую рамку для понимания компрессии в глубоких сетях. Наши низкоразмерные зоны можно интерпретировать как эмпирический след IB-принципа, но perturbation-тест показывает, что это компрессия дисперсии, а не обязательное динамическое притяжение. Neural Collapse (Papyan et al., 2020; Súkeník, 2025) — феномен, при котором представления классов коллапсируют к их средним значениям в терминальной фазе обучения классификаторов. Наши результаты ослабляют прямую аналогию с динамическим Neural Collapse: представления сжимаются по дисперсии, но не демонстрируют contracting dynamics в проведённом тесте.

Исходная точка: почему геометрия не сжимает веса

Чтобы статья читалась как продолжение, зафиксирую, что уже известно из предыдущего исследования (CHMC v1→v6, results_v6/).

Мы пытались применить конусную геометрию активаций к сжатию самих весов: взвешенный SVD вдоль конуса, адаптивные ранги, ковариационные поправки. Путь от коллапса (ratio 4894× у v1) до паритета (~1.18× у v6 при равном бит-бюджете BPW = 4.2875 — ровно бюджет GPTQ). Итог на трёх моделях: SmolLM — паритет со GPTQ, Qwen2.5-0.5B — проигрыш, TinyLlama-1.1B — реальная победа более чем на 30σ.

Все геометрические техники на весах провалились: Hadamard-ротация, Lloyd-Max, Cone-Aware, QJL. Единственный работающий рычаг — dampening оценки Гессе, то есть контроль шума, а не захват геометрии. По ансамблю из 124 экспериментов единственный флаг с положительной корреляцией успеха — dampening (+0.40); все геометрические флаги — около нуля или отрицательные.

Ключевые спектральные факты, которые эта статья объясняет архитектурно: активации — узкий конус, веса — плотные. Вопрос после переоценки: откуда эта асимметрия? Ответ не «weight tying однозначно создаёт конус и песочные часы», а «архитектура, tying status, масштабирование эмбеддингов, attention mechanism и training dynamics создают несколько частично независимых режимов».

Части 1–2: философия переоценённой картины и данные/протоколы измерений.

Часть 1. Философия переоценённой картины

Рабочая метафора: не одни песочные часы, а семейство режимов

Представьте трансформер как динамическую систему: входной эмбеддинг → L блоков трансформера → выходной lm_head. Если проследить эффективную размерность данных на каждом шаге, наивное ожидание было таким: широко на входе → узко в середине → широко на выходе. Это и есть классические песочные часы.

Реальность оказалась богаче. Мы наблюдаем не один канонический профиль, а семейство режимов:

• ранняя воронка: сжатие происходит в первых слоях и сохраняется дальше;
• центрированные часы: минимум ближе к середине стека;
• смешение сжатых слоёв: несколько локальных минимумов;
• распределённый режим с высоким полом: есть argmin PR, но нет коллапса ниже PRc ≈ 2;
• выходное сжатие: низкий PR только на последнем уровне, без mid-stack collapse.

Поэтому «песочные часы» остаются полезной метафорой для одного из режимов, но не названием универсального закона.

Важно различать два свойства:

1. Anisotropy (конус): векторы имеют сильный общий компонент, средний косинус между парами высок. Но вокруг этого общего компонента может быть существенное разнообразие.

2. Low intrinsic dimensionality: спектр сингулярных чисел обрывистый, почти вся энергия в нескольких направлениях.

Эмбеддинги могут быть анизотропными, но не обязательно узкими по эффективной размерности. Настоящее сужение происходит внутри сети, причём не обязательно в середине.

Почему старая метафора «аттрактора» потребовала проверки

Изначально казалось естественным: если траектория низкоразмерна, значит сеть «притягивает» представления к некоторому manifold. Это красивая динамическая картина.

Но низкая размерность статистики не равна динамической устойчивости. Можно иметь статистически концентрированное множество состояний без стягивания соседних траекторий. Поэтому мы провели прямой perturbation-тест.

Результат: на шее Qwen2.5-0.5B top-10 подпространство несёт 98.17% энергии, но параллельные возмущения усиливаются сильнее ортогональных. Следовательно, contracting attractor не подтверждён. При этом нельзя автоматически называть систему repeller: для этого нужен отдельный анализ Jacobian относительно локальной траектории или manifold. Корректный вывод: низкоразмерная зона — статистическая компрессия траекторий, а не доказанный притягивающий механизм.

Вопрос о памяти

Если вычислительные состояния концентрируются в низкой размерности, как модель помнит длинный контекст? Ответ: память и вычисления — разные объекты. KV-кэш хранит ключи и значения в полной или почти полной размерности; низкоразмерность скрытых состояний текущего токена не противоречит полноразмерной памяти.

Но переоценка добавляет важный нюанс: даже если retrieval функционально деградирует, это не обязательно следует из геометрической компрессии представлений. H4 локально фальсифицирует простую импликацию low PR → memory degradation.

Часть 2. Данные и протоколы измерений

Модели

Восемь локальных base-моделей пяти архитектурных семейств (Llama/Qwen/Gemma/GPTNeoX/Phi), все измерены на физическом GPU 1 (cuda:1); fp32 где хватает памяти (VRAM 15.93 GiB), иначе bf16. У Gemma — изолированное окружение .venv-gemma4 (transformers 5.17.0), так как её архитектура несовместима с transformers остальных моделей; vision-модуль исключён из всех измерений [^9].

Контрольная пара: Qwen2.5-0.5B (tied) и TinyLlama-1.1B (untied). В выборке три модели без связывания весов — TinyLlama-1.1B, Pythia-2.8B и Phi-1_5.

Важное методологическое ограничение H1: для tied-модели G_in и G_out — градиенты по одной физической матрице, поэтому отношение норм внутри модели осмысленно. Для untied-модели это градиенты по разным матрицам, часто разного размера, инициализации и масштабирования. Поэтому`‖G_out/‖G_in‖`у untied-моделей является ориентировочным индикатором асимметрии путей, а не прямым аналогом tied-ratio. Для строгого сравнения требуется parameter-normalized и scale-normalized пересчёт, который в текущей финальной версии не выполнен как основной результат.

Корпус

4 markdown-документа проекта cmq_experiment (README.md, PROJECT.md, FINAL_REPORT_v4.md, report.md). Пул токенов: до 8599 (токенизатор Qwen) / ~10080–10082 (семейство Llama). Весь корпус помещается в контекст моделей с max_pos ≥ 32k; у SmolLM, TinyLlama, Pythia-2.8B и Phi-1_5 (max_pos = 2048) используется окно корпуса.

Протоколы измерений

Exp7/H1. 128 токенов. G_total — backward встроенного CE-loss. G_in — замороженный клон lm_head, backward CE по входному пути. G_out — no_grad скрытые состояния + свежая копия W&#039;, ручной CE с сдвигом HF. У untied модели оба градиента берутся одним backward’ом. Прокси: косинус между qkv0-пертурбацией от обновления эмбеддингов и пертурбацией от обновления весов.

Exp5/H2. Для каждого слоя (уровни 0..L, где уровень 0 = эмбеддинги) берётся контекст 2048 токенов, центрируются скрытые состояния, точный SVD; PR = число главных компонент для 90% дисперсии. Шея = аргминимум центрированного профиля (PRc). Anisotropy — средний косинус пар векторов слоя (raw и centered).

Exp3/H3. Точный SVD весов gate_proj на шее и входящих активаций; k95(веса) против k95(активации), энергия топ-10/топ-3 сингулярных направлений.

E4b (H4, геометрия). E_DC = N·‖x̄‖²/Σ‖vᵢ‖² — доля DC-энергии в last-layer состояниях; два условия: prefix vs mixed, N ∈ {100, 1000, 4096, 8192}.

E4e/E4f (H4, функция). Pattern-completion зонд: уникальный код внедряется в контекст на позиции p; lift = Δlogit целевого токена vs альтернатива минус контрольный прогон без иглы.

Exp6 (кросс-модельное). Per-position lift на всех восьми моделях, позиции [0.05, 0.25, 0.45, 0.75, 0.95], 2 репа/ячейку; Inversion Contrast = Mean Lift(середина) − Mean Lift(края).

Part B / v3 PLE-абляция (инверсия Gemma). Функциональная проверка инверсии доминирования: снятие масштаба √1536, затем зануление PLE-канала.

PR cross corpus. Qwen2.5-0.5B: пять корпусов по 2048 токенов, включая shuffled token noise.

Attractor subspace perturbation. Qwen2.5-0.5B, neck-L4: инъекция случайного возмущения с декомпозицией на параллельную/радиальную/ортогональную компоненты относительно top-10 подпространства.

Multi-level retrieval probe. Qwen2.5-0.5B, L=2048: три уровня иглы — exact code, semantic analog, two-hop relational chain.

Exp9 (функциональный скан пертурбаций). Для каждого декодерного слоя выход слоя заменяется на H + eps·randn_like(H); метрика — KL(base logits || noisy logits). Важно: это мера локальной функциональной чувствительности, а не causal ablation. Высокий KL не означает, что слой причинно необходим; низкий KL не означает, что слой избыточен.

Часть 3: результаты (диагностика H1–H4 с multi-rep и bootstrap, кросс-модельное расширение на 8 моделях, multi-level retrieval probe, функциональный скан Exp9).

Часть 3. Результаты

Единая карта результатов программы: панели G1–G5 и вердикт-полоса по группам; генерируется из JSON вresults/data/(infographic/make_infographic.py).

Гипотеза 1 — Weight tying: доминирование пути, а не оппозиция градиентов

#### Метод

Для каждой модели на блоке из 128 токенов корпуса вычисляется полный градиент CE-loss (G_total) и два «разделённых» градиента: G_in и G_out. У tied-модели оба градиента ложатся на одну и ту же физическую матрицу W.

#### Контрольная пара

Для TinyLlama single-window ratio ≈ 1.0 не является устойчивой оценкой; multi-subsample оценка даёт ≈1.50. В дальнейшем для сравнения распределений используется multi-rep, а single-run нормы сохраняются только как исторический контроль.

Градиенты входа и выхода не противостоят друг другу: они ортогональны (cos ≈ 0). Это фальсифицирует наивную гипотезу «оппозиции»: если бы градиенты конфликтовали, ожидалось бы cos < −0.5.

Градиенты входного и выходного путей контрольной пары (Qwen2.5-0.5B vs TinyLlama-1.1B): ортогональны,cos ≈ 0, оппозиции нет.

#### Кросс-модельное измерение (Exp7)

Нормы`‖G_in`/`‖G_out‖`и ratio сравнимы прежде всего внутри модели. Для untied-моделей отношение норм требует осторожной интерпретации, поскольку сравниваются разные матрицы. Перекрёстно более сопоставимыми являются косинусы направлений и qualitative pattern «доминирование без оппозиции».

Exp7 (8 моделей): head-cosinecos(G_in,G_out)≈ 0 и отношение норм ‖G_out‖/‖G_in‖ — доминирование выходного пути ×4–×6.9 у tied, умеренная асимметрия у untied (красный = tied, зелёный = untied).

#### Многократное усреднение (Exp7, 5 случайных окон)

Чтобы исключить артефакт конкретной выборки токенов, cos/ratio пересчитаны на пяти независимых случайных окнах корпуса:

• smollm: cos −0.062 ± 0.040, ratio 4.81 ± 0.95;
• qwen2.5-0.5b: cos −0.031 ± 0.077, ratio 4.03 ± 0.89;
• tinyllama (untied): cos −0.005 ± 0.002, ratio 1.50 ± 0.08;
• qwen2.5-3b: cos −0.008 ± 0.027, ratio 5.16 ± 1.50;
• qwen3-4b: cos −0.031 ± 0.036, ratio 4.08 ± 1.57;
• pythia-2.8b (untied): cos −0.005 ± 0.003, ratio 2.30 ± 0.13;
• phi-1_5 (untied): cos −0.001 ± 0.002, ratio 2.56 ± 0.12.

Во всех пяти tied-моделях cos остаётся практически ортогональным, а ratio выходного пути к входному держится на уровне ×4–5. У трёх untied-моделей также наблюдается умеренная асимметрия отношений норм и cos ≈ 0. Однако из-за раздельных матриц и возможного embedding scaling это следует трактовать как supportive evidence для более общего феномена асимметрии путей, а не как строгое доказательство, что tying не имеет значения.

У Gemma multi-rep прогон не поместился на карте 16 GiB, поэтому её инверсия остаётся single-run измерением, хотя функциональная абляция Part B/v3 воспроизведена.

#### Три наблюдения

Первое. Градиентной оппозиции нет. Во всех пяти tied-моделях |cos| ≤ 0.023; у трёх untied cos ≈ 0. Null-модель показывает, что в размерности d ≈ 3·10⁷–4·10⁸ случайные векторы имеют cos ~ N(0, 1/d). Измеренные |cos| статистически отличимы от нуля, но практически малы. Важно разделять statistical significance и practical orthogonality: слабая общая компонента реальна, но её величина недостаточна для интерпретации как конфликта.

Второе. В большинстве tied-моделей общий апдейт близок к одному пути, чаще выходному. В четырёх из пяти tied-моделей выходной путь доминирует по норме, а G_total практически совпадает с ним. Это согласуется с Lopardo et al. (2026) и с идеей LM-head gradient bottleneck. Но поскольку untied-модели тоже показывают умеренную асимметрию, нельзя строго утверждать, что именно tying создаёт доминирование. Более корректно: tying может усиливать или фиксировать асимметрию, поскольку оба пути вынуждены делить одну матрицу.

Третье. Gemma-4 — структурное исключение, частично объяснённое масштабированием. Входной путь доминирует примерно в 47 раз, и G_total совпадает с G_in. Две оговорки: (i) норма градиента зависит от размера матрицы; (ii) bf16-точность у 5B-модели ниже, чем fp32 у малых моделей. У Gemma4 выход эмбеддинга проходит через масштабирование scale = √1536 = 39.19.

#### Функциональная проверка инверсии Gemma

Part B: scaled эмбеддинг заменён на обычный nn.Embedding, делящий тот же тензор весов. После снятия масштаба: ‖G_in'‖ = 123.42, ‖G_out';‖ = 21.14, ratio 5.84 против сырых ~47. Чистое деление на масштаб предсказывает ratio ≈1.20, поэтому ~8× из инверсии объясняется масштабом, но не вся.

v3 PLE-абляция: при снятом масштабе PLE-таблица занулена. Получено ‖G_in';‖ = 67.36, ‖G_out';‖ = 15.74, ratio 4.28 против контрольного 5.83. PLE — вкладчик, но не вся история.

Полный расклад инверсии Gemma: ~8× из сырых 47× даёт масштаб √h основного эмбеддинга, ещё ~1.36× — PLE-канал, остаток ≈4.3× — структурное входное доминирование. Небольшие различия между single-run Exp7 (664.0 / 13.97) и функциональным прогоном Part B (658.7 / 13.97) отражают разные прогоны/округление; направление и порядок величины инверсии совпадают.

Functional-прогон Part B/v3 для Gemma-4: снятие масштаба √h эмбеддинга и PLE-абляция — большая часть сырых 47× объясняется масштабированием, остаток ≈4.3× структурный.

#### Вердикт H1

H1 поддержана в модифицированной форме, но не как строгая причинная теория.

• Подтверждено: градиентная оппозиция входного и выходного путей не обнаружена.
• Подтверждено: в tied-моделях общий апдейт обычно близок к одному доминирующему пути, чаще выходному.
• Подтверждено частично: Gemma-4 демонстрирует инверсию, значительная часть которой объясняется scale и PLE, но остаток структурный.
• Не установлено: что weight tying является необходимой причиной асимметрии путей. Untied-модели также показывают умеренную асимметрию, хотя их ratio требует нормировки.
• Удалено из формулировок: «регуляризатор всегда выбирает одного победителя». Корректно: «во всех рассмотренных tied-моделях общий апдейт оказался близко к одному из путей; у untied-моделей также наблюдается умеренная асимметрия, но её интерпретация ограниченна».

Гипотеза 2 — Архитектурно-зависимые низкоразмерные зоны представлений

#### Метод

Forward на 2048 токенах реального корпуса. По каждому уровню скрытых состояний — центрирование и точный SVD; Participation Ratio = (Σσᵢ²)²/Σσᵢ⁴. Шея = уровень с минимальным PRc.

#### Контрольная пара

Qwen2.5-0.5B: PR(L0) = 25.88 → neck L4, PRc 1.17.

TinyLlama-1.1B: PR(L0) = 155.83 → neck L3, PRc 1.13.

Шея почти одинакова у tied и untied — низкоразмерная зона не специфична для tying.

Центрированные PR-профили контрольной пары: Qwen2.5-0.5B — neck L4 (PRc 1.17), TinyLlama-1.1B — neck L3 (PRc 1.13); низкоразмерные зоны не специфичны для tying.

#### Кросс-модельное (Exp5)

Исправление после bootstrap: для Qwen3-4B детерминированное первое окно дало neck L17, но 24 из 25 случайных окон локализуют основной аргминимум в L7. Поэтому везде используется robust neck L7; L17 остаётся вторичным локальным минимумом.

Exp5 (8 моделей): центрированные PR-профили по уровням — hourglass у 5/8 (PRc ≈ 1.08–1.17), ранние шеи с высоким полом у Pythia-2.8B и Phi-1_5, без mid-stack коллапса у Gemma.

#### Анизотропия эмбеддингов

raw / centered:

• smollm: 0.349 / 0.059;
• qwen0.5b: 0.159 / 0.043;
• tinyllama: 0.022 / 0.020;
• pythia-2.8b: 0.024 / 0.024;
• phi-1_5: 0.023 / 0.024;
• qwen3b: 0.083 / 0.021;
• qwen4b: 0.091 / 0.019;
• gemma: 0.064 / 0.027.

Осторожная интерпретация: tied-модели в среднем показывают более высокую сырую анизотропию, чем untied, но эффект не изолирован от hidden size, vocab, embedding scale, PLE и training recipe. Поэтому корректно говорить об ассоциации, а не о доказанной причине.

Exp5: сырая анизотропия эмбеддингов (mean|cos|, 2000 случайных слов) против размера модели — конус у tied-моделей (0.064–0.349), общий пол ≈ 0.02 у всех untied (красный = tied, зелёный = untied).

#### Устойчивость уровня шеи (bootstrap, 25 окон)

Argmin PRc проверен на 25 независимых случайных окнах:

• SmolLM L12 в 76% окон;
• qwen2.5-0.5b, TinyLlama, qwen2.5-3b, Gemma-4 — 25/25;
• Pythia-2.8B L6 в 88% окон;
• Phi-1_5 L4 в 68% окон;
• Qwen3-4B: robust L7 в 24/25 окон, L17 вторичный.

Это существенно усиливает H2 как контроль статистического артефакта: положение минимального PR не является случайным выбором одного окна.

#### Зоны сжатия и таксономия режимов

Новая таксономия H2:

1. Early funnel — Qwen2.5-0.5B, Qwen2.5-3B, TinyLlama.

2. Centered hourglass — SmolLM.

3. Multi-waist / mixed compression — Qwen3-4B.

4. High-floor early neck — Pythia-2.8B, Phi-1_5.

5. Distributed output-concentrated — Gemma-4.

Поэтому H2 следует формулировать не как «есть песочные часы», а как: трансформеры демонстрируют архитектурно-зависимые зоны эффективного сжатия представлений; их глубина, ширина и выраженность различаются между моделями [^8].

#### Произвольность порога`PRc < 2`исключена

Уровень шеи стабилен при всех порогах T ∈ {1.0, 1.25, 1.5, 2.0, 2.5, 3.0}. Случайная матрица тех же размеров даёт PRc ≈ 450–1137, на два-три порядка выше реальных necks.

#### Контентонезависимость: осторожная формулировка

PR повторили на пяти корпусах, включая shuffled token noise. Результат: neck = L3 во всех пяти случаях, PR neck 1.125–1.174.

Корректный вывод: в пределах протестированных корпусов и данного режима инференса положение минимального PR оказалось устойчивым к изменению содержания и порядка входа. Это снижает вероятность корпусного артефакта. Но shuffled control сохраняет маргинальное распределение токенов, поэтому нельзя утверждать абсолютную контентонезависимость.

Контентонезависимость: PR-профиль Qwen2.5-0.5B на пяти корпусах (включая shuffled token noise) — neck = L3 во всех случаях, PR neck 1.125–1.174.

#### Perturbation-тест: contracting attractor не подтверждён

Top-10 подпространство neck-L4 несёт 98.17% энергии. Затем инжектируется случайное возмущение и прогоняется через оставшийся стек. Метрика — усиление на единицу инъекции:

• parallel ×~14.6;
• radial/orthogonal ×~10.2–10.3.

Вывод: низкий PR не означает contracting attractor. Параллельные возмущения не подавляются; они усиливаются сильнее ортогональных.

Но обратный вывод тоже ограничен: это не доказывает, что система является repeller. Для строгого repeller-утверждения нужен анализ Jacobian относительно локальной траектории/manifold и нормировка на естественый gain residual stream. Корректная формулировка: динамическая интерпретация шеи как стягивающего аттрактора не получила подтверждения.

Возмущения top-10 подпространства neck-L4 (98.17% энергии): parallel усиливается ×~14.6, radial/orthogonal — ×~10.2–10.3; contracting attractor не подтверждён.

#### Вердикт H2

H2 поддержана как существование архитектурно-зависимых низкоразмерных зон представлений, но исходная сильная версия «универсальные песочные часы в середине стека как contracting attractor» отвергнута.

• 5 из 8 моделей демонстрируют выраженные низкоразмерные зоны PRc ≈ 1.08–1.17.
• Положение зон варьируется от ранней воронки до центрированных часов и смешения минимумов.
• Gemma, Pythia и Phi не показывают коллапс ниже PRc = 2.
• Perturbation-тест не подтверждает contracting attractor.
• Bootstrap, threshold sensitivity, random null и cross-corpus controls усиливают статус наблюдения как неслучайного.

Гипотеза 3 — Спектральная асимметрия весов и активаций

#### Метод

На шее берётся точный SVD: входных активаций и матрицы gate_proj. Критерий — k95.

#### Контрольная пара

Веса на шее остаются почти полноранговыми, тогда как активации обрываются на 2.3% и 0.4%. Топ-3 направления активируют 93–94% энергии, а топ-10 весов — лишь ~5%.

Это локальное подтверждение более общего наблюдения: низкоразмерная траектория сосуществует с почти полноранговым оператором. TinyLlama показывает, что асимметрия не требует weight tying.

Точный SVD на шеях контрольной пары (матрицаgate_proj): веса почти полноранговы (k95 ≈ 79–85%), входящие активации обрываются на 2.3% и 0.4% размерности, топ-3 направления — 93–94% энергии.

#### Мост к предыдущему исследованию

Этот результат согласуется с results_v6/: активационные конусы измерялись там на всех слоях ансамбля, здесь — точечно на шее. Минимальный эффективный ранг весов и активационные d90 согласуются по порядку величины.

#### Практический вывод для квантования — осторожный

Если бы сложность квантования определялась только rank весов, геометрические методы работали бы. Они не работают. Совместно с GPTQ/SmoothQuant это указывает: сложность квантования определяется outliers и curvature, а не только rank.

Но H3 не является теоремой о невозможности квантования. Это спектральное наблюдение. Квантование зависит от:

• rank;
• outliers;
• scale;
• Hessian/curvature;
• распределения ошибок;
• downstream sensitivity.

#### Вердикт H3

H3 подтверждена локально: на измеренных шеях веса почти полноранговы, активации радикально низкоразмерны, и асимметрия воспроизводится у tied и untied моделей. Из этого следует, что activation geometry не может служить прямым прокси для weight compressibility. Но вывод о невозможности квантования удалён: квантование определяется не только rank.

Гипотеза 4 — Representation compression ≠ memory degradation

#### Важная оговорка

Все измерения H4 выполнены на модели Qwen2.5-0.5B, потому что у TinyLlama max_pos = 2048. Кросс-модельное расширение — Exp6.

#### Наивная проверка H4: давление массы

Raw-метрика cos к центру массы падает от 100 к 1000, затем плато — конечноразмерный эффект. DC-free проверка плоская (~0.29 на всех длинах). Индивидуальность представлений не теряется; «давление массы» как геометрический эффект не воспроизводится.

Qwen2.5-0.5B: cos к центру массы (raw) и DC-free вариант против длины последовательности — плато, «давление массы» как геометрический эффект не воспроизводится.

#### E4b: DC-энергия и PR по длине

N=100 загрязнено конечноразмерным раздутием. E_DC prefix flat; mixed показывает слабую статическую тематическую интерференцию. PRc и k95c не растут.

E4b (Qwen2.5-0.5B): E_DC, центрированный PR и k95 против длины N = 100–8192 — плоские профили, сжатия представлений по длине нет.

#### E4e: needle-in-haystack logit probe

Lifts flat в 5–7 nats; argmax 30/30. Функциональной деградации по длине нет.

E4e (Qwen2.5-0.5B): logit-lift найденной иглы против длины контекста — flat, 30/30 argmax.

#### E4f: позиционный скан / LiM-тест

Профиль flat по позиции, максимум — в середине. Lost-in-the-Middle отсутствует.

E4f (Qwen2.5-0.5B): logit-lift по пяти позициям окна (p = 0.05–0.95), 2 реплики — профиль flat, максимум в середине (p = 0.45).

#### Вердикт H4

H4 локально фальсифицирована: на Qwen2.5-0.5B до 8192 токенов representation compression не объясняет retrieval degradation.

Но из этого не следует, что LiM обязательно является attention dilution. Наши данные показывают отсутствие связи в измеренной конфигурации. Attention и позиционные механизмы остаются кандидатами, но не установлены как причина.

Кросс-модельное расширение H4 (Exp6, 8 моделей)

Per-position lift scan на всех восьми моделях. Inversion Contrast = Mean Lift(середина) − Mean Lift(края).

Смешанный описательный результат: inverted-U у пяти моделей, классическая U у трёх. Чистого size-тренда нет, паттерна по tying тоже нет. Ни один контраст не значим при α = 0.05 из-за малого числа позиций и широких CI. Поэтому различие «inverted-U vs классическая U» на данном наборе носит описательный характер, а не статистически установленный эффект.

Exp6 (8 моделей): Inversion Contrast = Mean Lift(середина) − Mean Lift(края). > 0 — inverted-U (средина лучше), < 0 — классическая U / Lost-in-the-Middle. Красный — tied, зелёный — untied.

#### Last-layer PRc и знак IC: exploratory association

В данной выборке все модели с last-layer PRc выше ≈6.8 дают IC > 0, ниже — IC < 0; разрыв между группами 1.64, пересечений нет (n=8).

Осторожная формулировка: это exploratory cross-model association. Порог подобран на той же малой выборке, поэтому возможна overfitting-by-threshold. Для превращения в отдельный результат нужна проверка на расширенном наборе моделей и, желательно, common-length reanalysis.

#### Гипотеза о расположении зон

Qwen-модели с ранней воронкой показывают разный знак IC. Pythia и Phi имеют раннюю шею, но inverted-U. Простая формулировка «одна сильная талия в начале стека → LiM» не подтверждается. Более осторожно: различие, возможно, связано с наличием коллапса ниже PRc = 2, но на n=8 это описательное наблюдение.

Multi-level retrieval probe: тип операции над информацией

Qwen2.5-0.5B, L=2048, три уровня иглы.

Профиль flat по позиции. Single-hop recall силён; двухходовые реляционные цепочки обваливаются до ~+1.5.

Корректный вывод: данный probe выявляет резкое снижение logit-lift для двухходовой реляционной цепочки по сравнению с одноходовым точным и семантическим извлечением в Qwen2.5-0.5B. Это указывает на возможную роль типа операции над информацией. Но это не установленный общий архитектурный лимит реляционного связывания без проверки на других цепочках, отношениях и моделях.

Multi-level retrieval probe (Qwen2.5-0.5B, L=2048): logit-lift для L1 exact / L2 semantic / L3 relational 2-hop по трём позициям — flat профиль для single-hop, обвал до ~+1.5 на двухходовой цепочке.

Exp9: пик функциональной чувствительности против геометрической шеи

PR-профиль Exp5 измеряет геометрию представлений. Exp9 измеряет, насколько выход модели чувствителен к локальному шуму в выводе каждого слоя.

Главный результат Exp9: геометрическая шея и пик функциональной чувствительности не совпадают.

• У Gemma функциональная чувствительность максимальна в L12, где нет геометрического коллапса.
• У Qwen геометрическая шея L4 почти не переходит в локальную функциональную чувствительность.
• Только TinyLlama частично согласован: и PR-коллапс, и функциональная важность у входного края.

Терминологическая правка: вместо «функциональное бутылочное горлышко» используется «пик функциональной чувствительности». KL после H + εη говорит о чувствительности выхода к шуму, а не о причинной необходимости слоя. Для bottleneck-утверждений нужны ablation или activation patching.

Часть 4: синтез и discussion, заключение, код и данные.

Часть 4. Синтез и discussion

Три независимых уровня

Вся работа сводится к формуле:

W-geometry ≠ X-geometry ≠ F-function

• Геометрия параметров`W`: спектр весовых матриц, градиентные пути, tying status, embedding scale.
• Геометрия представлений`X_l`: эффективная размерность скрытых состояний по слоям, зоны сжатия, анизотропия, устойчивость к perturbation.
• Функциональный доступ`F`: retrieval lift, позиция/тип запроса, локальная чувствительность логов к выводу слоя.

Три уровня не обязаны совпадать — и на наших данных они не совпадают. Exp5 говорит, где представления низкоранговы. Perturbation-тест показывает, что низкий ранг не равен contracting dynamics. Exp9 показывает, где логи функционально чувствительны. H4 показывает, что геометрическая компрессия не объясняет локальную retrieval degradation.

Что мы показали после переоценки

H1

Weight tying ассоциирован с асимметрией градиентных путей, но не установлен как единственная причина. Во всех tied-моделях градиенты входного и выходного путей практически ортогональны; в четырёх из пяти выходной путь доминирует по норме. Gemma-4 показывает инверсию, частично объяснённую scale и PLE. Untied-модели также демонстрируют умеренную асимметрию отношений норм, но их ratio требует осторожной нормировки.

H2

Низкоразмерные зоны представлений реальны, устойчивы к корпусным и пороговым артефактам, но архитектурно-зависимы. Песочные часы — один из режимов, не универсальная форма. Perturbation-тест отвергает contracting attractor-интерпретацию.

H3

Спектральная асимметрия «полноранговый закон / низкоразмерная траектория» воспроизводится локально у tied и untied моделей. Это объясняет провал геометрического сжатия весов, но не даёт теоремы о невозможности квантования.

H4

Representation compression не является достаточным объяснением локальной retrieval degradation. Кросс-модельные формы U-профиля описательны и статистически незначимы на n=8. Attention/positional mechanisms остаются кандидатами, но не доказаны.

Exp9

Функциональная чувствительность может достигать пика там, где геометрической компрессии нет. Это один из самых чистых контрпримеров против сведения X и F.

Сводная таблица: что подтверждено, что отвергнуто, что остаётся гипотезой

Candidate cross-level bridge: output dimensionality and retrieval profile

Среди всех внутренних связей наиболее перспективной является не mid-stack neck, а last-layer effective dimensionality. В данной выборке знак inversion contrast описательно разделяется по PRc последнего скрытого слоя: модели с более высоким last-layer PRc склонны давать inverted-U, с более низким — классическую U. Это не закон и не причинный вывод, но он указывает на возможный мост между геометрией представлений и функциональным профилем извлечения: выходная геометрия может быть более релевантной для retrieval-профиля, чем наличие низкоразмерной зоны в середине стека.

Relation to existing literature

Weight tying

Наши измерения градиентов дают механизм-объяснение выравниванию общей матрицы с выходом: не статическое свойство, а доминирование одного пути в общем апдейте. Но переоценка добавляет: LM-head gradient bottleneck и embedding scaling являются важными конкурентными объяснениями, особенно для untied-моделей и Gemma-инверсии.

Anisotropy и intrinsic dimensionality

Мы не утверждаем, что anisotropy создаётся исключительно tying. Более корректно: tied-модели в выборке показывают более высокую сырую анизотропию, а низкоразмерность представлений является протяжённой зоной с дрейфующей формой.

Quantization

H3 даёт архитектурное объяснение, почему геометрические методы на весах не работают: веса полноранговы. Но квантование определяется outliers/curvature, поэтому GPTQ и подобные методы остаются валидными.

Lost in the Middle

Наш локальный отрицательный результат не противоречит Liu et al. (2023): мы отсекаем геометрическое объяснение через representation compression, а не сам эффект LiM. Кросс-модельный зигзаг подтверждает, что форма U определяется моделью и, вероятно, механизмом внимания/позиционирования, но конкретная причина в данной работе не установлена.

Information Bottleneck и Neural Collapse

Низкоразмерные зоны согласуются с IB-идеей компрессии, но perturbation-тест показывает, что это компрессия дисперсии без обязательного динамического притяжения. Аналогия с Neural Collapse ослаблена.

Практические выводы: не рекомендации, а дизайн-гипотезы

Важно: текущая работа не устанавливает причинно-следственных архитектурных рекомендаций. Ниже — гипотезы для будущего дизайна и абляций.

1. Weight tying и KV-кэш

Дизайн-гипотеза: weight tying ассоциирован с более выраженной анизотропией эмбеддингов и доминированием одного градиентного пути в исследованной выборке. Это может быть полезно, если целью является низкоразмерный KV-кэш, но прямая цепочка weight tying → better KV compression → system benefit не установлена.

2. Untied модели и изотропия

Дизайн-наблюдение: untied-модели TinyLlama, Pythia и Phi показывают низкую сырую анизотропию эмбеддингов. Это может быть полезно, если требуется более изотропное входное пространство, но цена — дополнительные параметры и возможная потеря регуляризационного эффекта tying.

3. Sliding-window attention и mid-stack collapse

Дизайн-гипотеза: у Gemma-4 отсутствие mid-stack collapse коррелирует с преобладанием sliding-window attention. Это интересное архитектурное наблюдение, но причинный вывод требует абляции окна внимания или сравнения с full-attention вариантом того же семейства.

4. Multi-level retrieval

Дизайн-гипотеза: в данном probe двухходовое реляционное связывание оказывается значительно труднее одноходового exact/semantic retrieval. Архитекторам малых моделей следует учитывать тип операции над информацией, а не только длину контекста или геометрию представлений.

Ограничения и будущая работа

1. n = 8 моделей. Кросс-модельные тренды запутаны размером, vocab, архитектурой, attention mechanism, positional encoding, training recipe и tying status. Работа является observational, не causal.

2. Untied H1 ratios не полностью сопоставимы с tied. Для строгих выводов нужен parameter- и scale-normalized пересчёт градиентных норм.

3. Gemma multi-rep не выполнена из-за VRAM. Её инверсия — single-run gradient measurement plus reproduced Part B/v3 functional checks.

4. Qwen3-4B neck исправлен на robust L7. L17 остаётся вторичным минимумом; все таблицы синхронизированы.

5. Perturbation-тест attractor выполнен на одной модели и одном neck. Для глобального вывода нужны multi-seed и несколько моделей разных режимов.

6. Exp9 измеряет локальную чувствительность, не причинную необходимость. Для functional bottleneck-утверждений нужны ablation/patching.

7. Exp6 статистически незначим на n=8. Last-layer PRc threshold ≈6.8 — exploratory association, подобранная на той же выборке.

8. H4 проверена локально до 8192 токенов на base-модели. Instruction-tuned модели, 32k/128k контексты и другие attention mechanisms могут вести себя иначе.

9. Смешанная точность fp32/bf16. Перекрёстные сравнения норм даны как направленные; для калибровки нужен контрольный прогон в более высокой точности.

10. Корпус одного домена. Cross-corpus control включает shuffled tokens, но не покрывает код, диалоги, мультимодальные и другие распределения.

Заключение: геометрия как карта несводимых режимов

Мы начали с вопроса «что создаёт асимметрию между плотными весами и узкими представлениями?» и получили более сложный ответ: архитектура создаёт несколько несводимых геометрических и функциональных режимов, которые нельзя описать одной «геометрией модели».

Weight tying ассоциирован с асимметрией градиентных путей и повышенной сырой анизотропией, но не установлен как необходимая причина асимметрии: untied-модели также показывают умеренную асимметрию путей. Gemma-4 демонстрирует инверсию доминирования, значительная часть которой объясняется масштабированием и PLE-каналом, но остаток остаётся структурным.

Низкоразмерные зоны представлений реальны, устойчивы к bootstrap, порогу PR, случайному null и кросс-корпусным проверкам. Но они не имеют единой канонической формы: ранняя воронка, центрированные часы, тройная талия, высокий пол и выходное сжатие — разные архитектурные режимы. Perturbation-тест показывает, что низкий PR не равен contracting attractor.

Спектральная асимметрия «полноранговые веса / низкоразмерные активации» объясняет, почему геометрическое сжатие весов не работает, но не даёт теоремы о невозможности квантования.

Гипотеза о том, что низкоразмерность представлений вызывает Lost-in-the-Middle, локально фальсифицирована. Это не устанавливает attention dilution как причину, но отсекает целый класс геометрических объяснений.

Exp9 добавляет последний важный штрих: геометрическая шея и пик функциональной чувствительности находятся в разных местах. У Gemma функциональная чувствительность максимальна там, где нет геометрического коллапса; у Qwen геометрический коллапс почти не переходит в локальную функциональную критичность.

Итоговая формула работы:

**low PR ⇏ attractor;

low PR ⇏ functional bottleneck;

low PR ⇏ memory degradation;

low-rank activations ⇏ unquantizable weights;

weight tying ⇏ unique cause of path asymmetry.**

И наоборот, наиболее устойчивый позитивный результат:

W, X и F — разные уровни описания LLM; их совпадение является модель-зависимым, а не архитектурной необходимостью.

Код и данные

Исходные эксперименты контрольной пары: Exp 1 (experiments/g1_gradient_interference/) — Exp 2–3 (experiments/g2_geometry_hourglass/) + оригинальный Exp 4 (H4, experiments/g3_long_context_h4/); результаты в results/.

Переформулировка H4 (experiments/g3_long_context_h4/): скрипты run_e4b_dc_energy.py, run_e4e_needle.py, run_e4f_position_scan.py; метрики в experiments/g3_long_context_h4/results/e4b_metrics.json, e4e_metrics.json, e4f_metrics.json.

Кросс-модельное расширение (experiments/cross_model/): скрипты Exp 5–7 и compute_zone_stats.py; результаты — results/cross_model_results.json, results/cross_model_summary.md, work JSONs results/data/exp{5,6,7}_metrics.json, зона-статистика results/data/neck_zone_stats.json, метаданные моделей results/models_metadata.json.

Функциональный скан пертурбаций (experiments/g4_dynamics_attractor/): скрипт run_exp9_hidden_perturbation.py; результаты — results/data/exp9_hidden_perturbation_metrics.json, лог results/logs/exp9_run.log.

• Gemma gradient perturbation sweep → results/data/gemma_gradient_perturbation_metrics.json;
• функциональная проверка инверсии + v3 PLE-абляция → results/data/gemma_functional_impact_metrics.json, results/data/gemma_v3_ple_ablation_metrics.json;
• PR cross corpus → results/data/pr_cross_corpus_metrics.json;
• attractor subspace perturbation → results/data/attractor_subspace_perturbation_metrics.json;
• multi-level retrieval probe → results/data/multi_level_retrieval_probe_metrics.json.

• null-модели → results/data/null_model_metrics.json;
• threshold sensitivity → results/data/point5_threshold_sensitivity.json;
• multi-rep Exp7 → results/data/exp7_multisubsample_metrics.json;
• bootstrap Exp5 → results/data/exp5_neck_bootstrap_metrics.json;
• CI контраста инверсии Exp6 → results/data/exp6_ic_ci.json;
• multi-seed Exp9 → results/data/exp9_multiseed_metrics.json.

p.2 добавлены Pythia-2.8B и Phi-1_5; пайплайн experiments/cross_model/download_p2_models.bat, run_exp5_anatomy_p2.bat, run_exp5_neck_bootstrap_p2.bat, run_exp6_lim_scan_p2.bat, run_exp7_multisubsample_p2.bat. Бутстреп Pythia: GPU-прогон сохранил 25 окон; производные поля reference_neck = 6, fraction_match_reference = 0.88 заполнены CPU-патчем experiments/common/patch_pythia_bootstrap.py. IC-CI пересчитан experiments/cross_model/exp6_ic_ci.py; zone stats — experiments/cross_model/compute_zone_stats.py.

Предыдущее исследование: cmq_experiment/results_v6/.

Сноски

Сноска 7 (arXiv:2405.17130) исключена из списка: этот идентификатор фактически соответствует другой статье, а заявленный заголовок не найден в arXiv.

[^1]: Lopardo et al. Weight Tying Biases Token Embeddings Towards the Output Space. arXiv:2603.26663. https://arxiv.org/abs/2603.26663

[^2]: Godey et al. Lost in Backpropagation: The LM Head is a Gradient Bottleneck. arXiv:2603.10145. https://arxiv.org/abs/2603.10145

[^3]: Tao et al. AEGIS: Attention-Embedding Gradient Isolation Shield — Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning. arXiv:2608.19534. https://arxiv.org/abs/2608.19534

[^4]: Stollenwerk et al. Output Embedding Centering for Stable LLM Pretraining. arXiv:2601.02031. https://arxiv.org/abs/2601.02031

[^5]: Bernas et al. Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics. arXiv:2604.08764. https://arxiv.org/abs/2604.08764

[^6]: Song et al. Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation. arXiv:2503.22547. https://arxiv.org/abs/2503.22547

[^8]: Wu et al. Variable-Width Transformers. arXiv:2606.18246. https://arxiv.org/abs/2606.18246

[^9]: Gemma 4 Technical Report. arXiv:2607.02770. https://arxiv.org/abs/2607.02770

[^10]: Wijmans et al. Cut Your Losses in Large-Vocabulary Language Models. arXiv:2411.09009. https://arxiv.org/abs/2411.09009

[^11]: Hsieh et al. Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization. arXiv:2406.16008. https://arxiv.org/abs/2406.16008

[^12]: Salvatore et al. Lost in the Middle: An Emergent Property from Information Retrieval Demands in LLMs. arXiv:2510.10276. https://arxiv.org/abs/2510.10276

[^13]: Gupte et al. What Works for 'Lost-in-the-Middle' in LLMs? A Study on GM-Extract and Mitigations. arXiv:2511.13900. https://arxiv.org/abs/2511.13900

Автор: Острожных Юрий

Лицензия: CC BY-SA 4.0

Репозиторий: github.com/xmillogx-cmd/