Выбираем иИ движок под твоё железо

⚙️ Плотные Dense модели ≤14B (Llama, Mistral, Qwen-dense)

• ExLlamaV3 (EXL3-квантизация)
  Бьёт llama.cpp на 15–20% по tok/s за счёт оптимизированных kernel'ов под Ampere. На 3060 стабильно 55–66 tok/s на 8B EXL3 4.0bpw

• llama.cpp — если нужен мультимодальный пайплайн или GGUF-зоопарк. ~45–52 tok/s на тех же условиях.

📉 Тяжёлые MoE 100B+ (агентские задачи\кодинг)

• FreeToken v0.2.0
  Спящие эксперты паркуются в 32GB RAM, активные — в VRAM.
  Запускает MoE до 284B.
  Намного быстрее KTransformers:
  не ограничивает общую производительность и пропускную способность всей системы на CPU↔GPU шине при роутинге.
  На 5700X + 3060: ~36–42 tok/s на MoE-128B 😱

• Strata v0.1.43
  Единственный движок, корректно обрабатывающий её разреженное внимание. Парковка экспертов + offload в RAM.
  Без Strata — либо OOM, либо деградация качества.
  Qwen3.8-Flash-Next (125B, Sparse Attention)
  ~38 tok/s на том же железе.

Ставь ExLlamaV3 для чата, FreeToken для агентов и кодинга,
Strata если нужен только Qwen3.8 Flash Next.

👇 Обсуждаем | Подписываемся | Играем 😉

#LocalLLaMA #ExLlamaV3 #FreeToken #Strata #Qwen #RTX3060 #MoE