Friday, November 20, 2026

Локальный ИИ на Linux и RTX 5070 Ti (16 ГБ VRAM) без иллюзий

CUDA 13.4, сборка llama.cpp v1.0.0, настройка Gemma 4 26B в Locally Uncensored и честный A/B-тест против облака.

Text rendered via Dual-Core compilation (Human author + LLM co-processor).
Англоязычная версия данной заметки доступна здесь https://alex-ber.medium.com/c604e4051a16

Большинство руководств по локальному запуску языковых моделей впадают в одну из двух крайностей: либо предлагают поставить урезанную 8B-модель через Ollama в один клик, либо предполагают наличие видеокарты на 24–32 ГБ VRAM, а в финале неизменно обещают «полную замену платным облачным подпискам».

Ниже разобран полный цикл сборки рабочей локальной станции на массовой десктопной конфигурации с 16 ГБ видеопамяти — от установки драйверов NVIDIA и CUDA Toolkit до компиляции первого стабильного релиза llama.cpp v1.0.0 и тонкой настройки клиента Locally Uncensored с бесплатным веб-поиском. В последней части приведены результаты прямого A/B-сравнения этой связки с облачной моделью Gemini 4 Hydrogen, наглядно показывающие, какие задачи локальная модель решает отлично, а на каких рассыпается или самоуверенно галлюцинирует.

Ниже есть продолжение.

Конфигурация стенда и предварительные условия (ноябрь 2026)

Чтобы инструкция оставалась воспроизводимой даже после обновления интерфейсов и флагов, зафиксируем срез версий и железа на берегу:

  • ОС и окружение: Ubuntu 24.04 LTS (графическая сессия Xorg, обновлённое ядро Linux ветки 7.0). Важное предварительное условие: предполагается, что в настройках BIOS/UEFI отключён режим Secure Boot (в противном случае при установке DKMS-модулей драйвера потребуется ручная регистрация ключа MOK на синем экране при загрузке).
  • Процессор, память, диск: AMD Ryzen 7 9700X (архитектура Zen 5 с полным набором AVX-512), 64 ГБ DDR5-6000, SSD Crucial T705 PCIe Gen5 NVMe.
  • Видеокарта: Gigabyte GeForce RTX 5070 Ti 16 ГБ GDDR7 (архитектура Blackwell, sm_120a).
  • Стек NVIDIA: драйвер 615.71.09 (ветка 615-open) + CUDA Toolkit 13.4.2 (nvcc V13.4.92).
  • Инференс и клиент: llama.cpp v1.0.0 + Locally Uncensored v3.1.2.
  • Модель: gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf (архитектура MoE: 26 млрд параметров всего, ~3,8–4 млрд активных на токен; размер файла — 15,8 ГиБ на диске или 17,0 ГБ в веб-интерфейсе Hugging Face).

Часть 1. Драйверы NVIDIA (615-open) и CUDA Toolkit 13.4.2

Перед началом работ проверяем текущее состояние видеодрайвера и старых установок CUDA в системе:

nvidia-smi
nvcc --version
ls -ld /usr/local/cuda*

Актуальную матрицу совместимости версий CUDA с ML-фреймворками удобно сверять на странице PyTorch Get Started, а поддерживаемые ветки драйверов — на официальной странице загрузки драйверов NVIDIA.

1.1. Установка драйвера ветки 615 (Open Kernel Modules) и чистка DKMS

Для видеокарт поколения Blackwell (RTX 50-й серии) используются открытые модули ядра (-open), а родной для CUDA 13.4 является ветка драйвера 615. Предварительно убедитесь, что для вашего текущего ядра установлены заголовочные файлы (linux-headers), иначе DKMS пропустит сборку модуля.

Практический нюанс Ubuntu: из-за механизма поэтапной раскатки обновлений (Phased Updates) или смешанных репозиториев установка одного лишь верхнего метапакета nvidia-driver-615-open иногда оставляет часть библиотек на старой подверсии (что сразу видно при проверке через apt install --dry-run) либо конфликтует с 32-битными библиотеками на машинах со Steam/Wine, приводя после перезагрузки к ошибке Driver/library version mismatch. Поэтому надёжнее передать полный список связанных пакетов ветки 615 явно вместе с флагом обхода поэтапных блокировок, принудительно выровняв версии модулей ядра (KMD) и пользовательских библиотек (UMD):

sudo apt install -o APT::Get::Always-Include-Phased-Updates=true \
  dkms \
  libnvidia-cfg1-615 \
  libnvidia-common-615 \
  libnvidia-compute-615 \
  libnvidia-decode-615 \
  libnvidia-egl-wayland1 \
  libnvidia-encode-615 \
  libnvidia-extra-615 \
  libnvidia-fbc1-615 \
  libnvidia-gl-615 \
  libxnvctrl0 \
  nvidia-compute-utils-615 \
  nvidia-dkms-615-open \
  nvidia-driver-615-open \
  nvidia-kernel-common-615 \
  nvidia-kernel-source-615-open \
  nvidia-settings \
  nvidia-utils-615 \
  xserver-xorg-video-nvidia-615

Если при переходе со старого драйвера пакетный менеджер спотыкается на распакованных, но не сконфигурированных пакетах, завершаем настройку принудительно и повторяем команду установки выше:

# 1. Донастроить распакованные пакеты
sudo dpkg --configure -a

# 2. Исправить зависимости и завершить транзакцию
sudo apt --fix-broken install

После завершения установки обязательно перезагружаем компьютер (sudo reboot), затем проверяем собранные модули ядра:

dkms status

Если в выводе видны старые ядра Linux, которые больше не используются в системе:

nvidia/615.71.09, 6.17.0-35-generic, x86_64: installed
nvidia/615.71.09, 7.0.0-28-generic, x86_64: installed
nvidia/615.71.09, 7.0.0-31-generic, x86_64: installed

Лишние сборки можно аккуратно удалить из базы DKMS:

sudo dkms remove nvidia/615.71.09 -k 6.17.0-35-generic
dkms status

1.2. Установка CUDA Toolkit 13.4.2 с фиксацией версии

Переходим на страницу CUDA Toolkit Downloads и выбираем Linux → x86_64 → Ubuntu → 24.04 → deb (local). Мы намеренно используем изолированный локальный установщик deb (local) вместо сетевого репозитория deb (network): это защищает рабочую систему от ситуации, когда плановый sudo apt upgrade через пару месяцев внезапно подтянет из сетевого репозитория NVIDIA новую ветку драйвера и поломает графическое окружение.

Примечание по работе с пакетами: обычные прикладные .deb-файлы всегда лучше ставить через sudo apt install ./package.deb для автоматического разрешения зависимостей. Установочный пакет cuda-repo-...-local — это исключение (bootstrap-архив локального репозитория весом ~5,5 ГБ), который классически распаковывается в /var/ через dpkg -i. Скачиваем его в домашнюю папку загрузок, а не в /tmp, чтобы не забить оперативную память на системах с tmpfs.

mkdir -p "\$HOME/Downloads" && cd "\$HOME/Downloads"
wget -c https://developer.download.nvidia.com/compute/cuda/13.4.2/local_installers/cuda-repo-ubuntu2404-13-4-local_13.4.2-1_amd64.deb

# Распаковываем локальное зеркало репозитория
sudo dpkg -i cuda-repo-ubuntu2404-13-4-local_13.4.2-1_amd64.deb

# Копируем GPG-ключ репозитория (точное имя файла выведет терминал, например cuda-C1A9E1D1-keyring.gpg)
sudo cp /var/cuda-repo-ubuntu2404-13-4-local/cuda-*-keyring.gpg /usr/share/keyrings/

# Устанавливаем инструментарий CUDA 13.4 (начиная с ветки 13.4 видеодрайвер исключён из состава cuda-toolkit)
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-4

# Освобождаем ~11 ГБ на диске: удаляем скачанный установщик и отработавшее локальное зеркало в /var/
sudo dpkg -P cuda-repo-ubuntu2404-13-4-local
sudo rm -rf /var/cuda-repo-ubuntu2404-13-4-local "\$HOME/Downloads/cuda-repo-ubuntu2404-13-4-local_13.4.2-1_amd64.deb"
sudo apt-get update

(Важно: никогда не ставьте пакет nvidia-cuda-toolkit из стандартного репозитория самой Ubuntu — там лежит сильно устаревшая версия без поддержки архитектуры Blackwell. При локальной установке версия тулкита жёстко зафиксирована на 13.4; обновление через общий метапакет apt install cuda-toolkit работает только при подключённом сетевом репозитории cuda-keyring).

Проверяем связь с видеокартой и наличие компилятора:

dkms status
nvidia-smi
/usr/local/cuda/bin/nvcc --version

1.3. Правильное добавление nvcc в системный PATH

По умолчанию директория /usr/local/cuda/bin отсутствует в системном PATH (при этом вручную прописывать LD_LIBRARY_PATH не требуется — пакет cuda-toolkit-13-4 сам регистрирует пути к библиотекам в /etc/ld.so.conf.d/ через ldconfig). Оформим подключение bin глобально для всех login-шеллов через /etc/profile.d/99-cuda-path.sh, а конструкцией case защитим переменную PATH от дублирования путей при запуске вложенных сессий (tmux, screen):

sudo nano /etc/profile.d/99-cuda-path.sh

Вставляем POSIX-совместимый код:


# Check if the CUDA bin directory is already in PATH
case ":\${PATH}:" in
    *":/usr/local/cuda/bin:"*)
        # Path is already present, do nothing
        ;;
    *)
        # Path not found — add it to the beginning, giving CUDA utilities priority
        export PATH="/usr/local/cuda/bin:\${PATH}"
        ;;
esac

Задаём права чтения и активируем настройку в текущем окне терминала (чтобы переменная автоматически подхватилась во всех новых вкладках терминала и графических IDE, один раз выйдите из сессии рабочего стола и зайдите снова):

sudo chmod 644 /etc/profile.d/99-cuda-path.sh
source /etc/profile.d/99-cuda-path.sh
nvcc --version

Часть 2. Выбор модели под 16 ГБ VRAM и многопоточное скачивание

На рабочей станции с 16 ГБ VRAM и 64 ГБ DDR5 локальные модели делятся на три класса:

  1. Малые плотные модели (Qwen3.5-9B или плотная Gemma 4 12B): легко помещаются целиком в видеопамять, но заметно уступают старшим моделям в глубине знаний, чаще выдумывают факты без опоры на приложенный текст, а 9B-модели дополнительно проседают на семитских языках (например, иврите).
  2. Крупные плотные модели (Qwen3.8-27B, ~17 ГБ в Q4_K_M): целиком в 16 ГБ VRAM не помещаются, а при выгрузке части плотных слоёв в системную память DDR5 скорость генерации падает в разы — до 10–15 токенов в секунду, так как процессор читает эти веса на каждом шаге. (Отдельная ловушка — популярные любительские сборки с приставкой Uncensored, полученные методом аблитерации весов: удаление вектора отказа нарушает калибровку скептицизма модели, из-за чего в задачах строгого фактчекинга и аудита она начинает находить до 37–40% вымышленных ошибок в полностью корректных утверждениях).
  3. Оптимум — тонкозернистая MoE-модель Gemma 4 26B A4B: при общем объёме знаний на 26 млрд параметров на каждый токен активируется около 3,8–4 млрд параметров. По сравнению с MoE-конкурентами линейки Qwen 35B-A3B она выдаёт гораздо более живой литературный слог на русском, английском и иврите без переводного канцелярита, а вытеснение ~2 ГБ неактивных экспертов в быструю DDR5 практически не сказывается на скорости.

Зададим рабочую директорию в переменной \$AI_DIR и скачаем динамический квант UD-Q4_K_XL (15,8 ГиБ на диске / 17,0 ГБ в браузере) в 16 параллельных потоков с автодокачкой при обрыве связи через aria2c:

export AI_DIR="\$HOME/local-ai"
mkdir -p "\$AI_DIR"

sudo apt update && sudo apt install -y aria2

aria2c -x 16 -s 16 -k 10M -c \
  -d "\$AI_DIR" \
  -o gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \
  "https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf"

Примечания: 1) Модели Gemma 4 открыты под лицензией Apache 2.0 и качаются без авторизации; однако если провайдер или сам Hugging Face ограничивает скорость неавторизованных многопоточных загрузок, добавьте к команде флаг --header="Authorization: Bearer \$(cat ~/.cache/huggingface/token)" — чтение из файла убережёт ваш токен от сохранения в открытом виде в ~/.bash_history. 2) Динамические сборки UD-Q4_K_XL (Unsloth) и Q4_K_L (Bartowski) сохраняют критичные слои внимания в повышенной точности, тогда как базовый квант Q4_0 заметнее теряет качество на длинном контексте. Если же требуется уместить 100% весов строго внутри 16 ГБ VRAM вообще без участия RAM, подойдёт более лёгкий квант UD-IQ4_NL (~12,7 ГиБ).


Часть 3. Компиляция llama.cpp v1.0.0, запуск сервера и телеметрия железа

В ноябре 2026 года спустя 3,5 года разработки вышел исторический релиз llama.cpp v1.0.0, зафиксировавший стабильность C API/ABI библиотек libllama и libggml по правилам Semantic Versioning. Почему мы компилируем его из исходников, а не берём готовый бинарник? Универсальные сборки из релизов не сочетают одновременно свежую CUDA 13.4 под Blackwell (sm_120a) и оптимизацию -DGGML_NATIVE=ON под инструкции AVX-512 процессора Ryzen 7 9700X (Zen 5) — а именно процессор при частичном оффлоаде MoE обсчитывает экспертов, оставшихся в оперативной памяти DDR5.

При сборке под актуальную ветку v1.0.0 учитываем три технических нюанса:

  • устаревший флаг LLAMA_CURL удалён — для сетевых функций теперь используется LLAMA_OPENSSL=ON (нужен пакет libssl-dev);
  • прежний флаг GGML_CUDA_FA_ALL_QUANTS заменён на GGML_CUDA_FA_QUANTS=all (компилирует быстрые CUDA-ядра FlashAttention под все варианты квантования KV-кэша);
  • при наличии в системе пакета ccache скрипт сборки ggml автоматически подключает его через встроенную опцию GGML_CCACHE=ON, ускоряя будущие пересборки в десятки раз, а флаг -DCMAKE_CUDA_ARCHITECTURES=native сам выбирает целевую архитектуру 120a-real под RTX 5070 Ti.

3.1. Сборка из исходников

# 1. Зависимости для сборки
sudo apt update && sudo apt install -y build-essential cmake ninja-build git libssl-dev pkg-config ccache

# 2. Проверка компилятора CUDA (с фолбэком, если открыта новая вкладка терминала до перелогина в систему)
NVCC_BIN="\$(command -v nvcc || echo /usr/local/cuda/bin/nvcc)"
echo "Используется CUDA компилятор: \$NVCC_BIN"
"\$NVCC_BIN" --version

# 3. Клонируем строго релизный тег v1.0.0 (при наличии старой папки llama переименуйте её заранее в llama.old)
export AI_DIR="\${AI_DIR:-\$HOME/local-ai}"
git clone --depth 1 --branch v1.0.0 https://github.com/ggml-org/llama.cpp.git "\$AI_DIR/llama"
cd "\$AI_DIR/llama"

# 4. Конфигурация CMake под Ryzen 7 9700X (AVX-512) + RTX 5070 Ti (Blackwell sm_120a)
cmake -S . -B build -G Ninja \
  -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_CUDA_COMPILER="\$NVCC_BIN" \
  -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES=native \
  -DGGML_CUDA_FA_QUANTS=all \
  -DGGML_NATIVE=ON \
  -DLLAMA_OPENSSL=ON \
  -DLLAMA_BUILD_TESTS=OFF

# 5. Компилируем только нужные цели на всех потоках процессора (занимает ~2–3 минуты)
cmake --build build --config Release -j "\$(nproc)" --target llama-server llama-cli llama-bench

# 6. Создаём симлинки в корне папки llama для удобного запуска
ln -sfn build/bin/llama-server ./llama-server
ln -sfn build/bin/llama-cli ./llama-cli
ln -sfn build/bin/llama-bench ./llama-bench

# 7. Быстрая проверка версии и видимости RTX 5070 Ti (compute capability 12.0)
./llama-server --version
./llama-bench --list-devices

Разбор ключей ln -sfn: -s создаёт символическую ссылку, -f принудительно заменяет существующий файл без ошибки File exists, а -n (--no-dereference) запрещает утилите переходить внутрь целевой директории, если старое имя уже было симлинком на папку.

3.2. Скрипт запуска start_server.sh

На рабочей десктопной машине с 16 ГБ VRAM (где видеокарта периодически нужна и другим тяжелым CUDA-задачам — например, локальному распознаванию речи через openai-whisper) запускать модель явным скриптом гораздо практичнее, чем вешать её постоянным фоновым демоном systemd. Поскольку стандартный порт 8080 у разработчиков часто занят другими локальными сервисами, поднимем сервер на порту 8085.

Создаём файл \$AI_DIR/llama/start_server.sh и делаем его исполняемым (chmod +x start_server.sh):

#!/bin/bash
set -e

TARGET_DIR="\$(dirname "\$(realpath "\${BASH_SOURCE[0]}")")"
cd "\$TARGET_DIR" || exit 1

exec ./llama-server \
  -m "\${TARGET_DIR}/../gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf" \
  --fit on \
  --ctx-size 65536 \
  --parallel 1 \
  --flash-attn on \
  -ctk q8_0 \
  -ctv q8_0 \
  --jinja \
  --reasoning on \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 64 \
  --min-p 0.0 \
  --host 127.0.0.1 \
  --port 8085

Обоснование каждого флага:

  • Явный --fit on (включён по умолчанию, оставлен для самодокументирования) БЕЗ --n-gpu-layers all: главная грабля на 16 ГБ VRAM. Механизм автоподбора памяти --fit меняет только не заданные вручную аргументы. Если по старой привычке вписать --n-gpu-layers all, модель весом 15,8 ГиБ вместе с контекстом вызовет падение по OOM. Без all авто-фит сам оставит 1 ГБ свободной видеопамяти под систему (--fit-target 1024), загрузит слои внимания, KV-кэш и основную массу экспертов в GDDR7, а ~2 ГиБ неактивных MoE-экспертов оставит в быстрой DDR5. Модуль зрения (--mmproj) мы также намеренно не подгружаем, экономя около 1 ГБ VRAM под текстовые задачи.
  • --ctx-size 65536 --flash-attn on -ctk q8_0 -ctv q8_0: полуторачасовая лекция, результаты веб-поиска и блок размышлений <think> легко выходят за пределы 32K токенов. В 30-слойной архитектуре Gemma 4 26B A4B 25 слоёв используют локальное скользящее окно внимания на 1024 токена (SWA) и лишь 5 слоёв — полное глобальное внимание с объединённой проекцией K=V на 2 головы. Благодаря этому весь 65K KV-кэш даже в BF16 весит около 1,4 ГиБ, а квантование в q8_0 высвобождает ещё ~700 МБ VRAM под дополнительные слои экспертов (на классических моделях без SWA эта экономия измеряется гигабайтами).
  • --parallel 1: отдаёт всё окно 65K одной активной сессии, ставя параллельные обращения в аккуратную очередь.
  • --jinja --reasoning on: активирует нативный шаблон вызова инструментов (tool calling) и выносит цепочку рассуждений в отдельное поле reasoning_content.
  • --temp 0.6 --top-p 0.95 --top-k 64: под расширенный словарь Gemma 4 (262K токенов) требуется --top-k 64 вместо стандартных 40, а осознанное снижение температуры с официального дефолта Google 1.0 до 0.6 подавляет фантазии и мелкие опечатки при строгом переводе, вычитке и вёрстке.

3.3. Консольный тест и реальные показатели памяти и скорости

Запускаем ./start_server.sh и проверяем работоспособность API и разделение потока мыслей (reasoning_content) и ответа (content):

curl -sS http://127.0.0.1:8085/health
curl -sS http://127.0.0.1:8085/v1/models

curl -sS --fail-with-body \
  http://127.0.0.1:8085/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "messages": [
      {
        "role": "user",
        "content": "Напиши одно короткое предложение о Linux."
      }
    ],
    "max_tokens": 4096,
    "temperature": 0.6
  }' | python3 -c '
import json, sys
d = json.load(sys.stdin)
c = d["choices"][0]
m = c["message"]

print("=== REASONING ===")
print(m.get("reasoning_content") or "(нет)")

print("\n=== ANSWER ===")
print(m.get("content") or "(нет)")

print("\n=== STATISTICS ===")
print("Finish:", c["finish_reason"])
print("Tokens:", d["usage"]["completion_tokens"])
'

Посмотрим на реальную раскладку видеопамяти в nvidia-smi при работающем сервере, открытом браузере, IDE и десктопном клиенте:

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 615.71.09              KMD Version: 615.71.09     CUDA UMD Version: 13.4     |
+-----------------------------------------+------------------------+----------------------+
|   0  NVIDIA GeForce RTX 5070 Ti     Off |   00000000:01:00.0  On |                  N/A |
|  0%   45C    P8             16W /  300W |   15283MiB /  16303MiB |      0%      Default |
+-----------------------------------------+------------------------+----------------------+
| Processes:                                                                              |
|    0   N/A  N/A            2127      G   /usr/lib/xorg/Xorg                      380MiB |
|    0   N/A  N/A            2472      G   /usr/bin/gnome-shell                     61MiB |
|    0   N/A  N/A            4082      G   /usr/lib/firefox/firefox                377MiB |
|    0   N/A  N/A          234368      C   ./llama-server                        14040MiB |
|    0   N/A  N/A          236039      G   locally-uncensored                        3MiB |
|    0   N/A  N/A          236489    C+G   /usr/bin/lu-llama-server                180MiB |
+-----------------------------------------------------------------------------------------+

Из этого снимка видны три показательные детали:

  1. Из 16 303 MiB занято 15 283 MiB — свободно ровно 1 020 MiB (с точностью до 4 мегабайт отработал защитный резерв --fit-target 1024). Сам llama-server (тип процесса C — чистый CUDA Compute) занял 14 040 MiB, а хвост неактивных MoE-экспертов прозрачно ушёл в 64 ГБ DDR5.
  2. В паузах между запросами даже с загруженной в память 26B-моделью видеокарта уходит в энергосберегающее состояние P8, потребляя всего 16 Вт при температуре 45 °C и полностью остановленных вентиляторах (0%).
  3. Обратите внимание на последнюю строку со статусом C+G (Compute + Graphics): Locally Uncensored при старте поднимает в фоне собственный универсальный бинарник /usr/bin/lu-llama-server, собранный на бэкенде Vulkan, и одна только инициализация пустого Vulkan-контекста отъедает 180 MiB VRAM. Именно поэтому запускать свой start_server.sh лучше до открытия GUI-клиента, чтобы эти 180 МБ отщипывались от системного резерва, а не от слоёв вашей модели.

Реальная скорость на живой задаче с размышлениями по логу llama-server:

slot print_timing: id 0 | prompt eval time =   350.45 ms /  381 tokens ( 0.92 ms per token, 1087.18 tokens per second)
slot print_timing: id 0 |        eval time = 18126.79 ms / 1486 tokens (12.21 ms per token,   81.92 tokens per second)
slot print_timing: id 0 |       total time = 18477.24 ms / 1867 tokens
slot print_timing: id 0 |   graph reallocs =      244    /    0        (same size) / (changed size)
slot      release: id 0 | stop processing: n_tokens = 2141, truncated = 0

Обработка новых входных токенов идёт на скорости 1087,18 т/с (неизменная шапка системного промпта и описаний тулов мгновенно берётся из KV-кэша слота), а чистая генерация держится на уровне 81,92 т/с (почти 1500 токенов размышлений и текста за 18,1 секунды) без единой переаллокации CUDA-графа.


Часть 4. Пошаговая установка и настройка Locally Uncensored v3.1.2

У самого llama-server v1.0.0 прямо по адресу http://127.0.0.1:8085 уже есть быстрый и чистый встроенный веб-интерфейс. Сторонний десктопный клиент Locally Uncensored (несмотря на провокационное название) мы подключаем ради одной конкретной возможности — готового каскада бесплатного веб-поиска с чтением полных страниц из коробки, без необходимости поднимать собственные контейнеры с Docker и SearXNG.

Шаг 1. Установка нативного .deb-пакета

Однострочный скрипт установки с сайта проекта скачивает сборку в формате .AppImage, которая в Linux на системах с Wayland и проприетарными драйверами NVIDIA нередко открывается пустым белым окном из-за конфликта библиотек WebKitGTK. Ставим штатный .deb-пакет вручную:

  1. Откройте страницу официальных релизов Locally Uncensored на GitHub.
  2. Скачайте актуальный пакет под архитектуру amd64 — Locally.Uncensored_3.1.2_amd64.deb.
  3. Установите пакет через apt, чтобы система автоматически дотянула нужные зависимости (libwebkit2gtk-4.1 и др.):
    sudo apt update && sudo apt install -y ./Locally.Uncensored_3.1.2_amd64.deb
  4. Убедитесь, что в терминале уже запущен start_server.sh на порту 8085, и запустите приложение из системного меню или командой locally-uncensored. (Если вы используете сессию Wayland вместо Xorg и столкнулись с пустым окном при старте, запускайте клиент с переменной окружения WEBKIT_DISABLE_DMABUF_RENDERER=1 locally-uncensored).

Поскольку отдельный .deb установлен локально без подключения стороннего apt-репозитория, системный sudo apt upgrade никогда не перезапишет его без вашего ведома — вы получаете полностью «замороженную» рабочую связку с нулевыми затратами на поддержку.

Шаг 2. Привязка порта 8085 и обход ловушки с занятым портом 8080

  1. Пропустите стартовый мастер (Setup Wizard): при первом старте приложение сканирует стандартные порты (8080, 11434, 1234). Ничего не выбирайте в мастере, откажитесь от скачивания стартовой модели во внутренний движок и установки ComfyUI — нажмите Skip / Finish.
  2. Перейдите в Settings → AI Backends → Providers.
  3. Ловушка занятого порта 8080: если на вашей машине порт 8080 уже занят другим не связанным с ИИ приложением, программа при старте увидит открытый сокет и сама создаст карточку llama.cpp [LOCAL] с адресом http://localhost:8080/v1. Из-за этого в выпадающем меню кнопки + Add Provider строка llama.cpp будет неактивна со статусом Active.
    • Закройте выпадающий список + Add Provider и кликните прямо по верхней свёрнутой плашке llama.cpp [LOCAL] (или стрелочке ⌄ на её правом краю).
    • В раскрывшейся карточке замените порт с 8080 на 8085: http://127.0.0.1:8085/v1 (поле API Key оставьте пустым), нажмите Test и Save.
    • (Если порт 8080 в системе был свободен, карточка штатно добавляется через + Add Provider → llama.cpp).
  4. Встроенный движок LU Engine (порт 8127) не трогайте и модели в него не загружайте. В основном окне чата выберите в списке моделей вашу gemma-4-26B-A4B-it-UD-Q4_K_XL (кнопка Think на нижней панели ввода управляет режимом размышлений прямо из чата без перезапуска сервера).

Шаг 3. Критичные настройки генерации и памяти

Чтобы клиент не обрезал ответы, не переписывал параметры сервера и не искажал исходные тексты, сразу проверьте в настройках следующие пункты:

  • Max Tokens → увеличьте с дефолтных 4096 до 16384: этот параметр ограничивает сумму токенов размышлений (<think>) и чистового ответа. На сложной задаче модель потратит 2500–3500 токенов только на размышления, и при лимите 4096 текст статьи оборвётся на полуслове.
  • Temperature → выставьте 0.6: большинство OpenAI-совместимых GUI-клиентов передают собственное значение temperature в JSON каждого запроса, перезаписывая флаг --temp 0.6 из start_server.sh (тогда как серверный --top-k 64 сохраняется). Синхронизируйте температуру в настройках генерации клиента.
  • Auto-compact → ВЫКЛЮЧИТЕ (OFF): по умолчанию авто-сжатие включена и умеет срабатывать прямо посреди серии поисковых вызовов, делая скрытый запрос к модели и заменяя ваш исходный документ кратким пересказом с потерей точных формулировок и цитат.
  • Memory → ВЫКЛЮЧИТЕ Auto-extract memories (OFF): эта функция включена из коробки, запускает лишний фоновый прогон видеокарты после каждого ответа и пытается сохранять утверждения из анализируемых статей как «факты о пользователе», засоряя будущие несвязанные сессии (оставьте 0 memories и ручной лимит 1).
  • Attached file limit → оставьте 0: позволяет перетаскивать большие текстовые файлы прямо в окно чата без принудительной обрезки в пределах 65K контекста.
  • Разделы Unused models, Storage и CivitAI API key оставьте без изменений: они относятся только к внутреннему загрузчику и генерации изображений. (Не пугайтесь 32-символьного hex-кода вида 3f9a1c7d... в поле ключа CivitAI — это не предзаполненный чужой ключ, а серый HTML-placeholder без слова «Например», само поле пустое).

Шаг 4. Веб-поиск и правило информационной безопасности для NDA

Начиная с ветки 3.1.0+ отдельная кнопка глобуса убрана из панели ввода: инструмент веб-поиска подключён к чату постоянно (No setup needed). Получив запрос на проверку свежих данных, модель сама обращается к каскаду Exa → You.com → SearXNG → DuckDuckGo → Wikipedia и за один шаг вычитывает полные тексты лучших страниц через встроенный парсер Mozilla Readability или фолбэк Exa (так, при проверочном вопросе про июльское исследование Anthropic о J-Space клиент за 2,2 секунды обошёл антибот-защиту на anthropic.com, вытянул препринт с arxiv.org и полный текст разбора через Exa, проставив точные ссылки [1]–[4]). Внешние ключи вроде Tavily или Brave Search при желании добавляются в Settings → Agent, но в обычном чате хватает бесплатного каскада.

Важное предупреждение для работы со строго конфиденциальными (NDA) текстами: поскольку в Locally Uncensored v3.1.2 поисковый инструмент доступен модели всегда, встретив в приватном документе незнакомую фамилию, внутренний кодовый термин или редкое название, модель может по собственной инициативе сделать поисковый запрос во внешнюю сеть. Для 100% изолированной работы с закрытыми документами не открывайте этот клиент — просто зайдите браузером напрямую на штатный веб-интерфейс вашего сервера http://127.0.0.1:8085, у которого физически нет поисковых модулей.


Часть 5. Проверка реальностью: честный A/B-тест против облака и границы применимости

Чтобы проверить реальный потолок собранного стенда без самообмана, я сравнил локальную связку (в режиме обычного одношагового промпта в чате) даже не с тяжёлыми облачными флагманами Gemini 4 Carbon или Argon, а с младшей скоростной моделью линейки — Gemini 4 Hydrogen (режим High, наследник линейки Flash стоимостью $$1,50 / $$7,50 за миллион токенов).

Где локальная модель провалилась


1. Плотный многотемный дайджест по сырому транскрипту YouTube

На вход обоим стендам был подан текстовый транскрипт длинного новостного ИИ-обзора с YouTube (полученный локально через openai-whisper с характерными фонетическими искажениями). Промпт требовал выступить строгим научным редактором уровня Elementy.ru: исправить ошибки распознавания речи, провести жёсткий фактчекинг каждого утверждения через веб-поиск с пометкой неточностей спикера в скобках, написать плотную статью без ИИ-штампов и в конце перечислить по одной строке темы, оставшиеся за рамками.

  • Потеря 60% фактуры: младшая облачная Gemini 4 Hydrogen удержала все 6 крупных тем выпуска, сохранила десятки цифр, проверила методики расчёта метрик и собрала полный список второстепенных деталей в подвале. Локальная Gemma 4 26B A4B, где при 3,8 млрд активных параметров 25 из 30 слоёв ограничены окном в 1024 токена, а весь дальний контекст держат лишь 5 глобальных слоёв с двумя общими KV-головами, под нагрузкой объёмных веб-страниц просто захлебнулась: она полностью выбросила из статьи два главных релиза недели, ужав часовой материал в поверхностный пересказ на 350 слов.
  • Ложная «гиперкоррекция» (эффект Даннинга — Крюгера): встретив в транскрипте новый бенчмарк конца 2026 года SWE-sweep (записанный Whisper на слух как SweeSweep), локальная модель не проверила его отдельным поисковым запросом, решила, что спикер оговорился, и в отчёте гордо «исправила» его на старый бенчмарк SWE-bench. При этом настоящую ошибку распознавания в конце текста (GraphWox вместо GraphWalks) она оставила без исправления. Облачная модель не только опознала оба свежих теста, но и сама раскопала разницу в результатах SWE-sweep между проприетарной мультиагентной обвязкой и нейтральной средой.
  • Почему не спасает аргумент «надо было дробить текст скриптом»: теоретически транскрипт можно нарезать на куски через самописный многошаговый Map-Reduce пайплайн и гонять видеокарту 15–20 минут на каждый ролик. На практике один часовой транскрипт в облачном API класса Hydrogen обрабатывается за 30 секунд с эталонным качеством и стоит около 5 центов — городить ради публичного видео сложный локальный костыль экономически бессмысленно.

2. Самоуверенные галлюцинации на коротких вопросах без триггера поиска

Второй показательный провал вскрылся на коротком бытовом вопросе о времени приёма местного рецептурного препарата, указанного под локальным торговым названием. Не встретив в вопросе прямой команды «найди в интернете», локальная модель даже не попыталась вызвать web_search и с абсолютной уверенностью отнесла препарат к совершенно другой фармакологической группе — средствам для снижения артериального давления. Жёсткое правило в системном промпте принудительно искать незнакомые термины снижает риск такой ошибки, но не лечит корневую проблему: малая активная модель плохо калибрует границу собственного незнания и искренне «уверена», что помнит редкое название. Полагаться на собственную память 4B-активной локальной модели в медицинских, юридических или узкоспециальных справочных вопросах без явной команды на поиск категорически нельзя.

Где локальная связка работает блестяще

Картина меняется на противоположную, как только мы передаём локальной Gemma 4 26B A4B задачи по обработке, переводу и предпечатной подготовке уже готовых, фактологически выверенных текстов:

  • Качественный перевод (русский ↔ английский ↔ иврит): модель переводит естественно, без деревянных подстрочных калек, отлично чувствуя как научную терминологию, так и живой современный разговорный иврит со сленгом.
  • Чеклисты целостности и жёсткая вёрстка под площадки: на структурных промптах вида «перепроверь отсутствие потери информации, противоречий и правильный порядок следования; выдай лог проверки; если всё верно — выведи английский перевод как чистый HTML без инлайн-стилей» или «адаптируй текст под Medium.com строго без использования code-блоков, замени LaTeX на символы Unicode и оформи стандартным Markdown для прямого копирования мышкой как Rich Text» модель отрабатывает с первого раза и на скорости 82 токена в секунду.

(Практическая деталь по оформлению формул: многие современные Markdown-интерфейсы чатов специально отключают рендеринг строчного LaTeX через одинарный знак \$P\$, чтобы две суммы в долларах в одном предложении — не склеивались парсером в курсивную формулу. Если в вашем клиенте нужна математическая разметка, просите в промпте оборачивать формулы в двойные знаки \$\$...\$\$).

Итоговое разделение труда

Собранная локальная станция на 16 ГБ VRAM не отменяет облачные модели там, где требуются энциклопедический кругозор, одновременное удержание десятков сюжетных деталей и ковровый параллельный фактчекинг сырых материалов. Зато она полностью закрывает три практические ниши, где локальное выполнение действительно оправдано:

  1. Переводческий цех (русский, английский, иврит) — живой литературный и технический перевод без оглядки на дневные квоты и подписки.
  2. Публикационный конвейер — быстрая вычитка по чеклисту на потерю фактов и автоматическая перевёрстка готовых статей в чистый HTML или Rich Text под Medium и блоги.
  3. Работа с конфиденциальными данными умеренного объёма под NDA — выжимка закрытых рабочих записей, внутренней документации или рефакторинг проприетарного кода через полностью изолированный от интернета штатный интерфейс http://127.0.0.1:8085.

No comments:

Post a Comment