Text rendered via Dual-Core compilation (Human author + LLM co-processor).
Англоязычная версия данной заметки доступна здесь https://alex-ber.medium.com/c604e4051a16
Большинство руководств по локальному запуску языковых моделей впадают в одну из двух крайностей: либо предлагают поставить урезанную 8B-модель через Ollama в один клик, либо предполагают наличие видеокарты на 24–32 ГБ VRAM, а в финале неизменно обещают «полную замену платным облачным подпискам».
Ниже разобран полный цикл сборки рабочей локальной станции на массовой десктопной конфигурации с 16 ГБ видеопамяти — от установки драйверов NVIDIA и CUDA Toolkit до компиляции первого стабильного релиза llama.cpp v1.0.0 и тонкой настройки клиента Locally Uncensored с бесплатным веб-поиском. В последней части приведены результаты прямого A/B-сравнения этой связки с облачной моделью Gemini 4 Hydrogen, наглядно показывающие, какие задачи локальная модель решает отлично, а на каких рассыпается или самоуверенно галлюцинирует.
Конфигурация стенда и предварительные условия (ноябрь 2026)
Чтобы инструкция оставалась воспроизводимой даже после обновления интерфейсов и флагов, зафиксируем срез версий и железа на берегу:
- ОС и окружение: Ubuntu 24.04 LTS (графическая сессия Xorg, обновлённое ядро Linux ветки 7.0). Важное предварительное условие: предполагается, что в настройках BIOS/UEFI отключён режим Secure Boot (в противном случае при установке DKMS-модулей драйвера потребуется ручная регистрация ключа MOK на синем экране при загрузке).
- Процессор, память, диск: AMD Ryzen 7 9700X (архитектура Zen 5 с полным набором AVX-512), 64 ГБ DDR5-6000, SSD Crucial T705 PCIe Gen5 NVMe.
- Видеокарта: Gigabyte GeForce RTX 5070 Ti 16 ГБ GDDR7 (архитектура Blackwell,
sm_120a). - Стек NVIDIA: драйвер
615.71.09(ветка615-open) + CUDA Toolkit13.4.2(nvcc V13.4.92). - Инференс и клиент:
llama.cpp v1.0.0+Locally Uncensored v3.1.2. - Модель:
gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf(архитектура MoE: 26 млрд параметров всего, ~3,8–4 млрд активных на токен; размер файла — 15,8 ГиБ на диске или 17,0 ГБ в веб-интерфейсе Hugging Face).
Часть 1. Драйверы NVIDIA (615-open) и CUDA Toolkit 13.4.2
Перед началом работ проверяем текущее состояние видеодрайвера и старых установок CUDA в системе:
nvidia-smi
nvcc --version
ls -ld /usr/local/cuda*
Актуальную матрицу совместимости версий CUDA с ML-фреймворками удобно сверять на странице PyTorch Get Started, а поддерживаемые ветки драйверов — на официальной странице загрузки драйверов NVIDIA.
1.1. Установка драйвера ветки 615 (Open Kernel Modules) и чистка DKMS
Для видеокарт поколения Blackwell (RTX 50-й серии) используются открытые модули ядра (-open), а родной для CUDA 13.4 является ветка драйвера 615. Предварительно убедитесь, что для вашего текущего ядра установлены заголовочные файлы (linux-headers), иначе DKMS пропустит сборку модуля.
Практический нюанс Ubuntu: из-за механизма поэтапной раскатки обновлений (Phased Updates) или смешанных репозиториев установка одного лишь верхнего метапакета nvidia-driver-615-open иногда оставляет часть библиотек на старой подверсии (что сразу видно при проверке через apt install --dry-run) либо конфликтует с 32-битными библиотеками на машинах со Steam/Wine, приводя после перезагрузки к ошибке Driver/library version mismatch. Поэтому надёжнее передать полный список связанных пакетов ветки 615 явно вместе с флагом обхода поэтапных блокировок, принудительно выровняв версии модулей ядра (KMD) и пользовательских библиотек (UMD):
sudo apt install -o APT::Get::Always-Include-Phased-Updates=true \
dkms \
libnvidia-cfg1-615 \
libnvidia-common-615 \
libnvidia-compute-615 \
libnvidia-decode-615 \
libnvidia-egl-wayland1 \
libnvidia-encode-615 \
libnvidia-extra-615 \
libnvidia-fbc1-615 \
libnvidia-gl-615 \
libxnvctrl0 \
nvidia-compute-utils-615 \
nvidia-dkms-615-open \
nvidia-driver-615-open \
nvidia-kernel-common-615 \
nvidia-kernel-source-615-open \
nvidia-settings \
nvidia-utils-615 \
xserver-xorg-video-nvidia-615
Если при переходе со старого драйвера пакетный менеджер спотыкается на распакованных, но не сконфигурированных пакетах, завершаем настройку принудительно и повторяем команду установки выше:
# 1. Донастроить распакованные пакеты
sudo dpkg --configure -a
# 2. Исправить зависимости и завершить транзакцию
sudo apt --fix-broken install
После завершения установки обязательно перезагружаем компьютер (sudo reboot), затем проверяем собранные модули ядра:
dkms status
Если в выводе видны старые ядра Linux, которые больше не используются в системе:
nvidia/615.71.09, 6.17.0-35-generic, x86_64: installed
nvidia/615.71.09, 7.0.0-28-generic, x86_64: installed
nvidia/615.71.09, 7.0.0-31-generic, x86_64: installed
Лишние сборки можно аккуратно удалить из базы DKMS:
sudo dkms remove nvidia/615.71.09 -k 6.17.0-35-generic
dkms status
1.2. Установка CUDA Toolkit 13.4.2 с фиксацией версии
Переходим на страницу CUDA Toolkit Downloads и выбираем Linux → x86_64 → Ubuntu → 24.04 → deb (local). Мы намеренно используем изолированный локальный установщик deb (local) вместо сетевого репозитория deb (network): это защищает рабочую систему от ситуации, когда плановый sudo apt upgrade через пару месяцев внезапно подтянет из сетевого репозитория NVIDIA новую ветку драйвера и поломает графическое окружение.
Примечание по работе с пакетами: обычные прикладные
.deb-файлы всегда лучше ставить черезsudo apt install ./package.debдля автоматического разрешения зависимостей. Установочный пакетcuda-repo-...-local— это исключение (bootstrap-архив локального репозитория весом ~5,5 ГБ), который классически распаковывается в/var/черезdpkg -i. Скачиваем его в домашнюю папку загрузок, а не в/tmp, чтобы не забить оперативную память на системах сtmpfs.
mkdir -p "\$HOME/Downloads" && cd "\$HOME/Downloads"
wget -c https://developer.download.nvidia.com/compute/cuda/13.4.2/local_installers/cuda-repo-ubuntu2404-13-4-local_13.4.2-1_amd64.deb
# Распаковываем локальное зеркало репозитория
sudo dpkg -i cuda-repo-ubuntu2404-13-4-local_13.4.2-1_amd64.deb
# Копируем GPG-ключ репозитория (точное имя файла выведет терминал, например cuda-C1A9E1D1-keyring.gpg)
sudo cp /var/cuda-repo-ubuntu2404-13-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
# Устанавливаем инструментарий CUDA 13.4 (начиная с ветки 13.4 видеодрайвер исключён из состава cuda-toolkit)
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-4
# Освобождаем ~11 ГБ на диске: удаляем скачанный установщик и отработавшее локальное зеркало в /var/
sudo dpkg -P cuda-repo-ubuntu2404-13-4-local
sudo rm -rf /var/cuda-repo-ubuntu2404-13-4-local "\$HOME/Downloads/cuda-repo-ubuntu2404-13-4-local_13.4.2-1_amd64.deb"
sudo apt-get update
(Важно: никогда не ставьте пакет nvidia-cuda-toolkit из стандартного репозитория самой Ubuntu — там лежит сильно устаревшая версия без поддержки архитектуры Blackwell. При локальной установке версия тулкита жёстко зафиксирована на 13.4; обновление через общий метапакет apt install cuda-toolkit работает только при подключённом сетевом репозитории cuda-keyring).
Проверяем связь с видеокартой и наличие компилятора:
dkms status
nvidia-smi
/usr/local/cuda/bin/nvcc --version
1.3. Правильное добавление nvcc в системный PATH
По умолчанию директория /usr/local/cuda/bin отсутствует в системном PATH (при этом вручную прописывать LD_LIBRARY_PATH не требуется — пакет cuda-toolkit-13-4 сам регистрирует пути к библиотекам в /etc/ld.so.conf.d/ через ldconfig). Оформим подключение bin глобально для всех login-шеллов через /etc/profile.d/99-cuda-path.sh, а конструкцией case защитим переменную PATH от дублирования путей при запуске вложенных сессий (tmux, screen):
sudo nano /etc/profile.d/99-cuda-path.sh
Вставляем POSIX-совместимый код:
# Check if the CUDA bin directory is already in PATH
case ":\${PATH}:" in
*":/usr/local/cuda/bin:"*)
# Path is already present, do nothing
;;
*)
# Path not found — add it to the beginning, giving CUDA utilities priority
export PATH="/usr/local/cuda/bin:\${PATH}"
;;
esac
Задаём права чтения и активируем настройку в текущем окне терминала (чтобы переменная автоматически подхватилась во всех новых вкладках терминала и графических IDE, один раз выйдите из сессии рабочего стола и зайдите снова):
sudo chmod 644 /etc/profile.d/99-cuda-path.sh
source /etc/profile.d/99-cuda-path.sh
nvcc --version
Часть 2. Выбор модели под 16 ГБ VRAM и многопоточное скачивание
На рабочей станции с 16 ГБ VRAM и 64 ГБ DDR5 локальные модели делятся на три класса:
- Малые плотные модели (
Qwen3.5-9Bили плотнаяGemma 4 12B): легко помещаются целиком в видеопамять, но заметно уступают старшим моделям в глубине знаний, чаще выдумывают факты без опоры на приложенный текст, а 9B-модели дополнительно проседают на семитских языках (например, иврите). - Крупные плотные модели (
Qwen3.8-27B, ~17 ГБ вQ4_K_M): целиком в 16 ГБ VRAM не помещаются, а при выгрузке части плотных слоёв в системную память DDR5 скорость генерации падает в разы — до 10–15 токенов в секунду, так как процессор читает эти веса на каждом шаге. (Отдельная ловушка — популярные любительские сборки с приставкойUncensored, полученные методом аблитерации весов: удаление вектора отказа нарушает калибровку скептицизма модели, из-за чего в задачах строгого фактчекинга и аудита она начинает находить до 37–40% вымышленных ошибок в полностью корректных утверждениях). - Оптимум — тонкозернистая MoE-модель
Gemma 4 26B A4B: при общем объёме знаний на 26 млрд параметров на каждый токен активируется около 3,8–4 млрд параметров. По сравнению с MoE-конкурентами линейкиQwen 35B-A3Bона выдаёт гораздо более живой литературный слог на русском, английском и иврите без переводного канцелярита, а вытеснение ~2 ГБ неактивных экспертов в быструю DDR5 практически не сказывается на скорости.
Зададим рабочую директорию в переменной \$AI_DIR и скачаем динамический квант UD-Q4_K_XL (15,8 ГиБ на диске / 17,0 ГБ в браузере) в 16 параллельных потоков с автодокачкой при обрыве связи через aria2c:
export AI_DIR="\$HOME/local-ai"
mkdir -p "\$AI_DIR"
sudo apt update && sudo apt install -y aria2
aria2c -x 16 -s 16 -k 10M -c \
-d "\$AI_DIR" \
-o gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \
"https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf"
Примечания: 1) Модели Gemma 4 открыты под лицензией Apache 2.0 и качаются без авторизации; однако если провайдер или сам Hugging Face ограничивает скорость неавторизованных многопоточных загрузок, добавьте к команде флаг --header="Authorization: Bearer \$(cat ~/.cache/huggingface/token)" — чтение из файла убережёт ваш токен от сохранения в открытом виде в ~/.bash_history. 2) Динамические сборки UD-Q4_K_XL (Unsloth) и Q4_K_L (Bartowski) сохраняют критичные слои внимания в повышенной точности, тогда как базовый квант Q4_0 заметнее теряет качество на длинном контексте. Если же требуется уместить 100% весов строго внутри 16 ГБ VRAM вообще без участия RAM, подойдёт более лёгкий квант UD-IQ4_NL (~12,7 ГиБ).
Часть 3. Компиляция llama.cpp v1.0.0, запуск сервера и телеметрия железа
В ноябре 2026 года спустя 3,5 года разработки вышел исторический релиз llama.cpp v1.0.0, зафиксировавший стабильность C API/ABI библиотек libllama и libggml по правилам Semantic Versioning. Почему мы компилируем его из исходников, а не берём готовый бинарник? Универсальные сборки из релизов не сочетают одновременно свежую CUDA 13.4 под Blackwell (sm_120a) и оптимизацию -DGGML_NATIVE=ON под инструкции AVX-512 процессора Ryzen 7 9700X (Zen 5) — а именно процессор при частичном оффлоаде MoE обсчитывает экспертов, оставшихся в оперативной памяти DDR5.
При сборке под актуальную ветку v1.0.0 учитываем три технических нюанса:
- устаревший флаг
LLAMA_CURLудалён — для сетевых функций теперь используетсяLLAMA_OPENSSL=ON(нужен пакетlibssl-dev); - прежний флаг
GGML_CUDA_FA_ALL_QUANTSзаменён наGGML_CUDA_FA_QUANTS=all(компилирует быстрые CUDA-ядра FlashAttention под все варианты квантования KV-кэша); - при наличии в системе пакета
ccacheскрипт сборкиggmlавтоматически подключает его через встроенную опциюGGML_CCACHE=ON, ускоряя будущие пересборки в десятки раз, а флаг-DCMAKE_CUDA_ARCHITECTURES=nativeсам выбирает целевую архитектуру120a-realпод RTX 5070 Ti.
3.1. Сборка из исходников
# 1. Зависимости для сборки
sudo apt update && sudo apt install -y build-essential cmake ninja-build git libssl-dev pkg-config ccache
# 2. Проверка компилятора CUDA (с фолбэком, если открыта новая вкладка терминала до перелогина в систему)
NVCC_BIN="\$(command -v nvcc || echo /usr/local/cuda/bin/nvcc)"
echo "Используется CUDA компилятор: \$NVCC_BIN"
"\$NVCC_BIN" --version
# 3. Клонируем строго релизный тег v1.0.0 (при наличии старой папки llama переименуйте её заранее в llama.old)
export AI_DIR="\${AI_DIR:-\$HOME/local-ai}"
git clone --depth 1 --branch v1.0.0 https://github.com/ggml-org/llama.cpp.git "\$AI_DIR/llama"
cd "\$AI_DIR/llama"
# 4. Конфигурация CMake под Ryzen 7 9700X (AVX-512) + RTX 5070 Ti (Blackwell sm_120a)
cmake -S . -B build -G Ninja \
-DCMAKE_BUILD_TYPE=Release \
-DCMAKE_CUDA_COMPILER="\$NVCC_BIN" \
-DGGML_CUDA=ON \
-DCMAKE_CUDA_ARCHITECTURES=native \
-DGGML_CUDA_FA_QUANTS=all \
-DGGML_NATIVE=ON \
-DLLAMA_OPENSSL=ON \
-DLLAMA_BUILD_TESTS=OFF
# 5. Компилируем только нужные цели на всех потоках процессора (занимает ~2–3 минуты)
cmake --build build --config Release -j "\$(nproc)" --target llama-server llama-cli llama-bench
# 6. Создаём симлинки в корне папки llama для удобного запуска
ln -sfn build/bin/llama-server ./llama-server
ln -sfn build/bin/llama-cli ./llama-cli
ln -sfn build/bin/llama-bench ./llama-bench
# 7. Быстрая проверка версии и видимости RTX 5070 Ti (compute capability 12.0)
./llama-server --version
./llama-bench --list-devices
Разбор ключей
ln -sfn:-sсоздаёт символическую ссылку,-fпринудительно заменяет существующий файл без ошибкиFile exists, а-n(--no-dereference) запрещает утилите переходить внутрь целевой директории, если старое имя уже было симлинком на папку.
3.2. Скрипт запуска start_server.sh
На рабочей десктопной машине с 16 ГБ VRAM (где видеокарта периодически нужна и другим тяжелым CUDA-задачам — например, локальному распознаванию речи через openai-whisper) запускать модель явным скриптом гораздо практичнее, чем вешать её постоянным фоновым демоном systemd. Поскольку стандартный порт 8080 у разработчиков часто занят другими локальными сервисами, поднимем сервер на порту 8085.
Создаём файл \$AI_DIR/llama/start_server.sh и делаем его исполняемым (chmod +x start_server.sh):
#!/bin/bash
set -e
TARGET_DIR="\$(dirname "\$(realpath "\${BASH_SOURCE[0]}")")"
cd "\$TARGET_DIR" || exit 1
exec ./llama-server \
-m "\${TARGET_DIR}/../gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf" \
--fit on \
--ctx-size 65536 \
--parallel 1 \
--flash-attn on \
-ctk q8_0 \
-ctv q8_0 \
--jinja \
--reasoning on \
--temp 0.6 \
--top-p 0.95 \
--top-k 64 \
--min-p 0.0 \
--host 127.0.0.1 \
--port 8085
Обоснование каждого флага:
- Явный
--fit on(включён по умолчанию, оставлен для самодокументирования) БЕЗ--n-gpu-layers all: главная грабля на 16 ГБ VRAM. Механизм автоподбора памяти--fitменяет только не заданные вручную аргументы. Если по старой привычке вписать--n-gpu-layers all, модель весом 15,8 ГиБ вместе с контекстом вызовет падение по OOM. Безallавто-фит сам оставит 1 ГБ свободной видеопамяти под систему (--fit-target 1024), загрузит слои внимания, KV-кэш и основную массу экспертов в GDDR7, а ~2 ГиБ неактивных MoE-экспертов оставит в быстрой DDR5. Модуль зрения (--mmproj) мы также намеренно не подгружаем, экономя около 1 ГБ VRAM под текстовые задачи. --ctx-size 65536 --flash-attn on -ctk q8_0 -ctv q8_0: полуторачасовая лекция, результаты веб-поиска и блок размышлений<think>легко выходят за пределы 32K токенов. В 30-слойной архитектуреGemma 4 26B A4B25 слоёв используют локальное скользящее окно внимания на 1024 токена (SWA) и лишь 5 слоёв — полное глобальное внимание с объединённой проекциейK=Vна 2 головы. Благодаря этому весь 65K KV-кэш даже вBF16весит около 1,4 ГиБ, а квантование вq8_0высвобождает ещё ~700 МБ VRAM под дополнительные слои экспертов (на классических моделях без SWA эта экономия измеряется гигабайтами).--parallel 1: отдаёт всё окно 65K одной активной сессии, ставя параллельные обращения в аккуратную очередь.--jinja --reasoning on: активирует нативный шаблон вызова инструментов (tool calling) и выносит цепочку рассуждений в отдельное полеreasoning_content.--temp 0.6 --top-p 0.95 --top-k 64: под расширенный словарь Gemma 4 (262K токенов) требуется--top-k 64вместо стандартных 40, а осознанное снижение температуры с официального дефолта Google1.0до0.6подавляет фантазии и мелкие опечатки при строгом переводе, вычитке и вёрстке.
3.3. Консольный тест и реальные показатели памяти и скорости
Запускаем ./start_server.sh и проверяем работоспособность API и разделение потока мыслей (reasoning_content) и ответа (content):
curl -sS http://127.0.0.1:8085/health
curl -sS http://127.0.0.1:8085/v1/models
curl -sS --fail-with-body \
http://127.0.0.1:8085/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"messages": [
{
"role": "user",
"content": "Напиши одно короткое предложение о Linux."
}
],
"max_tokens": 4096,
"temperature": 0.6
}' | python3 -c '
import json, sys
d = json.load(sys.stdin)
c = d["choices"][0]
m = c["message"]
print("=== REASONING ===")
print(m.get("reasoning_content") or "(нет)")
print("\n=== ANSWER ===")
print(m.get("content") or "(нет)")
print("\n=== STATISTICS ===")
print("Finish:", c["finish_reason"])
print("Tokens:", d["usage"]["completion_tokens"])
'
Посмотрим на реальную раскладку видеопамяти в nvidia-smi при работающем сервере, открытом браузере, IDE и десктопном клиенте:
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 615.71.09 KMD Version: 615.71.09 CUDA UMD Version: 13.4 |
+-----------------------------------------+------------------------+----------------------+
| 0 NVIDIA GeForce RTX 5070 Ti Off | 00000000:01:00.0 On | N/A |
| 0% 45C P8 16W / 300W | 15283MiB / 16303MiB | 0% Default |
+-----------------------------------------+------------------------+----------------------+
| Processes: |
| 0 N/A N/A 2127 G /usr/lib/xorg/Xorg 380MiB |
| 0 N/A N/A 2472 G /usr/bin/gnome-shell 61MiB |
| 0 N/A N/A 4082 G /usr/lib/firefox/firefox 377MiB |
| 0 N/A N/A 234368 C ./llama-server 14040MiB |
| 0 N/A N/A 236039 G locally-uncensored 3MiB |
| 0 N/A N/A 236489 C+G /usr/bin/lu-llama-server 180MiB |
+-----------------------------------------------------------------------------------------+
Из этого снимка видны три показательные детали:
- Из
16 303 MiBзанято15 283 MiB— свободно ровно1 020 MiB(с точностью до 4 мегабайт отработал защитный резерв--fit-target 1024). Самllama-server(тип процессаC— чистый CUDA Compute) занял14 040 MiB, а хвост неактивных MoE-экспертов прозрачно ушёл в 64 ГБ DDR5. - В паузах между запросами даже с загруженной в память 26B-моделью видеокарта уходит в энергосберегающее состояние
P8, потребляя всего 16 Вт при температуре 45 °C и полностью остановленных вентиляторах (0%). - Обратите внимание на последнюю строку со статусом
C+G(Compute + Graphics):Locally Uncensoredпри старте поднимает в фоне собственный универсальный бинарник/usr/bin/lu-llama-server, собранный на бэкенде Vulkan, и одна только инициализация пустого Vulkan-контекста отъедает180 MiBVRAM. Именно поэтому запускать свойstart_server.shлучше до открытия GUI-клиента, чтобы эти 180 МБ отщипывались от системного резерва, а не от слоёв вашей модели.
Реальная скорость на живой задаче с размышлениями по логу llama-server:
slot print_timing: id 0 | prompt eval time = 350.45 ms / 381 tokens ( 0.92 ms per token, 1087.18 tokens per second)
slot print_timing: id 0 | eval time = 18126.79 ms / 1486 tokens (12.21 ms per token, 81.92 tokens per second)
slot print_timing: id 0 | total time = 18477.24 ms / 1867 tokens
slot print_timing: id 0 | graph reallocs = 244 / 0 (same size) / (changed size)
slot release: id 0 | stop processing: n_tokens = 2141, truncated = 0
Обработка новых входных токенов идёт на скорости 1087,18 т/с (неизменная шапка системного промпта и описаний тулов мгновенно берётся из KV-кэша слота), а чистая генерация держится на уровне 81,92 т/с (почти 1500 токенов размышлений и текста за 18,1 секунды) без единой переаллокации CUDA-графа.
Часть 4. Пошаговая установка и настройка Locally Uncensored v3.1.2
У самого llama-server v1.0.0 прямо по адресу http://127.0.0.1:8085 уже есть быстрый и чистый встроенный веб-интерфейс. Сторонний десктопный клиент Locally Uncensored (несмотря на провокационное название) мы подключаем ради одной конкретной возможности — готового каскада бесплатного веб-поиска с чтением полных страниц из коробки, без необходимости поднимать собственные контейнеры с Docker и SearXNG.
Шаг 1. Установка нативного .deb-пакета
Однострочный скрипт установки с сайта проекта скачивает сборку в формате .AppImage, которая в Linux на системах с Wayland и проприетарными драйверами NVIDIA нередко открывается пустым белым окном из-за конфликта библиотек WebKitGTK. Ставим штатный .deb-пакет вручную:
- Откройте страницу официальных релизов Locally Uncensored на GitHub.
- Скачайте актуальный пакет под архитектуру amd64 —
Locally.Uncensored_3.1.2_amd64.deb. - Установите пакет через
apt, чтобы система автоматически дотянула нужные зависимости (libwebkit2gtk-4.1и др.):sudo apt update && sudo apt install -y ./Locally.Uncensored_3.1.2_amd64.deb - Убедитесь, что в терминале уже запущен
start_server.shна порту8085, и запустите приложение из системного меню или командойlocally-uncensored. (Если вы используете сессию Wayland вместо Xorg и столкнулись с пустым окном при старте, запускайте клиент с переменной окруженияWEBKIT_DISABLE_DMABUF_RENDERER=1 locally-uncensored).
Поскольку отдельный .deb установлен локально без подключения стороннего apt-репозитория, системный sudo apt upgrade никогда не перезапишет его без вашего ведома — вы получаете полностью «замороженную» рабочую связку с нулевыми затратами на поддержку.
Шаг 2. Привязка порта 8085 и обход ловушки с занятым портом 8080
- Пропустите стартовый мастер (Setup Wizard): при первом старте приложение сканирует стандартные порты (
8080,11434,1234). Ничего не выбирайте в мастере, откажитесь от скачивания стартовой модели во внутренний движок и установки ComfyUI — нажмите Skip / Finish. - Перейдите в Settings → AI Backends → Providers.
- Ловушка занятого порта
8080: если на вашей машине порт8080уже занят другим не связанным с ИИ приложением, программа при старте увидит открытый сокет и сама создаст карточкуllama.cpp [LOCAL]с адресомhttp://localhost:8080/v1. Из-за этого в выпадающем меню кнопки+ Add Providerстрокаllama.cppбудет неактивна со статусомActive.- Закройте выпадающий список
+ Add Providerи кликните прямо по верхней свёрнутой плашкеllama.cpp [LOCAL](или стрелочке⌄на её правом краю). - В раскрывшейся карточке замените порт с
8080на8085:http://127.0.0.1:8085/v1(поле API Key оставьте пустым), нажмите Test и Save. - (Если порт
8080в системе был свободен, карточка штатно добавляется через+ Add Provider→llama.cpp).
- Закройте выпадающий список
- Встроенный движок LU Engine (порт
8127) не трогайте и модели в него не загружайте. В основном окне чата выберите в списке моделей вашуgemma-4-26B-A4B-it-UD-Q4_K_XL(кнопкаThinkна нижней панели ввода управляет режимом размышлений прямо из чата без перезапуска сервера).
Шаг 3. Критичные настройки генерации и памяти
Чтобы клиент не обрезал ответы, не переписывал параметры сервера и не искажал исходные тексты, сразу проверьте в настройках следующие пункты:
Max Tokens→ увеличьте с дефолтных4096до16384: этот параметр ограничивает сумму токенов размышлений (<think>) и чистового ответа. На сложной задаче модель потратит 2500–3500 токенов только на размышления, и при лимите4096текст статьи оборвётся на полуслове.Temperature→ выставьте0.6: большинство OpenAI-совместимых GUI-клиентов передают собственное значениеtemperatureв JSON каждого запроса, перезаписывая флаг--temp 0.6изstart_server.sh(тогда как серверный--top-k 64сохраняется). Синхронизируйте температуру в настройках генерации клиента.Auto-compact→ ВЫКЛЮЧИТЕ (OFF): по умолчанию авто-сжатие включена и умеет срабатывать прямо посреди серии поисковых вызовов, делая скрытый запрос к модели и заменяя ваш исходный документ кратким пересказом с потерей точных формулировок и цитат.Memory→ ВЫКЛЮЧИТЕAuto-extract memories(OFF): эта функция включена из коробки, запускает лишний фоновый прогон видеокарты после каждого ответа и пытается сохранять утверждения из анализируемых статей как «факты о пользователе», засоряя будущие несвязанные сессии (оставьте0 memoriesи ручной лимит1).Attached file limit→ оставьте0: позволяет перетаскивать большие текстовые файлы прямо в окно чата без принудительной обрезки в пределах 65K контекста.- Разделы
Unused models,StorageиCivitAI API keyоставьте без изменений: они относятся только к внутреннему загрузчику и генерации изображений. (Не пугайтесь 32-символьного hex-кода вида3f9a1c7d...в поле ключа CivitAI — это не предзаполненный чужой ключ, а серый HTML-placeholder без слова «Например», само поле пустое).
Шаг 4. Веб-поиск и правило информационной безопасности для NDA
Начиная с ветки 3.1.0+ отдельная кнопка глобуса убрана из панели ввода: инструмент веб-поиска подключён к чату постоянно (No setup needed). Получив запрос на проверку свежих данных, модель сама обращается к каскаду Exa → You.com → SearXNG → DuckDuckGo → Wikipedia и за один шаг вычитывает полные тексты лучших страниц через встроенный парсер Mozilla Readability или фолбэк Exa (так, при проверочном вопросе про июльское исследование Anthropic о J-Space клиент за 2,2 секунды обошёл антибот-защиту на anthropic.com, вытянул препринт с arxiv.org и полный текст разбора через Exa, проставив точные ссылки [1]–[4]). Внешние ключи вроде Tavily или Brave Search при желании добавляются в Settings → Agent, но в обычном чате хватает бесплатного каскада.
Важное предупреждение для работы со строго конфиденциальными (NDA) текстами: поскольку в
Locally Uncensored v3.1.2поисковый инструмент доступен модели всегда, встретив в приватном документе незнакомую фамилию, внутренний кодовый термин или редкое название, модель может по собственной инициативе сделать поисковый запрос во внешнюю сеть. Для 100% изолированной работы с закрытыми документами не открывайте этот клиент — просто зайдите браузером напрямую на штатный веб-интерфейс вашего сервераhttp://127.0.0.1:8085, у которого физически нет поисковых модулей.
Часть 5. Проверка реальностью: честный A/B-тест против облака и границы применимости
Чтобы проверить реальный потолок собранного стенда без самообмана, я сравнил локальную связку (в режиме обычного одношагового промпта в чате) даже не с тяжёлыми облачными флагманами Gemini 4 Carbon или Argon, а с младшей скоростной моделью линейки — Gemini 4 Hydrogen (режим High, наследник линейки Flash стоимостью $$1,50 / $$7,50 за миллион токенов).
Где локальная модель провалилась
1. Плотный многотемный дайджест по сырому транскрипту YouTube
На вход обоим стендам был подан текстовый транскрипт длинного новостного ИИ-обзора с YouTube (полученный локально через openai-whisper с характерными фонетическими искажениями). Промпт требовал выступить строгим научным редактором уровня Elementy.ru: исправить ошибки распознавания речи, провести жёсткий фактчекинг каждого утверждения через веб-поиск с пометкой неточностей спикера в скобках, написать плотную статью без ИИ-штампов и в конце перечислить по одной строке темы, оставшиеся за рамками.
- Потеря 60% фактуры: младшая облачная
Gemini 4 Hydrogenудержала все 6 крупных тем выпуска, сохранила десятки цифр, проверила методики расчёта метрик и собрала полный список второстепенных деталей в подвале. ЛокальнаяGemma 4 26B A4B, где при 3,8 млрд активных параметров 25 из 30 слоёв ограничены окном в 1024 токена, а весь дальний контекст держат лишь 5 глобальных слоёв с двумя общими KV-головами, под нагрузкой объёмных веб-страниц просто захлебнулась: она полностью выбросила из статьи два главных релиза недели, ужав часовой материал в поверхностный пересказ на 350 слов. - Ложная «гиперкоррекция» (эффект Даннинга — Крюгера): встретив в транскрипте новый бенчмарк конца 2026 года
SWE-sweep(записанный Whisper на слух какSweeSweep), локальная модель не проверила его отдельным поисковым запросом, решила, что спикер оговорился, и в отчёте гордо «исправила» его на старый бенчмаркSWE-bench. При этом настоящую ошибку распознавания в конце текста (GraphWoxвместоGraphWalks) она оставила без исправления. Облачная модель не только опознала оба свежих теста, но и сама раскопала разницу в результатахSWE-sweepмежду проприетарной мультиагентной обвязкой и нейтральной средой. - Почему не спасает аргумент «надо было дробить текст скриптом»: теоретически транскрипт можно нарезать на куски через самописный многошаговый Map-Reduce пайплайн и гонять видеокарту 15–20 минут на каждый ролик. На практике один часовой транскрипт в облачном API класса
Hydrogenобрабатывается за 30 секунд с эталонным качеством и стоит около 5 центов — городить ради публичного видео сложный локальный костыль экономически бессмысленно.
2. Самоуверенные галлюцинации на коротких вопросах без триггера поиска
Второй показательный провал вскрылся на коротком бытовом вопросе о времени приёма местного рецептурного препарата, указанного под локальным торговым названием. Не встретив в вопросе прямой команды «найди в интернете», локальная модель даже не попыталась вызвать web_search и с абсолютной уверенностью отнесла препарат к совершенно другой фармакологической группе — средствам для снижения артериального давления. Жёсткое правило в системном промпте принудительно искать незнакомые термины снижает риск такой ошибки, но не лечит корневую проблему: малая активная модель плохо калибрует границу собственного незнания и искренне «уверена», что помнит редкое название. Полагаться на собственную память 4B-активной локальной модели в медицинских, юридических или узкоспециальных справочных вопросах без явной команды на поиск категорически нельзя.
Где локальная связка работает блестяще
Картина меняется на противоположную, как только мы передаём локальной Gemma 4 26B A4B задачи по обработке, переводу и предпечатной подготовке уже готовых, фактологически выверенных текстов:
- Качественный перевод (русский ↔ английский ↔ иврит): модель переводит естественно, без деревянных подстрочных калек, отлично чувствуя как научную терминологию, так и живой современный разговорный иврит со сленгом.
- Чеклисты целостности и жёсткая вёрстка под площадки: на структурных промптах вида «перепроверь отсутствие потери информации, противоречий и правильный порядок следования; выдай лог проверки; если всё верно — выведи английский перевод как чистый HTML без инлайн-стилей» или «адаптируй текст под Medium.com строго без использования code-блоков, замени LaTeX на символы Unicode и оформи стандартным Markdown для прямого копирования мышкой как Rich Text» модель отрабатывает с первого раза и на скорости 82 токена в секунду.
(Практическая деталь по оформлению формул: многие современные Markdown-интерфейсы чатов специально отключают рендеринг строчного LaTeX через одинарный знак \$P\$, чтобы две суммы в долларах в одном предложении — не склеивались парсером в курсивную формулу. Если в вашем клиенте нужна математическая разметка, просите в промпте оборачивать формулы в двойные знаки \$\$...\$\$).
Итоговое разделение труда
Собранная локальная станция на 16 ГБ VRAM не отменяет облачные модели там, где требуются энциклопедический кругозор, одновременное удержание десятков сюжетных деталей и ковровый параллельный фактчекинг сырых материалов. Зато она полностью закрывает три практические ниши, где локальное выполнение действительно оправдано:
- Переводческий цех (русский, английский, иврит) — живой литературный и технический перевод без оглядки на дневные квоты и подписки.
- Публикационный конвейер — быстрая вычитка по чеклисту на потерю фактов и автоматическая перевёрстка готовых статей в чистый HTML или Rich Text под Medium и блоги.
- Работа с конфиденциальными данными умеренного объёма под NDA — выжимка закрытых рабочих записей, внутренней документации или рефакторинг проприетарного кода через полностью изолированный от интернета штатный интерфейс
http://127.0.0.1:8085.
No comments:
Post a Comment